Packetfence集群clustering之MYSQL+DRBD+HEARTBEAT配置

前言:

因公司发展需求,最近开始实施PF的项目。这篇文档针对PF高可用之DRBD+MYSQL+HEARTBEAT进行了亲测和搭建,并已通过。

实施前准备:

二台版本相同的PF服务器。(PF6.4)
CentOS6或CentOS7(本篇文档针对CentOS6系统)
二台服务器的管理口需要在同一个二层网段
二台服务器的HOSTNAME必须可以被DNS解析
二台服务器需要一个单独的没有被挂载的分区

MYSQL+DRBD+HEARTBEAT原理图

image

开始DRBD配置:

一、分区
使用fdisk进行分区,这个自行上网进行查询(要求:分好区之后不要挂载到目录,后面DRBD会用到)

二、安装DRBD和HA-Linux
添加ELRepo

# yum localinstall http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm

编辑Repo文件如下:

#/etc/yum.repos.d/elrepo.repo
[elrepo]
  name=ELRepo.org Community Enterprise Linux Repository - el6
  baseurl=http://elrepo.org/linux/elrepo/el6/$basearch/
  mirrorlist=http://elrepo.org/mirrors-elrepo.el6
  enabled=0
  gpgcheck=1
  gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-elrepo.org
  protect=0

安装DRBDV8.4:

# yum install kmod-drbd84 --enablerepo=elrepo

DRBD配置如下:
首先加载DRBD内核

# modprobe drbd

编辑/etc/drbd.d/global_common.conf文件:

global {
    usage-count yes;
}
common {
    protocol C;
    startup {
        degr-wfc-timeout 120;
    }
    syncer {
        rate 100M;
        al-extents 257;
    }
    disk {
        on-io-error     detach;
    }
}

在/etc/drbd.d/目录下创建mysql.res文件:

    on <pf1_server_name> {
        device /dev/drbd0;
        disk <storage_device>;
        meta-disk internal;
        address <ha_interface_ip_address_1>:7788;
    }

    on <pf2_server_name> {
        device /dev/drbd0;
        disk <storage_device>;
        meta-disk internal;
        address <ha_interface_ip_address_2>:7788;
    }
    handlers {
        split-brain "/usr/lib/drbd/notify-split-brain.sh alert@acme.com";
    }
}

注:
mysql是DRBD的资源名
pf1_server_name和pf2_server_name是二台服务器的hostname
ha_interface_ip_address_1及2是二台服务器的manager口IP
storage_device是新分区(/dev/sdb1)

**建议创建资源之前在二台机器上配置:dd if=/dev/zero of=/dev/sda1 bs=1M count=100
初始化分区:

[root@pf_01 ~]# drbdadm create-md mysql
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
success

二台服务器上同时运行DRBD服务:

# /etc/init.d/drbd start

然后,通过cat /proc/drbd可以看下和下面相似的内容:

 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:30702640

提示:如果有问题,确保你的iptables和selinux是关闭的。

接下来,通过命令将一台服务器变成主的DRBD:

# drbdadm primary --force mysql

提示:这个时候通过cat/proc/drbd,你可以看到数据在二台机器上同步。

数据同步完成后,在主节点上输入如下命令:

# mkfs.ext4 /dev/drbd0

三、启动DRBD并关连MYSQL。
首先确保MYSQL不要开机自启。

# chkconfig mysql off

目前二台机器上的DRBD已经都安装好,并测试无问题。
在MASTER上,输入如下命令:

# chkconfig mysql off

注:mysql是DRBD分区资源的名字。

输入命令cat /proc/drbd会看下如下相似的信息:

...
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----
    ns:145068 nr:4448 dw:149516 dr:10490 al:31 bm:14 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0

停止MYSQL服务并将DRBD挂载到MYSQL数据目录:

# service mysqld stop
# mount /dev/drbd0 /var/lib/mysql
# service mysqld start

注:期间无任何报错,既成功。

开始HEARTBEAT配置:

一、安装HEARTBEAT:
输入如下命令:

# yum localinstall http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

编辑/etc/yum.repos.d/repo,如下:

[epel]
name=Extra Packages for Enterprise Linux 6 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&amp;arch=$basearch
failovermethod=priority
enabled=0
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6

安装:

# yum install heartbeat --enablerepo=epel

创建/etc/ha.d/ha.cf文件并添加如下内容:

bcast eth0
keepalive 2
warntime 30
deadtime 60
auto_failback off
initdead 120
node 
node 
use_logd yes
logfile /var/log/ha-log

注:这里我们假设HEARTBEAT的通信端口是ETH0。

创建/etc/ha.d/haresources并添加如下内容:

 IPaddr::192.168.11.100/24/eth0 drbddisk::mysql Filesystem::/dev/drbd0::/var/lib/mysql::ext4 \ mysqld

注:确保主机名正确。
IPaddr::192.168.11.100/.24/eth0:用IPaddr脚本配置浮动VIP
drbddisk::r0:用drbddisk脚本实现DRBD主从节点资源组的挂载和卸载
Filesystem::/dev/drbd0::/data::ext4:用Filesystem脚本实现磁盘挂载和卸载

创建/etc/ha.d/authkeys并添加如下内容:

auth 1
1 sha1 10abf064f24a3e807dde7b945d0303392f10777d

注:确定/etc/ha.d/authkeys的权限为600。

# chmod 600 /etc/ha.d/authkeys

配置好heartbeat之后,需要将mysql从自启动服务器中去掉,因为主heartbeat启动的时候会挂载drdb文件系统以及启动mysql,切换的时候会将主上的mysql停止并卸载文件系统,从上会挂载文件系统,并启动mysql。因此需要做如下操作(两台服务器):

# chkconfig mysqld off
# chkconfig heartbeat off
# chkconfig drbd off   

二台服务服务器上同时启动HEARTBEAT:

#/etc/init.d/heartbeat stop
#Stopping High-Availability services: Done.

测试方法:
1.停掉master上的mysqld,看看是否切换(因为heartheat不检查服务的可用性,因此需要通过而外的脚本来实现)。
2.停掉master的heartheat看看是否能正常切换。
3.停掉master的网络或者直接将master系统shutdown,看看能否正常切换。
4.启动master的heartbeat看看是否能正常切换回来。
5.重新启动master看看能否切换过程是否OK。
注意:这里说的切换是不是已经将mysql停掉、是否卸载了文件系统等等。

我就停止master(192.168.11.1)上的heartbeat来测试是否会自动切换,这里除了第一条无法实现,其他的都可以切换:

至此,DRBD、HEARTBEAT配置完成。

《Packetfence集群clustering之MYSQL+DRBD+HEARTBEAT配置》上有1条评论

发表评论

电子邮件地址不会被公开。 必填项已用*标注