双机热备+负载均衡(Heartbeat+DRBD+NFS+Keepalived+Lnmp)线上方案

感谢原作者的分享

查看: 15920|回复: 28

双机热备+负载均衡(Heartbeat+DRBD+NFS+Keepalived+Lnmp)线上方案 [复制链接]

gotop gotop 当前离线 积分 8476 窥视卡 雷达卡	电梯直达 楼主 发表于 2011-10-12 11:41:07 | 只看该作者 |只看大图 |倒序浏览 |阅读模式 本帖最后由 gotop 于 2011-10-12 15:03 编辑 双机热备+负载均衡 线上方案 (Heartbeat+DRBD+NFS+Keepalived+Lnmp) gotop      对于网站服务器来说，可靠性之重要不用我多说，但要想做到可靠性一般需要昂贵的设备，这里最主要是就是数据同步用的共享磁盘了，磁盘柜+磁盘一共下来是20多万，这对于追求最高性价比的双机负载热备方案来说是极其不靠谱的，尤其是中小型企业，私有企业，一般经理是不会考虑这么高的成本的。我们通常做都是四台服务器+一个磁盘柜子+千兆交换机，那么这个成本下来将近30万了，而且这个方案有个弊端就是 存储依然存在单点故障，除非使用双控制+双电源+双主板设计的磁盘柜，但这种成本实在太高。那是否有更为廉价的双机方案呢，很明显开源软件帮我们解决了成本问题！！！     用Heartbeat+DRBD+NFS+Keepalived+Lnmp等开源软件实现双机负载热备架构只需要两台服务器+一台全千兆交换机，这个成本是极其低廉的，我们做运维了就是要用技术来压榨硬件性能，用最低的成本实现最高的效能，不然天天谈论的性能优化有何用？堆叠硬件不是更好？那不是我们的目的，下面我们来看看这两台服务器的双机热备+负载均衡是如何实现并且稳定运行的。     这个方案是我给一个论坛做的，论坛15分钟在线8000人，以前放在IIS里面，并发连接6000-7000左右，我给设计的双机热备方案如下图： 图一 集群拓扑图.png (62.41 KB, 下载次数: 630) 下载附件 2011-10-12 11:43 上传     注意：第三台服务器可要可不要，我这里他由于成本问题，并没有采用第三台服务器，而是一共只有两台 系统环境配置 一，硬件配置： 节点一（centosa）：做主负载点，和主数据库压力负载点，必须高性能高稳定高I/O 配置如下： CPU：双CPU( 4核+4核) 5405级别 内存：8G 组三通道 DDR3 ECC内存 硬盘：1块1TB普通硬盘+2块 300G SAS15K(15000转)硬盘 网卡：2块千兆网卡 节点二（centosb）：做分担负载和备服务器，稳定第一 CPU：双CPU( 4核+4核) 5405 内存：8G 组三通道 DDR3 ECC内存 硬盘：1块1TB普通硬盘+3块 300G SAS15K(15000转)硬盘 网卡：2块千兆网卡 注意：网卡极力建议用四块，这个架构对网络I/O要求极高，我这里只有两块，没办法，机房做不到，如果你是百兆交换机，拜托，你一定要用四块网卡 二，操作系统配置 1),所有服务器的操作系统版本： 操作系统版本：CentOS5.7 64位 操作系统官方下载地址：http://isoredirect.centos.org/centos/5/isos/x86_64/ 2),每台服务器的安装要求： 节点一： 分区：一共三块硬盘，不用组RAID 第一块硬盘： 系统占用一块，分区情况如下： /boot                     200MB /                             40GB swap交换分区        8GB /data                      第一块硬盘的所有剩余空间 第二块硬盘： 不要分区，留给我自己分区 第三块硬盘： 不要分区，留给我自己分区 系统安装安装规范 最小化安装，字符界面安装 去掉所有组件，只需要一个内核 节点二： 分区：一共三块硬盘，不用组RAID 第一块硬盘： 系统占用一块，分区情况如下： /boot        500MB /                 40GB swap交换分区        16GB /data        第一块硬盘的所有剩余空间 第二块硬盘： 不要分区，留给我自己分区 第三块硬盘： 不要分区，留给我自己分区 系统安装要求 最小化安装，字符界面安装 去掉所有组件，只需要一个内核 三，交换机配置： 注意：有条件最好用两台交换机，内网一台，外网一台 如果只有一台交换机，划分两个VLAN，一个外网使用，一个内网使用 四，目录规划用途 /usr/local/src/lnmp：用来存放源码工具等等 /data：用来存放所有数据和NFS以及DRBD的挂载 /data/shell：用来存放所有管理脚本 /data/mysql：用来挂载DRBD的mysql资源，以供mysql存放数据库 /data/wwwnfs：用来挂载DRBD生成的www资源，以供两个节点挂载到各个节点的/data/www目录，以供论坛等程序数据使用 /data/www：用来挂载NFS资源，用来存放论坛(网站)等程序数据 双机热备+负载均衡具体配置 一，先建立用户和目录吧： useradd -s /sbin/nologin www useradd -s /sbin/nologin mysql mkdir -p /data/mysql mkdir -p /data/www mkdir -p /data/wwwnfs mkdir -p /data/shell 二，架构详解 如果用LVS做均衡器拓扑图如下： 图二 集群拓扑图2.jpg (158.59 KB, 下载次数: 613) 下载附件 2011-10-12 12:18 上传 如果用Nginx做均衡器拓扑图如下： 图三 集群拓扑图3.jpg (184.31 KB, 下载次数: 624) 下载附件 2011-10-12 12:27 上传 我们这里用NGINX做均衡器，因此我用图三来拓扑，来讲讲这个拓扑的工作原理 内网： 1，DRBD网络存储创建出两个资源，一个mysql给mysql数据库同步用，一个www给web(论坛)数据NFS共享挂载用，虚拟出两个虚拟IP，一个是 192.168.1.100，用来连接数据库，一个是192.168.1.200，用来给节点挂载NFS 注意：NFS底下挂载了三次：DRBD挂载一次，文件系统挂载一次，客户端挂载一次 2，Heartbeat来实现DRBD的HA，同时虚拟出两个内网IP，并管理NFS，MySQL的启动和关闭 外网： 1，两个节点都用Nginx做均衡器，通过内网调度负载两个节点，实现内部均衡 2，DNS配置双IP对应一个域名的方式来实现DNS轮询，实现外网均衡 3，Keepalived使用双主(master)配置虚拟出两个虚拟IP：节点一 12.12.12.100和节点二 12.12.12.200，同时共外网访问，两个节点互为主从关系，当某个节点挂掉的时候，另外一个节点将同时是两个资源的master，同时拥有两个虚拟IP，实现资源转移 我们知道DNS的缺点就是生效慢，分配资源不合理，理论上有可能把所有的请求都发送给同一节点，导致均衡不合理导致所有资源不可用，这里我们由于有了NGINX内部负载，就不怕DNS轮询不均衡了，因为NGINX内部有严谨的调度方式，不管那台请求有多少，在内部都能实现理想的调度，这样就能把DNS负载均衡和NGINX完美结合，是硬件资源得到合理的利用，然后利用keepalive保证了每个节点的可靠性，几乎完美！ 三，LNMP架构配置 两台服务器的一样配置这个我请看我发的这个帖子：http://bbs.ywlm.net/thread-2-1-1.html 注意一：这里MYSQL都不要初始化，不要启动！后面有专门的配置的 注意二：nginx所有端口都改成 8080，因为一会还要安装nginx来做均衡器并对外提供服务，所以不要用默认的80 四，安装配置NFS 兵马未动粮草先行，NFS是网站存放数据实现数据同步的基础，我们先安装上吧 1，安装： 服务器端要安装： nfs-utils：NFS主程序 portmap：RPC主程序 客户端要安装： nfs-utils：NFS主程序 portmap：RPC主程序 由于我们这里一共只用了两台服务器，所以，这里客户端和服务器段是同一台机器，这点要注意了 两个节点同时安装： yum -y install portmap nfs-utils 复制代码 2，配置： 生存共享目录vi /etc/exports 输入： /data/wwwnfs 192.168.1.0/24(rw,sync,anonuid=501,anongid=501) 复制代码 注意： /data/wwwnfs：就是给两个节点挂载的目录，所有网站程序都放在这里，实现论坛程序等数据的共享(同步) anonuid=501,anongid=501：这个表示客户端上任何用户进入到挂载目录都以uid=501和gid=501身份，我这里这个代表的是www用户 3，启动： service portmap start service nfs start 切忌，必须先启动portmap chkconfig --level 0123456 nfs off chkconfig --level 0123456 portmap on 注意：portmap服务器必须常驻，且不收heartbeat管理；而nfs这必须要用heartbeat来管理他的启动和关闭，所以这里要关闭nfs开机自动启动 同时要启动锁机制，因为同时有两个节点要使用同一份数据，所以需要有总裁，这个尤其是在NFS给mysql用的时候是必须要用的，对于论坛或网站，要看情况，如果存在对同一文件同时修改的时候必须要启动NFS锁机制，如果没有这种情况，那么建议不要启动，启动了会降低NFS的性能： /sbin/rpc.lockd echo "/sbin/rpc.lockd" /etc/rc.local 4，建立NFS的管理脚本 有人奇怪了，nfs用RPM安装的，应该直接用service nfs start/stop即可啊，维护还要建立脚本呢，这里由于NFS的启动关闭权要交给heartbeat处理，而默认/etc/init.d/nfs这个启动脚本在heartbeat处理的时候有问题，所以这里自己建立了一个 vi nfs 输入： #!/bin/bash NFSD=/etc/rc.d/init.d/nfs NFSDPID=`/sbin/pidof nfsd` case $1 in start) $NFSD start; ;; stop) $NFSD stop;         if [ "$NFSDPID" != " " ];then                 for NFSPID in $NFSDPID                 do /bin/kill -9 $NFSPID;                 done         fi ;; *) echo "Syntax incorrect. You need one of {start|stop }" ;; esac 复制代码 wq保存退出 chmod +x nfs OK，NFS服务器端配置完毕。 注意如果你用的是四台服务器或者更多，把均衡器和节点分开的，那么还需要在节点也就是NFS的客户端安装： yum -y install portmap nfs-utils 复制代码 并且启动portmap service portmap start chkconfig --level 35 portmap on 注意，客户端必须要启动portmap，且要安装nfs-utils，但不需要启动NFS 我们这里均衡器和节点都在同一台服务器上，所以就免去了这些过程了，不过他同时是客户端，所以要建立挂载脚本 vi /data/shell/mountnfs.sh 输入： /bin/mount -t nfs -o nosuid,noexec,nodev,rw,nouser,noauto,bg,hard,nointr,rsize=32k,wsize=32k,tcp 192.168.10.200:/data/wwwnfs /data/www 复制代码 chmod +x /data/shell/mountnfs.sh echo "/data/shell/mountnfs.sh" /etc/rc.local 在另外一台节点centosb上也这样安装 五，安装配置DRBD 1，分区 DRBD可用设备有如下： （1）一个磁盘，或者是磁盘的某一个分区 （2）一个soft raid 设备 （3）一个LVM的逻辑卷 （4）一个EVMS（Enterprise Volume Management System，企业卷管理系统）的卷 （5）其他任何的块设备 这里我是建立在一个分区上的 查看磁盘信息： fdisk -l 复制代码 Disk /dev/sda: 1000.2 GB, 1000204886016 bytes 255 heads, 63 sectors/track, 121601 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes    Device Boot      Start         End      Blocks   Id  System /dev/sda1   *           1          64      514048+  83  Linux /dev/sda2              65        5163    40957717+  83  Linux /dev/sda3            5164        7203    16386300   82  Linux swap / Solaris /dev/sda4            7204      121601   918901935    5  Extended /dev/sda5            7204      121601   918901903+  83  Linux Disk /dev/sdb: 300.0 GB, 300069052416 bytes 255 heads, 63 sectors/track, 36481 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes    Device Boot      Start         End      Blocks   Id  System Disk /dev/sdc: 300.0 GB, 300069052416 bytes 255 heads, 63 sectors/track, 36481 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes    Device Boot      Start         End      Blocks   Id  System 三块磁盘： 一块1TB已经分区，安装了操作系统和存放数据 另外两块没有分区，特用来给DRBD用 下面分区： fdisk /dev/sdb ...... fdisk /dev/sdc ...... 分区好后我们得到两个未挂载的分区 /dev/sdb1               1       36481   293033601   83  Linux /dev/sdc1               1       36481   293033601   83  Linux /dev/sdb1用于数据库 /dev/sdc1用于NFS 注意：先不要挂载 2，安装DRBD 1)，下载 DRBD官方网站：http://www.linux-ha.org/DRBD 源码下载地址: http://oss.linbit.com/drbd 2)，安装 DRBD有三种安装模式： RPM包安装，直接编译进内核 或 作为一个可加载的内核模块编译。 RPM包安装内核版本必须是2.6.33或高于2.6.33，否则要先升级内核，2.6.33或高于2.6.33内核里面已经集成的有DRBD模块 uname -r可以看到内核版本，我的是 这里我用的是源码编译安装 如果内核版本低于2.6.33那么需要编译模块到内核，且先要安装kernel-devel yum install gcc gcc-c++ make glibc flex wget kernel-devel cd /src/local/src wget http://oss.linbit.com/drbd/8.3/drbd-8.3.10.tar.gz tar -zxvf drbd-8.3.10.tar.gz cd drbd-8.3.10 ./configure --prefix=/ --with-km --with-heartbeat 安装完成后会在/etc/ha.d/resource.d目录下生成 drbddisk  drbdupper这两个文件 make KDIR=/usr/src/kernels/2.6.18-194.el5-i686/ make install 注意：make KDIR=/usr/src/kernels/2.6.18-194.el5-i686/这个一定要是你当前加载的内核，如果你内核升级了，一定要去报这个的路径是当前加载的内核版本的路径哦 查看当前加载的内核版本方法是： uname -r 或着 vi /boot/grub/menu.lst 检查是否安装妥当: ls /lib/modules/`uname -r`/kernel/drivers/block/drbd.ko 复制代码 drbd.ko 看到这个，就说明已经安装完好 加载到内核 insmod /lib/modules/`uname -r`/kernel/drivers/block/drbd.ko 复制代码 检查内核是否已经加载了drbd模块 lsmod | grep drbd   drbd    226352  2         //有的话表示加载模块成功. 检查安装文件 find / -name drbd* 3，配置DRBD DRBD有三种配置文件： /etc/drbd.conf /etc/drbd.d/global_common.conf /etc/drbd.d/*.res 第一个配置文件：/etc/drbd.conf vi /etc/drbd.conf # You can find an example in  /usr/share/doc/drbd.../drbd.conf.example include "drbd.d/global_common.conf"; include "drbd.d/*.res"; 复制代码 默认就是这个，我们不用管他，默认即可 第二个配置文件：/etc/drbd.d/global_common.conf 这个是全局配置文件，包括监听，同步速率等等极为重要的参数 vi /etc/drbd.d/global_common.conf 输入： global { #是否参加DRBD使用者统计，默认是yes         usage-count no;         } common { #使用协议C复制模式         protocol C;         handlers { #在系统出现什么故障时主服务器采取什么操作，例如挂起 #local-io-error"/usr/lib/drbd/notify-io-error.sh;/usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f"                 }         startup {         wfc-timeout 0; #启动时连接其他节点的超时时间         degr-wfc-timeout 120;                 }         disk { #当磁盘有错误时，不连接         on-io-error   detach;                 }         net {         timeout 60;         connect-int 10;         ping-int 10;         max-buffers 2048;         max-epoch-size 2048; #下面三行一定程度能防止脑裂问题 #       after-sb-0pri discard-older-primary; #       after-sb-1pri call-pri-lost-after-sb; #       after-sb-2pri call-pri-lost-after-sb; #或下面三行也可以         after-sb-0pri discard-zero-changes;         after-sb-1pri discard-secondary;         after-sb-2pri disconnect;                 }         syncer { #复制时的网络速度限制         rate 20M;                 }         } 复制代码 上面是完整的配置文件，你如果理解了，就可以直接复制过去用，不会有问题 注意：rate表示同步的速率，这里的20M就是20MB，不是20Mb，所以如果你是100M交换机，那么请不要设置这么大，否则，你的交换机会被拖累的无响应的，你可以设置成8M即可，即80Mb，如果你是千M交换机，且是千兆网线和网卡，你可以设置成80M一下，但考虑到数据库，NFS共享等需要大量网络I/O的的应用，这里还是设置20M即可 第三个配置文件：/etc/drbd.d/mysql.res和/etc/drbd.d/www.res 这里面的文件在第一个配置文件里面定义了 因为我这里要建立两个资源，所以有两个，注意，两个可以写在同一个配置文件里面，我习惯用两个配置文件，我一一来看 vi /etc/drbd.d/mysql.res 定义给mysql用的资源组(注意，名字你可以自己随便取，只要在应用的时候对应上即可，不必苛求) #资源组的名称 resource mysql{ #定义主服务器资源         on centosa{ #建立块设备文件         device /dev/drbd1; #要用于复制的分区         disk /dev/sdb1; #定义侦听IP和端口         address 192.168.1.10:7788; #meta data信息存放的方式，这里为内部存储，即和真实数据放在一起存储         meta-disk internal;                    } #定义备服务器资源         on centosb{         device /dev/drbd1;         disk /dev/sdb1;         address 192.168.1.20:7788;         meta-disk internal;                    }                 } 复制代码 vi /etc/drbd.d/www.res 定义给web用的资源组(注意，名字你可以自己随便取，只要在应用的时候对应上即可，不必苛求) #资源组的名称 resource www{ #定义主服务器资源         on centosb{ #建立块设备文件         device /dev/drbd2; #要用于复制的分区         disk /dev/sdc1; #定义侦听IP和端口         address 192.168.1.20:7789; #meta data信息存放的方式，这里为内部存储，即和真实数据放在一起存储         meta-disk internal;                    } #定义备服务器资源         on centosa{         device /dev/drbd2;         disk /dev/sdc1;         address 192.168.1.10:7789;         meta-disk internal;                    }                 } 复制代码 注意： 1，centosa和centosb这个必须要用计算机名(不是域名)，且要在内网能ping通，为此要修改下Linux下的hosts文件 vi /etc/hosts 输入： 192.168.1.10    centosa 192.168.1.20    centosb 在另外一个节点centosb上也同样这样安装 4，初始化DRBD资源 1)，提升各个节点上的主 在centosa上： drbdadm primary mysql 在centosb上： drbdadm primary www 2)，初始化DRBD分区 service drbd start 启动的时候会初始化 ps -ef | grep drbd root      3724     1  0 20:02 ?        00:00:00 [drbd1_worker] root      3731     1  0 20:02 ?        00:00:00 [drbd1_receiver] root      3743     1  0 20:02 ?        00:00:00 [drbd1_asender] 我们能看到三个进程： drbd1_worker：主进程程 drbd1_receiver：数据发送 drbd1_asender：数据接收 手动初始化命令： drbdadm create-md all 复制代码 这个命令是有极大风险的，当有数据的时候不要在使用这个命令 注意：如果无法启动的并提示无法加载DRBD，这说明在启动的时候drbd.ko无法加载，我们可以重新执行一下： insmod /lib/modules/`uname -r`/kernel/drivers/block/drbd.ko 复制代码 同时修改启动脚本： vi /etc/init.d/drbd 在### END INIT INFO下面添加如下内容： MYLSMOD=`/sbin/lsmod | grep drbd | grep drbd | cut -d ' ' -f 1` if [ "$MYLSMOD" != "drbd" ];then /sbin/insmod /lib/modules/2.6.18-274.el5/kernel/drivers/block/drbd.ko fi 复制代码 保存在启动试试，应该就没有问题了 添加为系统自动启动： chkconfig --level 35 drbd on 复制代码 OK，第一个节点配置完成了 在另外个节点centosb上一样安装，并且配置文件一样 注意：启动会等待第二个节点起来，最好是在两个节点都配置完成的时候 两个节点一起启动！！！ 5，安装后状态检查和使用 在主节点上 cat /proc/drbd 或 service drbd status version: 8.3.10 (api:88/proto:86-96) GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by root@centosa, 2011-03-12 19:00:23 1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----     ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:524265204 cs:Connected：为连接状态 在备节点上 cat /proc/drbd version: 8.3.10 (api:88/proto:86-96) GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by root@centosb, 2011-03-12 19:01:23 1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----     ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:524265204 cs:Connected：为连接状态 ds：表示两台节点的磁盘状态都是不一致(不符) 如果没有在各个节点上提升为主节点，那么DRBD机会法判断哪个是主节点，需要我们手动执行一下 我们在确认作为主节点的centosa上执行一下： drbdadm -- --overwrite-data-of-peer primary all 复制代码 这时，我们再看他们的状态 cat /proc/drbd 复制代码 version: 8.3.10 (api:88/proto:86-96) GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by root@centosa, 2011-03-12 19:00:23 1: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-- ---     ns:2988560 nr:0 dw:0 dr:2996736 al:0 bm:182 lo:1 pe:8 ua:64 ap:0 ep:1 wo:b oos:521277556         [>....................] sync'ed:  0.6% (509060/511976)M         finish: 4:38:27 speed: 31,180 (30,176) K/sec 主从状态，磁盘正在同步，这是第一次同步，同步的是底层信息，就像RAID1第 一次同步一样，例如确定RAID的容量(和小的硬盘的容量一样) 由此可知，必须确定了哪边是主孩子后才会开始同步 cs:SyncSource：为同步状态 单单纯查看各个节点的角色可以用下面命令 drbdadm rol mysql drbdadm rol www cat /proc/drbd 复制代码 version: 8.3.10 (api:88/proto:86-96) GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by root@centosb, 2011-03-12 19:01:23 1: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r-- ---     ns:0 nr:3354496 dw:3354240 dr:0 al:0 bm:204 lo:3 pe:6777 ua:2 ap:0 ep:1 wo:b oos:520910964         [>....................] sync'ed:  0.7% (508700/511976)M         finish: 1:45:08 speed: 82,564 (78,004) want: 102,400 K/sec 从主状态，磁盘正在同步 cs:SyncSource：为同步状态 第一次同步过程很慢，在同步完成以前不要重启，否则要重新同步了！ 格式化分区 与软RAID、LVM等类似，要使用DRBD创建的镜像分区，不是直接使用/dev/sdb1设备，而是在配置文件中指定的/dev/drbd1等。同样的，不必等待初始化完成后才使用drbd1设备。 格式化设备：        mkfs -t ext3 -b 4096 /dev/drbd1 #这里要注意，格式化只需要在主服务器上格式一次就可以了，因为格式化也会被同步过去，尤其在有数据的时候千万不要格式化了 这里注意，我们需要在两个街道上各格式化一次，因为有两个资源组，且每个节点都有一个主节点： centosa：mkfs -t ext3 -b 4096 /dev/drbd1 centosb：mkfs -t ext3 -b 4096 /dev/drbd2 挂载分区： 节点一centosa上：mount /dev/drbd1 /data/mysql 节点二centosb上：mount /dev/drbd2 /data/www #需要注意，drbd1和drbd2设备只能在Primary一端被使用，下面的操作都是会报错的： 在从节点上 节点二centosb上：mount /dev/drbd1 /data/www mount: block device /dev/drbd1 is write-protected, mounting read-only mount: 错误的介质类型 另外，为避免误操作，当机器重启后，默认都处于Secondary状态，如要使用drbd设备，需手动把其设置为Primary。 当然，我们这里不需要操心，因为我们用heartbeat来自动设置primary和secondary 到此，DRBD部分就安装完成了。 下面的安装，二楼继续
	分享到:  QQ好友和群 QQ空间 腾讯微博 腾讯朋友 收藏5 支持2 反对0
	回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 抢沙发 千斤顶 显身卡

gotop gotop 当前离线 积分 8476 窥视卡 雷达卡	沙发  楼主| 发表于 2011-10-12 15:23:10 | 只看该作者 本帖最后由 gotop 于 2011-10-12 15:45 编辑 六，安装配置Heartbeat DRBD和Heartbeat都会出现脑裂情况，所以这个配置虽然简单，但维护极其艰难！ 1，在主从节点上分别安装heartbeat yum -y install heartbeat 安装完后会自动建立用户hacluster和组haclient 确保两个节点上hacluster用户的的UID和GID相同 在两台节点上分别执行： cat /etc/passwd | grep hacluster | awk -F ":" '{print $3}'cat /etc/passwd | grep hacluster | awk -F ":" '{print $4}'cat /etc/group | grep haclient | awk -F ":" '{print $3}' 复制代码 结果都相同即可 同步两台节点的时间 date date -s "2011-10-10 11:24:00" clock -w 或者用npt crontab -e */30 * * * * ntpdate 210.72.145.44 2，在两台节点上都修改hosts文件 vi /etc/hosts 添加 192.168.1.10         centosa 192.168.1.20         centosb 这个上面有加过 3，配置三个文件 ha.cf                监控配置文件 haresources        资源管理文件 authkeys             心跳线连接加密文件 第一个配置文件：/etc/ha.d/ha.cf vi /etc/ha.d/ha.cf debugfile /var/log/ha-debug                             #打开错误日志报告 keepalive 2                                             #两秒检测一次心跳线连接 deadtime 10                                             #10 秒测试不到主服务器心跳线为有问题出现 warntime 6                                              #警告时间（最好在 2 ～ 10 之间） initdead 120                                            #初始化启动时 120 秒无连接视为正常，或指定heartbeat                                                         #在启动时，需要等待120秒才去启动任何资源。 udpport 694                                             #用 udp 的 694 端口连接 ucast eth0 192.168.1.20                                #单播方式连接（主从都写对方的 ip 进行连接） #ucast eth1 192.168.2.20 #如果有多多个网卡可以同时在多个网卡监听, 这能有效防止脑裂                                                         #注： mcast eth0 是多播模式 bcast eth0 是广播模式 #bcast eth0 eth2                                        #广播方式 #serical /dev/ttyS0                                     #串行连接这用这个 #baud   19200 node   centosa                                           #声明主服(注意是主机名uname -n不是域名) node   centosb                                           #声明备服(注意是主机名uname -n不是域名) auto_failback on                                        #自动切换（主服恢复后可自动切换回来）这个不要开启                                                         #注： stonith baytech  /etc/ha.d/conf/stonith.baytech 控制                                                         #可编程电源控制器（挂掉的主服 ip 可能还是运行状态，                                                         #会对备服有冲突，他会自动切掉坏的主服） respawn hacluster /usr/lib64/heartbeat/ipfail           #监控ipfail进程是否挂掉，如果挂掉就重启它 #ping 192.168.1.1                                        #设仲裁，双方主备都 ping 仲裁（仲裁 ip 用 DGW 最好） #ping 192.168.1.2                                        #注： ping_group            可设 1 组仲裁， ping一个网段                                                         #这里被ping的IP必须足够健壮，例如主节点无法ping通                                                         #时会问备服务器”你能通吗？”如果备服务器能通，这说明                                                         #主服务器出现故障了，备服务器应该切换资源了！ 复制代码 第二个配置文件：/etc/ha.d/authkeys vi /etc/ha.d/authkeys 输入： auth 1 1 crc 复制代码 保存，修改权限： chmod 600 /etc/ha.d/authkeys 第三个配置文件：/etc/ha.d/haresources vi /etc/ha.d/haresources 输入： centosa IPaddr::192.168.1.100/24/eth0 drbddisk::mysql Filesystem::/dev/drbd1::/data/drbd/mysql::ext3 mysql centosb IPaddr::192.168.1.200/24/eth0 drbddisk::www Filesystem::/dev/drbd2::/data/drbd/wwwnfs::ext3 nfs 复制代码 这个是极为关键，也是最难的地方了 注意： drbddisk::mysql drbddisk::www 红字部分分别为你的资源组名字，要对以上哦 注解： IPaddr::192.168.1.100/24/eth0：用IPaddr脚本配置浮动VIP drbddisk::data：用drbddisk脚本实现DRBD主从节点资源组的挂载和卸载 Filesystem::/dev/drbd1::/data::ext3：用Filesystem脚本实现磁盘挂载和卸载 4，建立生成资源： cp /data/shell/nfs /etc/ha.d/resource.d/ cp /etc/init.d/mysql /etc/ha.d/resource.d/ chmod +x /etc/ha.d/resource.d/mysql chmod +x /etc/ha.d/resource.d/nfs OK，节点一centosa的配置完成了 在节点二centob上同意这样配置，但注意/etc/ha.d/ha.cf里面稍有不同的是ucast eth0 192.168.1.10必须监听节点一的IP 两个节点上都开启heartbeat自动启动: chkconfig --level 35 heartbeat on 在两个节点上启动Heartbeat测试service heartbeat start OK，到这里，两个节点的Heartbeat全部都安装完成了，三楼继续写nginx，mysql和keepalived等的配置 点评 铁卫士 相当犀利，再次受教了  发表于 2012-3-11 19:16 铁卫士 这里有个问题的，心跳线有单点故障哟，看我这个应该可以解决：http://bbs.ywlm.net/thread-1156-1-1.html  发表于 2012-3-11 19:16
	回复 支持 反对 使用道具 举报 显身卡

gotop gotop 当前离线 积分 8476 窥视卡 雷达卡	板凳  楼主| 发表于 2011-10-12 15:44:46 | 只看该作者 本帖最后由 gotop 于 2011-10-12 15:47 编辑 七，nginx均衡器配置 cd /usr/local/src/lnmp 1，安装pcre(如果你在装LNMP的时候装过了，这里就不要在装了) tar zxvf pcre-8.12.tar.gz cd pcre-8.12/ ./configure make && make install cd .. 2，安装nginx均衡器 tar zxvf nginx-1.0.6.tar.gz cd nginx-1.0.6 ./configure --user=www --group=www --prefix=/usr/local/lnmp/lbsnginx --with-http_stub_status_module --with-http_ssl_module make && make install cd ../ 3，配置nginx均衡器 mkdir -p /data/logs rm -rf  vi /usr/local/lnmp/lbsnginx/conf/nginx.conf vi /usr/local/lnmp/lbsnginx/conf/nginx.conf 输入： user  www www; worker_processes 8; error_log  /data/logs/lbsnginx_error.log  crit; pid        /usr/local/lnmp/lbsnginx/logs/nginx.pid; worker_rlimit_nofile 65535; events {   use epoll;   worker_connections 65535; } http {   include       mime.types;   default_type  application/octet-stream;   charset  gbk;   server_names_hash_bucket_size 128;   client_header_buffer_size 32k;   large_client_header_buffers 4 32k;   client_max_body_size 80m;   client_body_buffer_size 512k;   proxy_connect_timeout 5;   proxy_read_timeout 60;   proxy_send_timeout 5;   proxy_buffer_size 16k;   proxy_buffers 4 64k;   proxy_busy_buffers_size 128k;   proxy_temp_file_write_size 128k;   sendfile on;   tcp_nopush     on;   keepalive_timeout 60;   tcp_nodelay on;   gzip on;   gzip_min_length  1k;   gzip_buffers     4 16k;   gzip_http_version 1.0;   gzip_comp_level 2;   gzip_types       text/plain application/x-javascript text/css application/xml;   gzip_vary on;   #limit_zone  crawler  $binary_remote_addr  10m;   upstream bbs.ywlm.net_server   {   server 192.168.1.10:8080 weight=3 max_fails=2 fail_timeout=30s;   server 192.168.1.20:8080 weight=9 max_fails=2 fail_timeout=30s;   }   server   {     listen       80;     server_name  bbs.ywlm.net;     location / {     root /data/www/bbs.ywlm.net;     index index.php index.htm index.html;     proxy_redirect off;     proxy_set_header Host $host;     proxy_set_header X-Real-IP $remote_addr;     proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;     proxy_pass http://bbs.ywlm.net_server;     }     access_log  off;   }   server   {     listen       80;     server_name  att.ywlm.net;     index index.html index.htm index.php;     root  /data/wwwroot/att.ywlm.net;     #limit_conn   crawler  20;     location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$     {       expires      30d;     }     location ~ .*\.(js|css)?$     {       expires      1h;     }     access_log  off;       } } 复制代码 保存，检查配置文件是否正确： /usr/local/lnmp/lbsnginx/sbin/nginx -t nginx: the configuration file /usr/local/lnmp/lbsnginx/conf/nginx.conf syntax is ok nginx: configuration file /usr/local/lnmp/lbsnginx/conf/nginx.conf test is successful 启动nginx： /usr/local/lnmp/lbsnginx/sbin/nginx echo "/usr/local/lnmp/lbsnginx/sbin/nginx" /etc/rc.local 节点一centosa上nginx均衡器安装完毕 另外一个节点centosb上同样安装即可 八，MySQL配置 这里在LNMP的时候已经安装过了，所以这里只需要进行初始化和配置即可，（下面的配置在安装LNMP的时候最好不要做！） 注意：在两个节点安装数据库的时候，都不要启动，把启动和关闭权交给heartbeat 1，建立配置文件(两个节点都要配置) vi /etc/my.cnf 输入： [client] default-character-set = utf8 port = 3306 socket = /tmp/mysql.sock [mysql] no-auto-rehash [mysqld] default-character-set = utf8 user = mysql port = 3306 socket = /tmp/mysql.sock basedir = /usr/local/lnmp/mysql datadir = /data/mysql/data open_files_limit = 10240 back_log = 600 max_connections = 3000 max_connect_errors = 6000 table_cache = 614 external-locking = FALSE max_allowed_packet = 32M sort_buffer_size = 2M join_buffer_size = 2M thread_cache_size = 300 thread_concurrency = 8 query_cache_size = 32M query_cache_limit = 2M query_cache_min_res_unit = 2k default-storage-engine = MyISAM default_table_type = MyISAM thread_stack = 192K transaction_isolation = READ-COMMITTED tmp_table_size = 246M max_heap_table_size = 246M long_query_time = 1 #log_long_format #log-bin = /data/mysql/binlog #binlog_cache_size = 4M #binlog_format = MIXED #max_binlog_cache_size = 8M #max_binlog_size = 512M expire_logs_days = 7 key_buffer_size = 256M read_buffer_size = 1M read_rnd_buffer_size = 16M bulk_insert_buffer_size = 64M myisam_sort_buffer_size = 128M myisam_max_sort_file_size = 10G myisam_max_extra_sort_file_size = 10G myisam_repair_threads = 1 myisam_recover skip-name-resolve master-connect-retry = 10 slave-skip-errors = 1032,1062,126,1114,1146,1048,1396 server-id = 1 innodb_additional_mem_pool_size = 16M innodb_buffer_pool_size = 64M innodb_data_file_path = ibdata1:1024M:autoextend innodb_file_io_threads = 4 innodb_thread_concurrency = 8 innodb_flush_log_at_trx_commit = 2 innodb_log_buffer_size = 16M innodb_log_file_size = 128M innodb_log_files_in_group = 3 innodb_max_dirty_pages_pct = 90 innodb_lock_wait_timeout = 120 innodb_file_per_table = 0 [mysqldump] quick max_allowed_packet = 32M 复制代码 同步到centosb节点： scp /etc/my.cnf 192.168.1.20:/etc 2，建立初始化数据： 注意，这里只需要在DRBD中的mysql资源组的主节点上初始化即可，其他的全部可以同步过去 chmod +w /usr/local/lnmp/mysql/ chown -R mysql:mysql /usr/local/lnmp/mysql/ chown -R mysql:mysql /data/mysql 初始化数据库： /usr/local/lnmp/mysql/bin/mysql_install_db --basedir=/usr/local/lnmp/mysql/ --datadir=/data/mysql/data --user=mysql 复制代码 3，设置权限 设置本地连接时root权限 /usr/local/lnmp/mysql/bin/mysqladmin -u root -h 127.0.0.1 password 123456 复制代码 设置双节点访问数据库时的权限 mysql -uroot -p -h 127.0.0.1 GRANT ALL PRIVILEGES ON *.* TO 'admin'@'192.168.1.%' IDENTIFIED BY '12345678'; 复制代码 在论坛上就要对应着修改你连接数据库的文件了 OK，主节点的数据库按照了，启动吧 service mysql start 再次提醒，mysql配置部分不要在所有节点上做，只需要做主节点即可，其他节点已经通过DRBD同步过去了，甚至连数据库初始化都不用！！！ 下楼继续配置keepalived了，就剩下最后的了
	回复 支持 反对 使用道具 举报 显身卡

gotop gotop 当前离线 积分 8476 窥视卡 雷达卡	地板  楼主| 发表于 2011-10-12 16:00:50 | 只看该作者 本帖最后由 gotop 于 2011-10-12 16:11 编辑 九，Keepalived配置实现nginx均衡器的HA 1，安装keepalived yum -y install gcc make openssl openssl-devel wget kernel-devel mkdir -p /usr/local/src/hasoft cd /usr/local/src/hasoft wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz tar -zxvf keepalived-1.2.2.tar.gz cd keepalived-1.2.2 ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.18-238.19.1.el5-i686/ 复制代码 编译完成后出现下面内容： Keepalived configuration ------------------------ Keepalived version       : 1.2.2 Compiler                 : gcc Compiler flags           : -g -O2 -DETHERTYPE_IPV6=0x86dd Extra Lib                : -lpopt -lssl -lcrypto Use IPVS Framework       : Yes IPVS sync daemon support : Yes IPVS use libnl           : No Use VRRP Framework       : Yes Use Debug flags          : No 复制代码 make && make install 复制代码 这里注意哦，我上面是指通用的安装方法，如果你没有用到LVS可以把lvs去掉即 ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.18-238.19.1.el5-i686/ --disable-lvs-syncd --disable-lvs 复制代码 但这个没有影响，就按照我的来配置吧，不过如果你要是集成了LVS，那么就不 可加这两个参数了哦 2，整理管理文件： cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ 3，建立配置文件目录(注意：keepalived的配置文件默认在/etc/keepalived/目录) mkdir -p /etc/etc/keepalived/ 两台服务器(两个节点)都这样安装即可 4，配置 节点一centosa配置如下： vi /etc/keepalived/keepalived.conf输入： global_defs { notification_email { [email protected] [email protected] } notification_email_from [email protected] smtp_server 127.0.0.1 stmp_connect_timeout 30 router_id lnmp_node1 } vrrp_instance lnmpa { state MASTER interface eth0 virtual_router_id 100 priority 200 advert_int 5 track_interface { eth0 eth1 } authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 192.168.1.100 } vrrp_instance lnmpa { state BACKUP interface eth0 virtual_router_id 200 priority 100 advert_int 5 track_interface { eth0 eth1 } authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 192.168.1.200 } } 复制代码 节点二centosb配置如下： global_defs { notification_email { [email protected] [email protected] } notification_email_from [email protected] smtp_server 127.0.0.1 stmp_connect_timeout 30 router_id lnmp_node1 } vrrp_instance lnmpa { state BACKUP interface eth0 virtual_router_id 100 priority 200 advert_int 5 track_interface { eth0 eth1 } authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 192.168.1.100 } vrrp_instance lnmpa { state MASTER interface eth0 virtual_router_id 200 priority 100 advert_int 5 track_interface { eth0 eth1 } authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 192.168.1.200 } } 复制代码 启动：/usr/local/keepalived/sbin/keepalived 注意，用/etc/init.d/keepalived start如果起不来，可以用/usr/local/keepalived/sbin/keepalived二进制文件直接执行启动即可 5，编写监控脚本 cd /data/shell vi keepcheck.sh 输入： #!/bin/bash while  : do mysqlcheck=`/usr/local/lnmp/mysql/bin/mysqladmin -uroot ping 2>&1` mysqlcode=`echo $?` phpcheck=`ps -C php-fpm --no-header | wc -l` nginxcheck=`ps -C nginx --no-header | wc -l` keepalivedcheck=`ps -C keepalived --no-header | wc -l` if [ $nginxcheck -eq 0 ]|| [ $phpcheck -eq 0 ]||[ $mysqlcode -ne 0 ];then                 if [ $keepalivedcheck -ne 0 ];then                    killall -TERM keepalived                 else                    echo "keepalived is stoped"                 fi         else                 if [ $keepalivedcheck -eq 0 ];then                    /etc/init.d/keepalived start                 else                    echo "keepalived is running"                 fi fi sleep 5 done 复制代码 wq保存退出 chmod +x /data/shell/keepcheck.sh nohup sh /data/shell/keepcheck.sh & 复制代码 设置开机自动执行脚本： echo "nohup sh /data/shell/keepcheck.sh &" >> /etc/rc.loal 复制代码 脚本在节点二centosb上也要设置 最后您设置你的DNS轮询吧，然后重启两个节点分别测试看是否成功！！！
	回复 支持 反对 使用道具 举报 显身卡

gotop gotop 当前离线 积分 8476 窥视卡 雷达卡	5#  楼主| 发表于 2011-10-12 16:11:38 | 只看该作者 经过四个小时的奋战，重要完成了这篇文章，有不妥的地方请大家指出
	回复 支持 反对 使用道具 举报 显身卡

gotop gotop 当前离线 积分 8476 窥视卡 雷达卡	6#  楼主| 发表于 2011-10-14 13:11:52 | 只看该作者 补充一下 /sbin/rpc.lockd echo "/sbin/rpc.lockd" /etc/rc.local 锁机制打开要慎重，搞不好会让你的应用极其缓慢！！！
	回复 支持 反对 使用道具 举报 显身卡

gotop gotop 当前离线 积分 8476 窥视卡 雷达卡	7#  楼主| 发表于 2011-10-14 13:15:17 | 只看该作者 在配置NFS时卸载分区的时候出现 device is busy 而无法卸载时，可以用 umount -l 来卸载 点评 月黑风高 版主风骚啊  发表于 2011-10-18 16:10