大致过程：
pacemaker安装与配置
drbd安装与配置
pacemaker资源及其约束的配置
测试自动切换
 
OS：CentOS 6.2
主节点：SER-206
备用节点：SER-104
 
一、pacemaker的安装与配置：
参考：http://share.blog.51cto.com/278008/850752，过程略，直接贴配置文件如下：
cat /etc/corosync/corosync.conf 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      # Please read the corosync.conf.5 manual page 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      compatibility: whitetank 
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
      aisexec { 
     
     
     
     
    4. 
    
    
    
    
  4. 
     
     
     
     
    
      
      
      
      user: root 
     
     
     
     
    5. 
    
    
    
    
  5. 
     
     
     
     
    
      
      
      
      group: root 
     
     
     
     
    6. 
    
    
    
    
  6. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    7. 
    
    
    
    
  7. 
     
     
     
     
    
      
      
      
      service { 
     
     
     
     
    8. 
    
    
    
    
  8. 
     
     
     
     
    
      
      
      
      name: pacemaker 
     
     
     
     
    9. 
    
    
    
    
  9. 
     
     
     
     
    
      
      
      
      ver: 0 
     
     
     
     
    10. 
    
    
    
    
  10. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    11. 
    
    
    
    
  11. 
     
     
     
     
    
      
      
      
      totem { 
     
     
     
     
    12. 
    
    
    
    
  12. 
     
     
     
     
    
      
      
      
      version: 2 
     
     
     
     
    13. 
    
    
    
    
  13. 
     
     
     
     
    
      
      
      
      secauth: off 
     
     
     
     
    14. 
    
    
    
    
  14. 
     
     
     
     
    
      
      
      
      threads: 0 
     
     
     
     
    15. 
    
    
    
    
  15. 
     
     
     
     
    
      
      
      
      interface { 
     
     
     
     
    16. 
    
    
    
    
  16. 
     
     
     
     
    
      
      
      
      ringnumber: 0 
     
     
     
     
    17. 
    
    
    
    
  17. 
     
     
     
     
    
      
      
      
      bindnetaddr: 10.10.14.0 
     
     
     
     
    18. 
    
    
    
    
  18. 
     
     
     
     
    
      
      
      
      mcastaddr: 226.94.1.1 
     
     
     
     
    19. 
    
    
    
    
  19. 
     
     
     
     
    
      
      
      
      mcastport: 5405 
     
     
     
     
    20. 
    
    
    
    
  20. 
     
     
     
     
    
      
      
      
      ttl: 64 
     
     
     
     
    21. 
    
    
    
    
  21. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    22. 
    
    
    
    
  22. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    23. 
    
    
    
    
  23. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    24. 
    
    
    
    
  24. 
     
     
     
     
    
      
      
      
      logging { 
     
     
     
     
    25. 
    
    
    
    
  25. 
     
     
     
     
    
      
      
      
      fileline: off 
     
     
     
     
    26. 
    
    
    
    
  26. 
     
     
     
     
    
      
      
      
      to_stderr: no 
     
     
     
     
    27. 
    
    
    
    
  27. 
     
     
     
     
    
      
      
      
      to_logfile: yes 
     
     
     
     
    28. 
    
    
    
    
  28. 
     
     
     
     
    
      
      
      
      to_syslog: no 
     
     
     
     
    29. 
    
    
    
    
  29. 
     
     
     
     
    
      
      
      
      logfile: /var/log/cluster/corosync.log 
     
     
     
     
    30. 
    
    
    
    
  30. 
     
     
     
     
    
      
      
      
      debug: off 
     
     
     
     
    31. 
    
    
    
    
  31. 
     
     
     
     
    
      
      
      
      timestamp: on 
     
     
     
     
    32. 
    
    
    
    
  32. 
     
     
     
     
    
      
      
      
      logger_subsys { 
     
     
     
     
    33. 
    
    
    
    
  33. 
     
     
     
     
    
      
      
      
      subsys: AMF 
     
     
     
     
    34. 
    
    
    
    
  34. 
     
     
     
     
    
      
      
      
      debug: off 
     
     
     
     
    35. 
    
    
    
    
  35. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    36. 
    
    
    
    
  36. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    37. 
    
    
    
    
  37. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    38. 
    
    
    
    
  38. 
     
     
     
     
    
      
      
      
      amf { 
     
     
     
     
    39. 
    
    
    
    
  39. 
     
     
     
     
    
      
      
      
      mode: disabled 
     
     
     
     
    40. 
    
    
    
    
  40. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    41.
二、drbd的安装与配置：
参考：http://share.blog.51cto.com/278008/845357，但是编译和安装过程有所不同，配置文件也有所改动：
下载drbd源码并编译、安装： 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      mkdir -p /root/rpmbuild/SOURCES 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
      wget http://oss.linbit.com/drbd/8.4/drbd-8.4.1.tar.gz 
     
     
     
     
    4. 
    
    
    
    
  4. 
     
     
     
     
    
      
      
      
      tar -zxvf drbd-* 
     
     
     
     
    5. 
    
    
    
    
  5. 
     
     
     
     
    
      
      
      
      cd drbd-* 
     
     
     
     
    6. 
    
    
    
    
  6. 
     
     
     
     
    
      
      
      
      ./configure --enable-spec --with-km 
     
     
     
     
    7. 
    
    
    
    
  7. 
     
     
     
     
    
      
      
      
      cp ../drbd*.tar.gz `rpm -E %_sourcedir` 
     
     
     
     
    8. 
    
    
    
    
  8. 
     
     
     
     
    
      
      
      
      rpmbuild -bb drbd.spec 
     
     
     
     
    9. 
    
    
    
    
  9. 
     
     
     
     
    
      
      
      
      rpmbuild -bb drbd-kernel.spec 
     
     
     
     
    10. 
    
    
    
    
  10. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    11. 
    
    
    
    
  11. 
     
     
     
     
    
      
      
      
      rpm -ivh /root/rpmbuild/RPMS/drbd-* //全部安装 
     
     
     
     
    12. 
    
    
    
    
  12. 
     
     
     
     
    
      
      
      
      modprobe drbd 
     
     
     
     
    13.
注：1) 可以看到本文的编译过程跟官方文档稍有不同，因为按照官方文档进行编译时一直出错，始终过不去。
2) 这里的编译安装跟前面的文章也稍有不同。刚开始按照前面的文章进行安装与配置，drbd本身是OK的；但是在pacemaker中配置drbd资源时，出了错： 
   
   
   
   
    
    
    
    
    
  1. ERROR: lrm_get_rsc_type_metadata(578): got a return code HA_FAIL from a reply message of rmetadata with function get_ret_from_msg. 
    2. 
    
    
    
    
  2. ERROR: ocf:linbit:drbd: could not parse meta-data. 
    3.
这个错误的原因是，drbd资源没有安装成功：
ls -lh /usr/lib/ocf/resource.d/linbit，发现该目录中根本找不到drbd这个ra。
 
下面是drbd的最终配置文件：
cat /etc/drbd.d/global_common.conf 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      global { 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      usage-count yes; 
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    4. 
    
    
    
    
  4. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    5. 
    
    
    
    
  5. 
     
     
     
     
    
      
      
      
      common { 
     
     
     
     
    6. 
    
    
    
    
  6. 
     
     
     
     
    
      
      
      
      handlers { 
     
     
     
     
    7. 
    
    
    
    
  7. 
     
     
     
     
    
      
      
      
      pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
     
     
     
     
    8. 
    
    
    
    
  8. 
     
     
     
     
    
      
      
      
      pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
     
     
     
     
    9. 
    
    
    
    
  9. 
     
     
     
     
    
      
      
      
      local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f"; 
     
     
     
     
    10. 
    
    
    
    
  10. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    11. 
    
    
    
    
  11. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    12. 
    
    
    
    
  12. 
     
     
     
     
    
      
      
      
      startup { 
     
     
     
     
    13. 
    
    
    
    
  13. 
     
     
     
     
    
      
      
      
      # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb 
     
     
     
     
    14. 
    
    
    
    
  14. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    15. 
    
    
    
    
  15. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    16. 
    
    
    
    
  16. 
     
     
     
     
    
      
      
      
      options { 
     
     
     
     
    17. 
    
    
    
    
  17. 
     
     
     
     
    
      
      
      
      # cpu-mask on-no-data-accessible 
     
     
     
     
    18. 
    
    
    
    
  18. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    19. 
    
    
    
    
  19. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    20. 
    
    
    
    
  20. 
     
     
     
     
    
      
      
      
      disk { 
     
     
     
     
    21. 
    
    
    
    
  21. 
     
     
     
     
    
      
      
      
      on-io-error detach; 
     
     
     
     
    22. 
    
    
    
    
  22. 
     
     
     
     
    
      
      
      
      resync-rate 30M; 
     
     
     
     
    23. 
    
    
    
    
  23. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    24. 
    
    
    
    
  24. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    25. 
    
    
    
    
  25. 
     
     
     
     
    
      
      
      
      net { 
     
     
     
     
    26. 
    
    
    
    
  26. 
     
     
     
     
    
      
      
      
      protocol C; 
     
     
     
     
    27. 
    
    
    
    
  27. 
     
     
     
     
    
      
      
      
      cram-hmac-alg sha1; 
     
     
     
     
    28. 
    
    
    
    
  28. 
     
     
     
     
    
      
      
      
      shared-secret "111111"; 
     
     
     
     
    29. 
    
    
    
    
  29. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    30. 
    
    
    
    
  30. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    31.
与前面的文章基本相同，但取消了startup的配置，以及disk的fence选项。
cat /etc/drbd.d/redis.res 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      resource redis { 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
                 device /dev/drbd0; 
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
                     disk /dev/VolGroup00/LogVol01; 
     
     
     
     
    4. 
    
    
    
    
  4. 
     
     
     
     
    
      
      
      
                     meta-disk internal; 
     
     
     
     
    5. 
    
    
    
    
  5. 
     
     
     
     
    
      
      
      
                     on SER-206 { 
     
     
     
     
    6. 
    
    
    
    
  6. 
     
     
     
     
    
      
      
      
                            address 10.10.14.174:9876; 
     
     
     
     
    7. 
    
    
    
    
  7. 
     
     
     
     
    
      
      
      
                     } 
     
     
     
     
    8. 
    
    
    
    
  8. 
     
     
     
     
    
      
      
      
                     on SER-104 { 
     
     
     
     
    9. 
    
    
    
    
  9. 
     
     
     
     
    
      
      
      
                            address 10.10.14.5:9876; 
     
     
     
     
    10. 
    
    
    
    
  10. 
     
     
     
     
    
      
      
      
                     } 
     
     
     
     
    11. 
    
    
    
    
  11. 
     
     
     
     
    
      
      
      
      } 
     
     
     
     
    12.
三、配置pacemaker资源及约束：
1) 规划
需要哪些资源？
...
需要哪些约束？
...
重申一遍：配置某个RA前，进入ra模式使用meta查看一下该RA的常用选项，及其语法规则，有的选项后面带单位s（秒），有的不带。另外，建议直接调高pacemaker群集默认的最小值。示例如：
crm(live)ra#meta ocf:heartbeat:Filesystem
crm(live)configure# property default-action-timeout=60

2) 开始配置
主备节点停止drbd自启动：
chkconfig drbd off
 
主备节点创建redis的RA，不用手动写脚本了，方便： 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      cp $REDIS_HOME/utils/redis_init_scripts /etc/init.d/redis
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
      然后，要修改CONF目录的配置，指定自己的redis配置文件的真实路径。
     
     
     
     
    4.
使用CLI配置资源及约束：
配置集群的几个默认属性：
 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      crm(live)configure# property no-quorum-polic=ignore 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      crm(live)configure# property stonith-enabled=false 
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
      crm(live)configure# property default-action-timeout=60 
     
     
     
     
    4. 
    
    
    
    
  4. 
     
     
     
     
    
      
      
      
      crm(live)configure# rsc_defaults resource-stickiness=100 
     
     
     
     
    5. 
    
    
    
    
  5. 
     
     
     
     
    
      
      
      
      crm(live)configure# commit  
     
     
     
     
    6.
配置虚拟IP资源：
 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      crm(live)configure# primitive VIP ocf:heartbeat:IPaddr2 \ #斜杠前有空格 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      > params ip=10.10.0.2 cidr_netmask=24 \ #根据实际情况进行配置，跟前端服务器的网段要能通！ 
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
      > op monitor interval=10s timeout=20s 
     
     
     
     
    4. 
    
    
    
    
  4. 
     
     
     
     
    
      
      
      
      crm(live)configure# commit  
     
     
     
     
    5.
配置drbd资源，以及drbd主从资源： 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      crm(live)# cib new drbd 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      INFO: drbd shadow CIB created 
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
      crm(drbd)# configure primitive drbd0 ocf:linbit:drbd \ 
     
     
     
     
    4. 
    
    
    
    
  4. 
     
     
     
     
    
      
      
      
      > params drbd_resource=redis drbdconf=/etc/drbd.conf \ 
     
     
     
     
    5. 
    
    
    
    
  5. 
     
     
     
     
    
      
      
      
      > op start timeout=250 \ 
     
     
     
     
    6. 
    
    
    
    
  6. 
     
     
     
     
    
      
      
      
      > op stop timeout=110 \ 
     
     
     
     
    7. 
    
    
    
    
  7. 
     
     
     
     
    
      
      
      
      > op promote timeout=100 \ 
     
     
     
     
    8. 
    
    
    
    
  8. 
     
     
     
     
    
      
      
      
      > op demote timeout=100 \ 
     
     
     
     
    9. 
    
    
    
    
  9. 
     
     
     
     
    
      
      
      
      > op notify timeout=100 \ 
     
     
     
     
    10. 
    
    
    
    
  10. 
     
     
     
     
    
      
      
      
      > op monitor role=Master interval=20 timeout=30 \ 
     
     
     
     
    11. 
    
    
    
    
  11. 
     
     
     
     
    
      
      
      
      > op monitor role=Slave interval=30 timeout=30 
     
     
     
     
    12. 
    
    
    
    
  12. 
     
     
     
     
    
      
      
      
       
     
     
     
     
    13. 
    
    
    
    
  13. 
     
     
     
     
    
      
      
      
      crm(drbd)# configure ms ms-drbd0 drbd0 \ 
     
     
     
     
    14. 
    
    
    
    
  14. 
     
     
     
     
    
      
      
      
      > meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true 
     
     
     
     
    15. 
    
    
    
    
  15. 
     
     
     
     
    
      
      
      
      crm(drbd)# cib commit drbd 
     
     
     
     
    16.
配置文件系统资源：
 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      crm(live)# cib new fs 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      INFO: fs shadow CIB created 
     
     
     
     
    3. 
    
    
    
    
  3. 
     
     
     
     
    
      
      
      
      crm(fs)# configure primitive fs-drbd0 ocf:heartbeat:Filesystem \ 
     
     
     
     
    4. 
    
    
    
    
  4. 
     
     
     
     
    
      
      
      
      > params device=/dev/drbd0 directory=/data fstype=xfs \ 
     
     
     
     
    5. 
    
    
    
    
  5. 
     
     
     
     
    
      
      
      
      > op start timeout=70 \ 
     
     
     
     
    6. 
    
    
    
    
  6. 
     
     
     
     
    
      
      
      
      > op stop timeout=70 \ 
     
     
     
     
    7. 
    
    
    
    
  7. 
     
     
     
     
    
      
      
      
      > op notify timeout=70 \ 
     
     
     
     
    8. 
    
    
    
    
  8. 
     
     
     
     
    
      
      
      
      > op monitor interval=30 timeout=50 
     
     
     
     
    9. 
    
    
    
    
  9. 
     
     
     
     
    
      
      
      
      crm(fs)# cib commit fs 
     
     
     
     
    10.
配置redis资源：
 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      crm(live)configure# primitive redis lsb:redis 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      crm(live)configure# commit 
     
     
     
     
    3.
把fs-drbd0、VIP、redis进行编组：
 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      crm(live)configure# group redis_group fs_drbd0 VIP redis 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      crm(live)configure# commit 
     
     
     
     
    3.
配置组资源和drbd主节点的约束：
 
   
   
   
   
    
    
    
    
    
  1. 
     
     
     
     
    
      
      
      
      crm(live)configure# colocation redis_group-on-drbd inf: redis_group ms-drbd0:Master 
     
     
     
     
    2. 
    
    
    
    
  2. 
     
     
     
     
    
      
      
      
      crm(live)configure# order redis_group-after-drbd inf: ms-drbd0:Promote redis_group:start 
     
     
     
     
    3.

查看集群状态：
crm status
CentOS 6.2利用drbd+pacemaker实现redis高可用_第1张图片

四、测试自动切换：
本人测试OK。