split brain实际上是指在某种情况下，造成drbd的两个节点断开了连接，都以primary的身份来运行。当drbd某
primary节点连接对方节点准备发送信息的时候如果发现对方也是primary状态，那么会会立刻自行断开连接，并认定
当前已经发生split brain了，这时候他会在系统日志中记录以下信息：“Split-Brain detected,dropping
connection!”当发生split brain之后，如果查看连接状态，其中至少会有一个是StandAlone状态，另外一个可能也是
StandAlone（如果是同时发现split brain状态），也有可能是WFConnection的状态。
 
mfs-master 为主，mfs-log为辅；我个人觉得这个DRBD脑裂的行为，也应该是前期人为或是故障切换造成的，
如HA。今天在做HA+DRBD+MFS的时候，模拟mfs-master宕机看是否会自动切换的时候出现了drbd错误
在mfs-master机上 断开primary  down机或是断开网线
查看secondary机器的状态
查看挂载

[root@mfs-log mfs]#  mount
/dev/drbd1 on /usr/local/mfs type ext3 (rw)挂载也成功了，但是数据有问题，所以就先恢复mfs-master的drbd，我这里也就是启用网卡
原来的primary机器好了，出现脑裂了drbd1现在是standalone，这个时候，主跟辅是不会相互联系的


[root@mfs-master ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.13 (api:88/proto:86-96)
GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-
05-07 11:56:36
m:res cs ro ds p mounted fstype
1:r0 StandAlone Primary/Unknown UpToDate/DUnknown r----- ext3这个时候，如果尝试把drbd2的drbd服务重启的话，你就会发现根本无法起来！

[root@mfs-log mfs]# service drbd start
Starting DRBD resources: [ ]..........
***************************************************************
DRBD's startup script waits for the peer node(s) to appear.
- In case this node was already a degraded cluster before the
reboot the timeout is 0 seconds. [degr-wfc-timeout]
- If the peer was available before the reboot the timeout will
expire after 0 seconds. [wfc-timeout]
(These values are for resource 'r0'; 0 sec -> wait forever)
To abort waiting enter 'yes' [ 487]:原因分析
由于节点重启导致数据不一致，而配置文件中没有配置自动修复错误的内容，因而导致握手失败，数据无法同步。
split brain有两种解决办法：手动处理和自动处理。
手动处理：
两端节点上停止heartbeat
Heartbeat会锁定资源，只有停止后才能释放

[root@mfs-master ~]# /etc/init.d/heartbeat stop在作为mfs-log的节点上放弃该资源的数据

[root@mfs-log ~]# drbdadm disconnect r0
[root@mfs-log ~]# drbdadm secondary r0
[root@mfs-log ~]# drbdadm -- --discard-my-data connect r0然后在mfs-master（drbd1）上重连接资源：

[root@mfs-master ~]# drbdadm disconnect r0
[root@mfs-master ~]# drbdadm connect r0把mfs-master设置为主节点

[root@mfs-master ~]# drbdadm primary r0启动mfs-log(drbd2)上的drbd服务

[root@mfs-log mfs]# service drbd start
Starting DRBD resources: [ n(r0) ].（实际采用的恢复方法）
先选择好一个备机，在备机上执行：

drbdadm secondary r0
drbdadm disconnect r0
drbdadm -- --discard-my-data connect r0在主上执行：

drbdadm connect r0查看主节点的状态 显示为Primary，已经恢复了正常

[root@mfs-master ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-
05-07 11:56:36
1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:28672 nr:0 dw:1 dr:28805 al:1 bm:4 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0然后查看备份机的状态：显示Secondary，恢复正常

[root@mfs-log ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-
05-07 11:56:36
1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
ns:0 nr:28672 dw:28672 dr:0 al:0 bm:4 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0自动处理
通过/etc/drbd.conf配置中设置自动处理策略，在发生数据不一致时自动处理。自动处理策略定义如下：

1 after-sb-0pri.当两个节点的状态都是secondary时，可以通过after-sb-0pri策略自动恢复。

1）disconnect默认策略，没有自动恢复，简单的断开连接。

2）discard-younger-primary在split brain发生前从主节点自动同步。

3）discard-older-primary在split brain发生时从变成primary的节点同步数据。

4）discard-least-changes在split brain发生时从块最多的节点同步数据。

5）discard-node-NODENAME自动同步到名字节点

2 after-sb-1pri当两个节点的状态只有一个是primary时，可以通过after-sb-1pri策略自动恢复。

1）disconnect默认策略，没有自动恢复，简单的断开连接。

2）consensus丢弃secondary或者简单的断开连接。

3）discard-secondary丢弃secondary数据。

4）call-pri-lost-after-sb按照after-sb-0pri的策略执行。

3 after-sb-2pri当两个节点的状态都是primary时，可以通过after-sb-2pri策略自动恢复。

1）disconnect默认策略，没有自动恢复，简单的断开连接。

2）violently-as0p按照after-sb-0pri的策略执行。

3）call-pri-lost-after-sb按照after-sb-0pri的策略执行，并丢弃其他节点。
配置自动恢复
编辑/etc/drbd.conf，找到resource r0部分添加到net选项里面，配置策略如下，所有节点完全一致。

#after-sb-0pri disconnect;
after-sb-0pri discard-younger-primary;注：当两个节点的状态都是secondary时，可以通过after-sb-0pri策略自动恢复
在split brain发生前从主节点自动同步。

#after-sb-1pri disconnect;
after-sb-1pri discard-secondary;注：当两个节点的状态只有一个是primary时，可以通过after-sb-1pri策略自动恢复。
丢弃secondary数据。

#after-sb-2pri disconnect;
after-sb-2pri call-pri-lost-after-sb;注：当两个节点的状态都是primary时，可以通过after-sb-2pri策略自动恢复。
按照after-sb-0pri的策略执行，并丢弃其他节点。