架构说明如下：
1. 采用2台存储服务器做drbd同步；
2. 将drbd同步磁盘作为iscsi资源共享给集群节点；
3. 集群节点可以挂载iscsi磁盘，划分vg,lv分配给虚拟机使用，并且可以实现迁移等功能；
4. 通过pacemaker管理实现drbd、iscsi、浮动ip的自动切换。
存储服务器网络连接说明：
1. 两台存储服务器加2-3块双口网卡，每块网卡拿出一个口做网络直连，然后几个端口之间做多网卡绑定。这样做的目的是提高可靠性同时提高网络带宽。
2. 另外做2个网口的多网卡绑定，和交换机配合，用于iscsi存储网络。
3. 剩下的端口可以用于管理和生产网络使用。
存储服务器raid配置说明：
存储服务器有多块磁盘，因为磁盘是很容易坏的部件，建议用2块磁盘做在线的热备。另外剩余磁盘做一个大的raid10组，然后再划分2个逻辑磁盘，较小的磁盘安装操作系统，较大的用于raid同步。
Drbd存储服务器安装说明：
安装操作系统centos 6.3 略
多网卡绑定设置，请参考http://xiaoli110.blog.51cto.com/1724/940971
Drbd软件和pacemaker安装，参考
http://share.blog.51cto.com/278008/845357/
http://share.blog.51cto.com/278008/850752
drbd配置文件参考：
global {
usage-count yes;
}
common {
protocol C;
disk {
on-io-error detach;
fencing resource-only;
}
net {
cram-hmac-alg sha1;
shared-secret "a6a0680c40bca2439dbe48343ddddcf4";
}
syncer {
rate 300M;
}
handlers {
fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
after-resync-target "/usr/lib/drbd/crm-unfence-peer.sh";
pri-on-incon-degr "echo b > /proc/sysrq-trigger";
}
}
resource iscsivg01 {
device /dev/drbd1;
disk /dev/sdb;
meta-disk internal;
net {
max-buffers 8192;
max-epoch-size 8192;
sndbuf-size 2048k;
unplug-watermark 127;
}
disk {
disk-barrier no;
disk-flushes no;
resync-rate 150M;
c-plan-ahead 200;
c-max-rate 200M;
c-min-rate 25M;
c-fill-target 15M;
}
on drbd-01 {
address 172.16.101.181:7898;
}
on drbd-02 {
address 172.16.101.182:7898;
}
}
注意：
c-max-rate 200M;
c-min-rate 25M;
需要保持平衡，否则会造成同步速率不能上去。
Pacehmaker配置参考：
configure
property stonith-enabled="false"
property no-quorum-policy="ignore"
property default-resource-stickiness="200"
commit
primitive p_drbd_iscsivg01 ocf:linbit:drbd \
params drbd_resource="iscsivg01" \
op monitor interval="29" role="Master" \
op monitor interval="31" role="Slave"
primitive p_ip_alicebob01 ocf:heartbeat:IPaddr2 \
params ip="172.16.100.180" cidr_netmask="24" \
op monitor interval="10s"
primitive p_lu_iscsivg01_lun1 ocf:heartbeat:iSCSILogicalUnit \
params target_iqn="iqn.2001-04.com.example:storage.example.iscsivg01" lun="1" path="/dev/iscsivg01/LUN1" scsi_id="1234567890123456" \
op monitor interval="10s"
primitive p_lu_iscsivg01_lun2 ocf:heartbeat:iSCSILogicalUnit \
params target_iqn="iqn.2001-04.com.example:storage.example.iscsivg01" lun="2" path="/dev/iscsivg01/LUN2" scsi_id="1234567890123457" \
op monitor interval="10s"
primitive p_lvm_iscsivg01 ocf:heartbeat:LVM \
params volgrpname="iscsivg01" \
op monitor interval="30s"
primitive p_target_iscsivg01 ocf:heartbeat:iSCSITarget \
params iqn="iqn.2001-04.com.example:storage.example.iscsivg01" tid="1" incoming_username="iscsi" incoming_password="1qa2ws3ed4rF" \
op monitor interval="10s"
group rg_iscsivg01 p_lvm_iscsivg01 p_target_iscsivg01 p_lu_iscsivg01_lun1 p_lu_iscsivg01_lun2 p_ip_alicebob01
ms ms_drbd_iscsivg01 p_drbd_iscsivg01 \
meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
location drbd-fence-by-handler-iscsivg01-ms_drbd_iscsivg01 ms_drbd_iscsivg01 \
rule $id="drbd-fence-by-handler-iscsivg01-rule-ms_drbd_iscsivg01" $role="Master" -inf: #uname ne drbd-01
colocation c_iscsivg01_on_drbd inf: rg_iscsivg01 ms_drbd_iscsivg01:Master
order o_drbd_before_iscsivg01 inf: ms_drbd_iscsivg01:promote rg_iscsivg01:start
欢迎加我微信（ID：xiaolikvm）一起交流。欢迎加入云技术社区KVM/QEMU技术交流QQ，请加QQ:502207183，注明姓名，城市，及要加入KVM群。