sheepdog 与KVM
Sheepdog是为kvm虚拟化量身定做的分布式文件系统，针对kvm系统做了深入的优化，是kvm虚拟化分布式文件系统的终极解决方案，目前版本0.4，如果要在生产环境中使用，还有很多工作要做,需要等待更成熟的版本发布。
说明：
设计目的：
1. 集群设计虚拟机容量70-100台,占用1个机柜，全部由1U服务器组成，每台服务器6台，300G*8；
sheepdog集群架构：
1. 组成，存储服务器通过哈希算法，可以弹性增加或者减少，并实现冗余；
2. 存储服务器每台机器至少需要4块网卡，如果机器只有板载的2块网卡，需要在加1块双口网卡，做4块网卡的绑定，这样可以提高网络带宽；
3. 每台服务器是存储节点也是计算节点；
sheepdog集群搭建：
注意事项：本文介绍在centos 6.3的安装，如果要使用libvirt需要在在fedora17上安装。
1 安装
安装epel源
rpm -Uvh http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-7.noarch.rpm
yum install corosynclib-devel
如果是centos6.x 需要先卸载corosync，因为系统携带的版本过旧
yum remove corosync corosynclib corosynclib-devel
需要源代码安装
yum install nss-devel -y
git clone git://github.com/corosync/corosync.git
cd corosync
git checkout -b flatiron origin/flatiron
./autogen.sh
./configure --enable-nss
make install
修改corosync配置文档
# Please read the corosync.conf 5 manual page
cat << EOF >/etc/corosync/corosync.conf
compatibility: whitetank
aisexec {
user: root
group: root
}
service {
name: pacemaker
ver: 0
}
totem {
version: 2
secauth: off
threads: 0
interface {
ringnumber: 0
bindnetaddr: 你的ip网段，比如192.168.1.0
mcastaddr: 226.94.1.1
mcastport: 5405
ttl: 64
}
}
logging {
fileline: off
to_stderr: no
to_logfile: yes
to_syslog: no
logfile: /var/log/cluster/corosync.log
debug: off
timestamp: on
logger_subsys {
subsys: AMF
debug: off
}
}
amf {
mode: disabled
}
EOF
service corosync restart
安装最新的qemu
git clone git://git.sv.gnu.org/qemu.git
cd qemu
./configure
make install
cd ..
安装sheepdog
源代码安装
rpm -Uvh http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-7.noarch.rpm
yum install userspace-rcu-devel -y
cd /root
git clone git://github.com/collie/sheepdog.git
cd sheepdog
./autogen.sh
./configure
make install
cd ..
安装最新的libvirt（需要比较新的内核支持）
yum install device-mapper-devel -y
yum install python-devel -y
yum install libnl-devel -y
yum install lib-xml2 -y
yum install -y gnutls-devel
git clone git://libvirt.org/libvirt.git
cd libvirt
./autogen.sh
make
make install
2 使用
mkdir -p /var/lib/sheepdog
需要有个块设备或者分区供sheepdog使用，这里是一个lv
mount /dev/vg_datap/lv_for_sheep /var/lib/sheepdog
启动服务
/etc/init.d/sheepdog start
或者
sheep /var/lib/sheepdog
/var/lib/sheepdog是sheepdog的存储位置，这个目录必须是xattr ext3 ext4格式之一
增加一个用户给sheepdog使用
重新挂载sheepdog存储位置
格式化sheepdog集群
collie cluster format --copies=3
copies是镜像冗余数
也可以后台格式化
collie cluster format -b farm --copies=3
重用操作
1) 查看集群状态
collie node list
[root@dell3 ~]# collie node list
M Id Host:Port V-Nodes Zone
- 0 10.10.11.100:7000 64 2030766602
- 1 10.10.11.101:7000 64 -720696822
- 2 10.10.11.102:7000 64 -167048694
- 3 10.10.11.103:7000 64 -133494262
2) 产生一个镜像
qemu-img create sheepdog:Alice 256G
3) 将一个现有的镜像转化到sheepdog中
qemu-img convert -t writethrough ~/amd64.raw sheepdog:Bob
4) 查看镜像
collie vdi list
5) 虚拟机启动
qemu-system-x86_64 sheepdog:Alice
6) 修改缓存方式
qemu-system-x86_64 -drive file=sheepdog:Alice,cache=writeback
7) 创建虚拟机快照
qemu-img snapshot -c name sheepdog:Alice
8) 快照查看
collie vdi list
name id size used shared creation time object id
--------------------------------------------------------------------
Bob 0 2.0 GB 1.6 GB 0.0 MB 2010-03-23 16:16 80000
Alice 0 256 GB 0.0 MB 0.0 MB 2010-03-23 16:21 c0000
Alice 1 256 GB 0.0 MB 0.0 MB 2010-03-23 16:16 40000
9) 从指定的快照启动
qemu-system-x86_64 sheepdog:Alice:1
10) 从快照克隆
qemu-img create -b sheepdog:Alice:1 sheepdog:Charlie
collie vdi list
name id size used shared creation time object id
--------------------------------------------------------------------
Bob 0 2.0 GB 1.6 GB 0.0 MB 2010-03-23 16:16 80000
Alice 0 256 GB 0.0 MB 0.0 MB 2010-03-23 16:21 c0000
s Alice 1 256 GB 0.0 MB 0.0 MB 2010-03-23 16:16 40000
Charlie 0 256 GB 0.0 MB 0.0 MB 2010-03-23 16:23 100000
11) 停止集群
collie cluster shutdown
12) libvirt支持
<disk type='network'>
<driver name="qemu" type="raw" io="threads" ioeventfd="on" event_idx="off"/>
<source protocol="sheepdog" name="image_name">
<host name="hostname" port="7000"/>
</source>
<target dev="hdb" bus="ide"/>
<boot order='1'/>
<transient/>
<address type='drive' controller='0' bus='1' unit='0'/>
</disk>
13) 启动一个虚拟机，vnc端口是5902，网卡是e1000
qemu-system-x86_64 --enable-kvm -m 2048 -drive file=sheepdog:w2k3 -drive file=sheepdog:w2k3d -net nic,model=e1000 -vnc :2