KVM虚拟化环境高可用方案探讨

KVM是成熟的开源虚拟化解决方案,将其部署于企业生产环境,其高可用性也是必须要仔细考虑的问题。

高可用性(High Availability)是指系统提供不间断服务的能力,也就是尽可能的减少系统停止服务的时间。KVM虚拟化环境也存在HA的问题,KVM主机软硬件或外部环境都有可能出现问题甚至是灾难,这就必须要考虑一些高可用方案。

KVM高可用方案无非就是如何能最大限度的让客户机保持正常运行。目前想到的HA方案有如下几个。

1、DRBD

DRDB(Distributed Replicated Block Device),可以直译为"分布式复制块设备",其工作方式为通过网络来镜像块设备,可以称其为网络RAID1(Network RAID1)。 DRDB在本地接受IO请求,除了将数据写入本地硬盘外,还会通过网络发送给另一主机,另一主机将其写入自己的本地硬盘,从而保持两台主机的块设备实时同步。

从kernel 2.6.33开始DRDB已经进入mainline。DRBD 9.0之前只能将数据复制到一个节点,9.0之后将提供复制到多个节点的能力。

通过与heartbeat结合可以做到自动的failover,从而达到高可用性。

DRBD是一种通用解决方案,KVM虚拟化环境完全可以使用这一高可用技术。

2、Sheepdog

Sheepdog是专为QEMU/KVM开发的分布式块存储系统。它可以提供QEMU/KVM可以直接挂接使用的高可用块级存储卷。Sheepdog可以扩大到上百个节点,并且支持高级卷管理特性,比如快照、克隆、thin provisioning等。它是针对KVM的专用集群存储方案。

这玩意儿听起来真像那么一回事儿,但目前版本为0.3.0,成熟度貌似还很不够。不过很看好这项目。

3、双机

双机共享存储,但这种方式仍然存在单一故障点,那就是存储,所以这种方式并不是一种很好的方式,虽然存储的可靠性比主机要高的多。

目前正在采用这种方式,两台服务器分别通过多路径连接到共享的磁盘阵列,但同一时刻只能有一台服务器挂载磁盘阵列。因为磁盘阵列使用的是ext4文件系统,这种单机文件系统是不支持两台主机同时访问的,会造成数据混乱,甚至文件系统崩溃。

KVM客户机客户机磁盘镜像文件和启动KVM客户机的命令脚本都放在共享存储上面,当正在使用磁盘阵列的主机出现故障时,可以使用备机挂载磁盘阵列来运行KVM客户机。因为有了共享存储,也可以通过NFS来做客户机的动态迁移,即V2V热迁移,客户机可以在几乎没有任何中断的情况下从一台主机迁移到另一台主机。

因为存储是单一故障点,所以有必要经常备份KVM客户机。但目前KVM客户机还不能热备份,也就是要想完整备份客户机,只能将客户机停掉,然后拷贝其磁盘镜像文件。显然这样太麻烦了。

热备份的问题可以通过文件系统快照来间接实现。ext4不支持snapshot,ZFS是更好的选择。ZFS on linux是ZFS到linux的原生移植,以内核模块的方式来绕过license限制。通过ZFS给文件系统做快照,然后将快照传输到远程主机,来间接的实现KVM虚拟机的热备份。

近期会测试这种方式,ZFS on linux 现在的版本为0.6.0-rc8,不知道稳定性如何！

当然还有一种备份方式,现在的磁盘阵列大部分提供一种功能叫做远程卷镜像RVM(remote volume mirroring)的特性,但这种方式有许多缺点,比如硬件投资高,灵活性差,而且RVM会忠实的镜像一切数据,包括错误,一旦原卷数据损坏,可能远程镜像卷也会无法使用,如果RVM能提供事务支持就更好了,当然也有阵列提供snapshot功能。但是能用软件方案解决的问题还是尽量不要用硬件解决方案。

总结

总的来说,使用DRBD或Sheepdog是更好的解决方案,Sheepdog还不太成熟,也许DRDB是目前一个很好的选择。双机热备这种古老的技术其实并不灵活也不十分可靠,集群才是高可用和高性能的方向。