[zz]淘宝子团关于kvm 调优的分享

今天在杭州参加淘宝嘉年华技术沙龙，主题是虚拟化和云计算，三个讲演：

• 淘宝网子团分享淘宝kvm技术的使用
• 华为的杨晓伟介绍虚拟化技术
• 阿里云郑永升介绍弹性云计算技术

其中KVM 调优，三点值得关注的：

1、Kernel SamePage Merging(KSM)

在CentOS下KSM是打开的，Debian下KSM是关闭的。KSM的原理，是多个进程中，Linux将内核相似的内存页合并成一个内存页。这 个特性，被KVM用来减少多个相似的虚拟机的内存占用，提高内存的使用效率。由于内存是共享的，所以多个虚拟机使用的内存减少了。这个特性，对于虚拟机使 用相同镜像和操作系统时，效果更加明显。

但是，事情总是有代价的，使用这个特性，都要增加内核开销，用时间换空间。所以为了提高效率，可以将这个特性关闭。方法是：

两种关闭方式：

echo 0 > /sys/kernel/mm/ksm/run

或者

chkconfig ksm off

chkconfig ksmtuned off

另外，如果要使用KSM特性，也可以对参数进行调优。

具体参见：

http://www.linuxtopia.org/online_books/rhel6/rhel_6_virtualization/rhel_6_virtualization_chap-KSM.html

2、KVM Huge Page Backed Memory

intel 的X86 CPU通常使用4Kb内存页，当是经过配置，也能够使用巨页(huge page):

(4MB on x86_32, 2MB on x86_64 and x86_32 PAE)

使用巨页，KVM的虚拟机的页表将使用更少的内存，并且将提高CPU的效率。最高情况下，可以提高20%的效率！

使用方法，需要三部：

mount -t hugetlbfs hugetlbfs /dev/hugepages

#保留一些内存给巨页

sysctl vm.nr_hugepages=516

#给 kvm 传递参数 hugepages

qemu-kvm - qemu-kvm -mem-path /dev/hugepages

其中第三步，也可以在配置文件里加入：

<memoryBacking>

<hugepages/>

</memoryBacking>

验证方式，当虚拟机正常启动以后，在虚拟机里查看：

cat /proc/meminfo |grep -i HugePages_Free

3、sheepdog 存储的使用

taobao有已经在sheepdog上做了很多工作，代码贡献量已经排在最前面。

有几个重要的feature改进和很多bug fix。

taobao已经在95个物理机和950个虚拟机的环境下，做了测试。

具体可以参见：

http://sheepdog.taobao.org/

这是一个令人兴奋的改进。