memory balloon

有关内存热插拔看这里：http://wenku.baidu.com/link?url=-5vvwbBv761AnE8ALcdCudKXkZ1D55z08lHKMfH8G_o0kvE1pzX4Vb16kRWqSCpYbdXf_o6xEEAiEV8bY8NYAeh6zCf4zoWf2b232lfsf1O

1. Ballooning简介

通常来说，要改变客户机占用的宿主机内存，是要先关闭客户机，修改启动时的内存配置，然后重启客户机才能实现。而内存的ballooning（气球）技术可以在客户机运行时动态地调整它所占用的宿主机内存资源，而不需要关闭客户机。

Ballooning技术形象地在客户机占用的内存中引入气球（Balloon）的概念，气球中的内存是可以供宿主机使用的（但不能被客户机访问或使用），所以，当宿主机内存使用紧张，空余内存不多时，可以请求客户机回收利用已分配给客户机的部分内存，客户机就会释放其空闲的内存，此时若客户机空闲内存不足，可能还会回收部分使用中的内存，可能会换出部分内存到客户机的交换分区（swap）中，从而使得内存气球充气膨胀，从而让宿主机回收气球中的内存可用于其他进程（或其他客户机）。反之，当客户机中内存不足时，也可以让客户机的内存气球压缩，释放出内存气球中的部分内存，让客户机使用更多的内存。

很多现代的虚拟机，如KVM、Xen、VMware等，都对Ballooning技术提供支持。关于内存Balloon的概念，其示意图如图5-9所示。

 

linux ballooning

图5-9 内存Balloon的概念

2. KVM中Ballooning的原理及其优劣势

KVM中Ballooning的工作过程主要如下几个步骤：

1. Hypervisor（即KVM）发送请求到客户机操作系统让其归还一定数量的内存给hypervisor。

2. 客户机操作系统中的virtio_balloon驱动接收到hypervisor的请求。

3. virtio_balloon驱动使客户机的内存气球膨胀，气球中的内存就不能被客户机访问。如果此时客户机中内存剩余量不多（如某应用程序绑定/申请了大量的内存），并不能让内存气球膨胀到足够大以满足hypervisor的请求，那么virtio_balloon驱动也会尽可能多地提供内存使气球膨胀，尽量去满足hypervisor的请求中的内存数量（即使不一定能完全满足）。

4. 客户机操作系统归还气球中的内存给hypervisor。

5. hypervisor可以将从气球中得来的内存分配到任何需要的地方。

6. 如果从气球中得到来内存没有处于使用中，hypervisor也可以将内存返还到客户机中，这个过程为：

a. hypervisor发请求到客户机的virtio_balloon驱动；

b. 这个请求让客户机操作系统压缩内存气球；

c. 在气球中的内存被释放出来，重新让客户机可以访问和使用。

Ballooning在节约内存和灵活分配内存方面有明显的优势，其好处有如下三点。

第一，因为能够控制和监控ballooning，所以ballooning能够潜在地节约大量的内存。它不同于内存页共享技术（KSM是内核自发完成的、不可控），客户机系统的内存只有在通过命令行调整balloon时才会随之改变，所以能够监控系统内存并验证ballooning引起的变化。

第二，Ballooning对内存的调节很灵活，既可以精细的请求少量内存，又可以粗犷的请求大量的内存。

第三，hypervisor使用ballooning让客户机归还部分内存，从而可以缓解其内存压力。而且从气球中回收的内存也不要求一定要被分配给另外某个进程（或另外的客户机）。

从另一方面来说，KVM中ballooning的使用不方便、不完善的地方也是存在的，其缺点也有如下几个。

1. Ballooning需要客户机操作系统加载virtio_balloon驱动，然而并非每个客户机系统都有该驱动（如windows需要自己安装该驱动）。

2. 如果有大量内存从客户机系统中回收，Ballooning可能会降低客户机操作系统运行的性能。一方面，内存的减少，可能会让客户机中作为磁盘数据缓存的内存被放到气球中，从而客户机中的磁盘I/O访问会增加；另一方面，如果处理机制不够好，也可能让客户机中正在运行的进程由于内存不足而执行失败。

3. 目前没有比较方便的、自动化的机制来管理ballooning，一般都是采用在QEMU monitor中执行balloon命令来实现ballooning的。没有对客户机的有效监控，没有自动化的ballooning机制，这可能会让生产环境中实现大规模自动化部署并不很方便。

4. 内存的动态增加或减少，可能会使内存被过度碎片化，从而降低内存使用时的性能。另外，内存的变化会影响到客户机内核对内存使用的优化，比如：内核起初根据目前状态对内存的分配采取了某个策略，而突然由于balloon的效果让可用内存减少了很多，这时起初的内存策略可能就不是太优化的了。

3. KVM中Ballooning使用示例

KVM中的Ballooning是通过宿主机和客户机协同来实现的，在宿主机中应该使用2.6.27及以上版本的Linux内核（包括KVM模块），使用较新的qemu-kvm（如0.13版本以上），在客户机中也使用2.6.27及以上内核且将“CONFIG_VIRTIO_BALLOON”配置为模块或编译到内核。在很多Linux发行版中都已经配置有“CONFIG_VIRTIO_BALLOON=m”，所以用较新的Linux作为客户机系统，一般不需要额外配置virtio_balloon驱动，使用默认内核配置即可。

在QEMU命令行中可用“-balloon virtio”参数来分配Balloon设备给客户机让其调用virtio_balloon驱动来工作，而默认值为没有分配Balloon设备（与“-balloon none”效果相同）。

-balloon virtio[,addr=addr]  #使用VirtIO balloon设备，addr可配置客户机中该设备的PCI地址。

在QEMU monitor中，提供了两个命令查看和设置客户机内存的大小。

(qemu) info balloon   #查看客户机内存占用量（Balloon信息）

(qemu) balloon num   #设置客户机内存占用量为numMB

KVM中使用ballooning的操作步骤如下：

（1）QEMU启动客户机时分配balloon设备，命令行如下所示。也可以使用较新的“-device”的统一参数来分配balloon设备，如“-device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x4”。

[root@jay-linux kvm_demo]# qemu-system-x86_64 rhel6u3.img -smp 2 -m 2048 -balloon virtio

（2）在启动好的客户机中查看balloon设备及内存使用情况，命令行如下：

[root@kvm-guest ~]# lspci

00:00.0 Host bridge: Intel Corporation 440FX – 82441FX PMC [Natoma] (rev 02)

00:01.0 ISA bridge: Intel Corporation 82371SB PIIX3 ISA [Natoma/Triton II]

00:01.1 IDE interface: Intel Corporation 82371SB PIIX3 IDE [Natoma/Triton II]

00:01.3 Bridge: Intel Corporation 82371AB/EB/MB PIIX4 ACPI (rev 03)

00:02.0 VGA compatible controller: Cirrus Logic GD 5446

00:03.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL-8139/8139C/8139C+ (rev 20)

00:04.0 Unclassified device [00ff]: Red Hat, Inc Virtio memory balloon

[root@kvm-guest ~]# grep VIRTIO_BALLOON \ /boot/config-2.6.32-279.el6.x86_64

CONFIG_VIRTIO_BALLOON=m

[root@kvm-guest ~]# lsmod | grep virtio

virtio_balloon          4856  0

virtio_pci              7113  0

virtio_ring             7729  2 virtio_balloon,virtio_pci

virtio                  4890  2 virtio_balloon,virtio_pci

[root@kvm-guest ~]# lspci -s 00:04.0 -v

00:04.0 Unclassified device [00ff]: Red Hat, Inc Virtio memory balloon

Subsystem: Red Hat, Inc Device 0005

Physical Slot: 4

Flags: fast devsel, IRQ 10

I/O ports at c100 [size=32]

Kernel driver in use: virtio-pci

Kernel modules: virtio_pci

[root@kvm-guest ~]# free -m

total       used       free     shared    buffers     cached

Mem:          1877        166       1711          0         21         59

-/+ buffers/cache:         85       1792

Swap:          508          0          508

根据上面输出可知，客户机中virtio_balloon模块已经加载，有一个叫做“Red Hat, Inc Virtio memory balloon”的PCI设备，它使用了virtio_pci驱动。如果是Windows客户机，则可以在“设备管理器”看到使用VirtIO Balloon设备。

（3）在QEMU monitor中查看和改变客户机占用的内存，命令如下：

(qemu) info balloon

balloon: actual=2048

(qemu) balloon 512

(qemu) info balloon

balloon: actual=512

如果没有使用Balloon设备，则monitor中用“info balloon”命令查看会得到“Device ‘balloon’ has not been activated”的警告提示。而“balloon 512”命令将客户机内存设置为512MB。

（4）设置了客户机内存为512 MB后，再到客户机中检查，如下所示。

[root@kvm-guest ~]# free -m

total       used       free     shared    buffers     cached

Mem:           341        166        175          0         21         59

-/+ buffers/cache:         85        256

Swap:         508          0          508

如果是Windows客户机（如Win7），当balloon使其可用内存从2GB降低到512MB时，在其“任务管理器”中看到的内存总数依然是2GB，但是看到它的内存已使用量会增大1536MB（如从其原来使用量350MB，变为1886MB），这里占用的1536MB正是Balloon设备占用的，Windows客户机系统其他程序已不能使用这1636 MB内存，这时宿主机系统就可以再次分配这里的1536MB内存用于其他用途。

另外，值得注意的是，当通过“balloon”命令让客户机内存增加时，其最大值不能超过QEMU命令行启动时设置的内存，例如：命令行中内存设置为2048MB，如果在Monitor中执行“balloon 4096”则设置的4096MB内存不会生效，其值将会被设置为启动命令行中的最大值（即2048MB）。

4. 通过Ballooning过载使用内存

在4.3.4节“内存过载使用”中提到，内存过载使用主要有三种方式：swapping、ballooning和page sharing。在多个客户机运行时动态地调整其内存容量，ballooning是一种让内存过载使用的非常有效的机制。使用ballooning可以根据宿主机中对内存的需求，通过“balloon”命令调整客户机内存占用量，从而可以实现内存的过载使用。

在实际环境中，客户机系统的资源的平均使用率一般并不是很高的，通常是一段时间负载较重，一段时间负载较轻。可以在一个物理宿主机上启动多个客户机，通过ballooning的支持，在某些客户机负载较轻时减少其内存使用，用于分配给此时负载较重的客户机。例如：在一个物理内存在8GB的宿主机上，可以在一开始就分别启动6个内存为2GB的客户机（A、B、C、D、E、F这6个），根据平时对各个客户机里资源使用情况的统计可知，当前一段时间内，A、B、C的负载很轻，就可以通过ballooning降低其内存为512 MB，而D、E、F的内存保持2 GB不变。其内存分配的简单计算为：

512MB × 3  +  2GB × 3  +  512MB（用于宿主机中其他进程） =  8GB

而在其他某些时间段，A、B、C等客户机负载较大时，也可以增加它们的内存量（同时减少D、E、F的内存量）。这样就在8GB物理内存的上运行了看似需要大于12GB内存才能运行的6个2GB内存的客户机，从而较好地实现了内存的过载使用。

如果客户机中有virtio_balloon驱动，则使用ballooning来实现内存过载使用是非常方便的。而前面提到“在QEMU monitor中用balloon命令改变内存操作不方便”的问题，如果使用第6章将会介绍的libvirt工具来使用KVM，则对ballooning的操作会比较方便，在其“virsh”管理程序中就有“setmem”这个命令来动态更改客户机的可用内存容量，该方式的完整命令为“virsh setmem <domain-id or domain-name> <Amount of memory in KB>”。

http://smilejay.com/2012/11/kvm-ballooning-overview/

http://smilejay.com/2012/11/use-ballooning-in-kvm/