虚拟化之vmware DirectPath I/O

首先Intel这边，必须CPU支持VT-D，基本就是i5/i7的型号，而且部分i5中低端型号还不支持，带K的不支持。同时主板要开启VT-D支持，这些从775时代开始就有了，所以型号搭配复杂。
AMD那边，CPU倒是基本都支持，45nm开始全系列和部分65nm都支持IOMMU，但只有服务器主板才开放，桌面版想用，起码都是890FX开始(IOMMU 1.2)，新出的9系列，970/990x/990fx也都针对IOMMU加入默认支持行列，搭配推土机虚拟化性能才得以发挥，但现在价格过高，性价比和intel差不多。
选择的时候，连VMware官方论坛都是将AMD的IOMMU当成实验性质的，也就是性能不可预计，稳定性不可知。
自然intel那边成为了首选，考虑内存优先，那么i7 1366+X58+6x 4/8G 的大内存应该是首选，sandy bridge的i5/i7二代支持vt-d的型号价格都偏高，这就延续了过去775时代Q6600/Q8400 CPU价格功耗过高，而E5200/E6600只支持vt-x的选择性困难。现在看4月发布ivy bridge是否在虚拟化的性能上有所差距，如果只停留在10%范围，那么完全可以考虑上老平台。
(update:X58平台功耗高于sandy bridge 50W平均，不是家庭用户的选择）
存储是虚拟化的基础，所有软raid（南桥，低端raid卡）都不能被esxi支持，而是识别为独立硬盘，所以要考虑稳定的存储管理系统，freenas/openfiler/solaris才是下一步重点学习的方向。

本文讨论的是DirectPath I/O。
让我们由浅入深地通过一些问答来逐步展开DirectPath I/O的世界：
Q: 什么是DirectPath I/O？
A: VMware官方手册这么说：『通过 DirectPath I/O，虚拟机可以使用 I/O 内存管理单元访问平台上的物理 PCI 功能』
其实就是VM绕开了Hypervisor的管理，直接访问I/O设备。而最常见的I/O设备就是网卡。
Q: 为啥要用DirectPath I/O？ （DirectPath I/O的优点）
A: 因为它绕开了hypervisor对I/O的处理，所以具有两大优点：
第一，速度快
第二，CPU的开销小
Q: DirectPath I/O的缺点？
A: VMware的手册中说：
配置了 DirectPath 的虚拟机不具有以下功能：
vMotion
虚拟设备的热添加和热移除
挂起和恢复
记录和重放
Fault Tolerance
High Availability
DRS（受限的可用性。虚拟机可以属于某个群集，但不能在主机之间迁移）
快照
Q: 为啥启用了DirectPath I/O，上述那么多功能都没法使用？
A: 以上功能比如vMotion、FT、HA、Snapshot等等，都是Hypervisor通过VMKernel来实现的。而DirectPath I/O绕开了Hypervisor，直接访问了物理网卡，自然这些功能就无法用了。
Q: 哇，这么多重要的功能不能用了！好吧，没有了vMotion，虚拟化还有什么意义！没有了HA，生产应用怎么敢虚拟化？这么看来DirectPath I/O完全就是个废品嘛。
A: 且慢，VMware vSphere 5.1的手册里面还有这么一段描述：
只有在 Cisco 统一计算系统 (UCS) 上通过 Cisco Virtual Machine Fabric Extender (VM-FEX) 分布式交换机配置有 DirectPath I/O 的虚拟机才具有下列功能。
vMotion
虚拟设备的热添加和热移除
挂起和恢复
High Availability
DRS
快照
为啥呢？因为Cisco的UCS系统上的网卡很奇妙，这种被叫做VIC的网卡是一种高级的融合式网卡(CNA)，可以虚拟化成多个vNIC。与HP的Flex-10网卡只能最多虚拟化成4个静态vNIC不同，Cisco UCS的VIC可以虚拟化成128个（型号1240）或256个（型号1280）vNIC。而且Cisco支持Dynamic vNIC，这种类型的vNIC不是固定的，可以随着VM的漂移而移动。通过和VMware的结合，Dynamic vNIC在VM移来或虚拟设备热添加时被创建出来，在VM移走或虚拟设备热移除时被删掉。这就解决了问题，即不通过Hypervisor的管理又能同时实现vMotion。解决了vMotion的问题，HA、DRS等等问题也就迎刃而解了。
所以说，应用了Cisco UCS VM-FEX分布式交换机，我们就可以做到既实现了DirectPath I/O的优点，又避免了其致命的缺点。
Q: 那么结合了VM-FEX vDS和DirectPath I/O，是不是就天衣无缝，完全没有缺点了呢？是不是在所有场合下都可以应用DirectPath I/O了呢？
A: No. 还有2个缺点。
首先Dynamic vNIC有数量限制，其数量的上限是IO Module（2204或2208）uplink数量乘以15减去4。
例如配置了2个2204 IO Module的UCS刀箱满配一共有8个上联链路，那么可以配置的Dynamic vNIC的上限就是8×15-4=116个。
实际情况是静态vNIC和vHBA还会占用一些vNIC数，所以116也不一定能达到。
而动态vNIC的总数限制就是一台物理主机上所有VM的所有网卡的数量上限。
116不是一个很大的数字，在某些应用的情况下，一台VM可能会需要2个以上的网卡，也就是会占用2个以上的动态vNIC，这导致了动态vNIC数量非常紧张。当无法创建新的动态vNIC时，新的虚拟机就无法创建出来，也无法向这台主机vMotion迁移虚拟机。
其次，要启用VM-FEX 结合的DirectPath I/O，虚拟机必须做内存保留(memory reservation)，而且是所有内存都必须保留。这使得虚拟机插槽(slot)变得非常大，而且也使得主机无法充分利用内存，无法进行内存过量分配（overcommitment）。
结论：由于DirectPath I/O只有在I/O繁重的情况下才能发挥其优势。即使你使用了Cisco UCS，也要根据自己的情况来衡量是否需要采用VM-FEX分布式交换机来启用DirectPath I/O。套用一句老化，没有最好只有最合适。因此在进行架构设计的时候，请选择适合你的组织的方案，而不是盲目追求最快最新。

综合而言，direct i/o 性能绝对是好的，当然，也是牺牲了相关的可用性；用ucs，去补偿