vSphere、vSAN与高速网

【编者按】

晓苏是我以前的同事，现在任职Cavium公司技术经理。

Cavium公司是全球领先的多核 MIPS 和 ARM 处理器提供商，处理器广泛应用于网络/通讯、无线、存储和控制应用等领域的安全产品。

2016年6月，Cavium以13.6亿美元收购网络厂商QLogic；2017年11月，Marvell拟以 60 亿美元收购 Cavium。

本篇文章经作者授权。可以看到高速网络下vSphere的性能。从下面10G、25G的测试性能截图可以看出，在虚拟环境下，也能充分地发挥硬件的性能。

---Begin---

VMware vSAN简介

VMware vSAN，曾用名VMware Virtual SAN，现称vSAN。我们可以把vSAN理解为vSphere Storage，是vSphere虚拟机后端的企业级高性能存储。vSAN其实就是基于服务器端存储的共享分布式对象存储系统，可以用来取代vSphere后端的外置磁盘阵列。 

 

 

vSAN把vSphere集群服务器各个节点内的SSD(固态硬盘)和HDD(硬盘)，聚合在一起，构成一个共享的存储池。然后再由存储池按照预先创建好的存储策略(用户不创建，则自动使用系统默认策略)，分配存储空间给集群内的虚拟机使用。如果借助NAS插件，也可提供共享的文件空间给其他集群，或者物理机使用。或者借助vSAN iSCSI接口，也可提供vSAN的空间，以块的访问方式给物理机使用。

vSAN是一种基于软件的分布式存储解决方案，可在任何标准X86服务器上运行，只要I/O Controller(控制器)、SSD和HDD在vSAN HCL (Hardware Compatibility List- 兼容列表)内，就可运行。vSAN的HCL非常丰富，为用户的选型提供了非常高的灵活性。

与S2D 可以使用RDMA并且建议采用25G网络不同，VMware vSAN 目前并没有针对网络环境提出太高的要求，选择更为宽松：

 

 

在官方建议的最佳实践中，1G 千兆网卡为最低配置，10G 万兆网卡为建议配置。这在目前的数据中心网络当中，特别是软件定义存储应用当中，此配置要求是比较宽泛的。

 

最佳实践是为了获得最好的性能，因此10G 共享网卡作为最低配置更匹配系统的实际要求，单独的10G网卡或者更高速率的接口，才能实现更好的性能特别是全闪存配置的要求。在vSAN最新版本所对应的vSphere 6.5系统配置当中，明确了以下网卡都可以支持：

高速以太网

 

更高带宽的网卡接口，到底对性能有多少影响呢？我们做了这样一个实验，单纯地对比10G网卡和25G 网卡在VMware环境当中的网络传输性能。10G测试时，两端的服务器采用QLE3442-SR 网卡，每台服务器使用1个端口连接到10G交换机；25G测试时，两端的服务器采用QL45212 网卡，每台服务器使用1个端口连接到25G交换机。vCenter服务器采用1G网卡通过千兆网络对两台测试系统进行管理工作。

 

实验拓扑请参考下图：

每台ESX 服务器创建4台VM虚拟机，并在虚拟机上运行IxChariot流量测试程序，ixchariot是Ixia公司的专业性能测试软件，可以模拟各种网络流量场景以评估设备、系统以及网络在这些场景当中的表现。每台虚拟机会运行2个IxChariot 测试进程，因此在单向流量测试中，总共有8个进程在传输测试数据；而双向流量测试中，总共有16个进程在传输数据。我们选择的数据包大小在1KB～64KB之间，基本可以覆盖主流应用的数据包大小区间。另外，每项测试进行两次，第一次是关闭网卡的large segment offload (LSO) 和TCP segment offload(TSO) 卸载功能，由CPU进行数据拆分切片；第二次则开启网卡的LSO，TSO硬件卸载功能，降低CPU的消耗，提高系统处理能力。

 

10G网卡双向流量测试结果：

25G 网卡双向流量测试结果：

从上面的单纯速率测试可以看出以下几点：

 

1.      25G 网卡传输性能远远超过10G网卡

在16KB以下的数据包测试中，差距尤为明显。数据包大小为16KB时，差距是3倍；而数据包为1KB时，传输性能差距超过20倍！

 

2.      LSO/TSO 对网络性能提升帮助很大

在25G网卡测试中，开启LSO/TSO硬件卸载平均可以实现18% 左右的性能提升。

 

因此从性能角度想要达到最佳的性能，在端口速率的选择上应该还是越高越好。

RDMA网络特性

 

既然高速以太网网卡可以提升网络带宽来提高性能，那么现在非常火热的以太网RDMA是否也可以应用在vSAN之上呢？众所周知S2D 可以利用iWARP和RoCE 两种以太网RDMA协议。

 

目前vSAN 暂不支持以太网RDMA，不过相信不久的将来会支持。微软曾经提供过一个简单虚拟化环境下RDMA和普通TCP/IP网络性能的对比：

 

从上图我们可以看出：

1.      RDMA 技术可以显著提升性能，在提高IOPS的同时降低时延，降低CPU消耗。

2.      TCP/IP 虽然没有RDMA网络速度快，但是依然是一个非常可靠的选择，在对时延要求较低的应用当中，依然可以提供非常可观IOPS输出。

 

 

vSphere 原本就支持InfiniBand网络，在2017年3月的文章vSphere 6.5 with RoCE (RDMA over Converged Ethernet)and Certification Suite 中，已经开始了网卡认证工作。vSphere 一旦开始支持RDMA网络，vSAN 就会很快实现了。希望到那个时候，我们可以再横向比较一下vSAN在RDMA网络和普通TCP/IP 网络之间的区别。

---End---

本篇文章2018年1月12日在微信公众号 CaviumQLogic 上发布，题为：《vSAN软件定义存储与高速以太网特性 (25G/100G以及RDMA)》

微信公众号平台"乐生活与爱IT"在目前阶段，主要是分享软件定义存储(SDS)，及VMware vSAN相关的文章，偶尔也会分享虚拟化、云计算、大数据、区块链等IT类文章，甚至生活类的好文章。欢迎投稿，特别是原创文章。如果原创文章属于首次发布，根据质量和阅读量的不同，能获得20~500元的稿费。我的QQ号：9269216。另外，如果还有赞赏收入，作者可获得60%。

欢迎对SDS感兴趣的朋友，加入软件定义存储讨论 QQ群:122295009，可下载原创的一些文章，及其他有参考价值的文档。可直接搜索群号，或者扫描如下二维码：

同时，欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群，并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号，建议添加管理员时，告知你的公司名和姓名，方便备注保存。

sdg8848

libo9538

yangzhuan

dts0103

欢迎您通过扫描关注微信公众号：“乐生活与爱IT”。

关注后，可以通过点击左下角的“文章目录”，通过输入三位数（记住！是三位数，目前第一位是0或者1）详细了解如何查看历史文章。

点击左下角“阅读原文”，可以跳转到微信公众号“乐生活与爱IT”的上文章：

《InfiniBand支持VMware vSAN吗？》