Intel测试报告：NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS
【编者按】
文章末尾揭晓 赠书 | 容器技术怎样用存储？ 获得赠书的读者。
---本篇文章导读---
VMware vSAN是一款灵活的超融合软件，得益于vSphere成熟而且广泛的生态链，vSAN支持至少14种不同的服务器品牌，拥有至少160多个经过预先认证的 vSAN 就绪节点(Ready Nodes)。另一重要的信息是，由于VMware在私有云无可争议的王者地位，许多新硬件技术出现，都希望能尽快通过vSphere或vSAN的认证。因此，相比传统外置磁盘阵列，vSAN能在较早的时间兼容新的硬件技术。原来有SATA/SAS SSD，后来又有PCIe SSD和NVMe SSD，未来会有NVDIMM SSD（性能将达到SAS SSD的3~6倍）。
如果用户的业务应用是IOPS密集型，可以考虑采用NVMe SSD。关于vSAN的性能细节，可以参考：
VSAN性能剖析及超融合架构性能测试工具-HCIBench简介 & 资料下载
如何选择NVMe SSD，可以参考如下步骤：
一、打开vSAN HCL
http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan
如果上面的地址难记，可以采用我的同事-苏旭提供的，非常容易记忆的网址（兼容性 的全拼）：
http://www.jianrongxing.com/
进入后，打开位于网页右边，中部位置的
Build Your Own based on Certified Components
二、
1、选择SSD
2、选择NVMe
3、可以选择，也可以不选择。此处Endurance表示耐久性，也即SSD的寿命。
4、可以，也可以不选择。此处Performance表示性能，指SSD每秒写次数。
---Begin---
在VMworld 2015，Intel发布了世界上第一套以NVMe为缓存层，SATA SSD为容量层构建的64节点全闪存Virtual SAN集群性能数据。通过使用Intel最新的NVMe SSD，64节点的全闪存Virtual SAN IOPS性能达到了令人难以置信的670万IOPS，单节点的IOPS突破了10万。
那么问题来了，在VMware Virtual SAN 6.2增加了对去重，压缩以及纠删码的支持以后，是否进一步提高Virtual SAN的性价比与可用性？
Intel的测试结果表明，全NVMe闪存构建的Virtual SAN 6.2与VMworld 2015发布的测试数据相比，获得了50%的性能提升。此外，在同样的业务场景下启用去重/压缩功能后Virtual SAN的实际容量使用率提升了多达7倍。
为什么使用NVMe？ NVMe 全称 Non-Volatile Memory Express，即非易失性存储。NVMe 设备以标准尺寸的PCI Express扩展卡的形式直接面向PCI-E接口，原生与CPU直接连接，而不是传统方式，通过南桥控制器中转，再连接到CPU。这在很大程度上突破了SATA与SAS在传输接口上的瓶颈，降低了控制器和软件接口部分的延迟。
此外，理论上IOPS=队列深度/IO延迟，故IOPS的性能与队列深度有很大关系。传统的SSD最大队列深度一般不超过128，而NVM而标准下，最大队列深度可达64000。因此，理论上采用NVMe接口的SSD性能相比传统接口会有成百上千倍的提高。如图一、二所示，我们在同样的测试环境下分别使用不同类型接口的SSD进行存储性能测试，使用NVMe作为传输接口的SSD在随机IOPS以及顺序带宽上相比传统的SAS与SATA接口都有成倍的性能提升。
图一 NVMe与传统传输接口的存储性能对比（随机IOPS）
图二 NVMe与传统传输接口的存储性能对比（顺序带宽）
VMware在Virtual SAN 6.2中加入了对NVMe设备的支持，这使得在全闪存架构中使用全NVMe闪存成为可能。 全NVMe闪存Virtual SAN集群 全NVMe闪存Virtual SAN集群由8台SuperMicro服务器组成，每台服务器的具体配置信息如下： 双路Intel Xeon E5-2687Wv4（12核@3.0Ghz） 256GB DDR4内存 Virtual SAN节点由4个磁盘组构成，每个磁盘组的信息如下：
1x Intel SSD DC P3700系列（800GB, 2.5’’）
5x Intel SSD DC P3520系列（2000GB, 2.5’’）
高性能模式：关闭去重/压缩，只启用镜像模式RAID 1
平衡模式：启用去重/压缩，启用镜像模式RAID 1
高容量模式：启用去重/压缩，启用纠删码RAID 5
高可用性模式：启用去重/压缩，启用纠删码RAID 6
为了便于对比，我们将高性能模式做为测试基准。在测试中，我们在Virtual SAN数据存储上部署了2000台Windows 2012 R2虚拟机，每台虚拟机的具体配置如下：
虚拟硬件配置 |
具体参数 |
CPU |
1 vCPU |
内存 |
4GB |
OS盘 |
40GB精简置备 |
数据盘 |
10GB厚置备 |
测试的工作负载由业界标准存储性能测试工具生成。每次测试运行3小时，以确保实际性能数据真实有效。
测试结果 经过测试，8节点全NVMe闪存架构Virtual SAN的平均IOPS达到了难以置信的120万，这意味着平均每个节点的IOPS达到了破纪录的15万！相比先前全闪存配置单节点的10万IOPS增加了50%！
图三 8节点全NVMe闪存架构Virtual SAN集群在不同模式下的性能
如图三所示，在基准的高性能模式下，整个Virtual SAN集群的4K 100%全读IOPS达到了最大值120万，在4K 70/30读写模型可达到90万；在平衡模式下，IOPS为基准的89%，但却多出了额外250%的实际可用容量；在高容量模式下，4K 70/30读写模型的IOPS为基准的55%,而4K全读的IOPS为基准的78%。但是实际的有效可用容量比基准模式增加了376%；在RAID 6的高可用性模式下，4K 70/30读写模型IOPS为基准的41%，而4K全读的IOPS为基准的76%。但与此换来的是333%的实际可用容量和额外的组件故障情况下的数据可用性。
同样让人印象深刻的还有数据存储集群的构建成本，由于Virtual SAN 6.2针对全闪存新增的去重和压缩功能，实际有效容量增加了7倍，实际每GB的成本从1.86美元下降到了0.25美元。
图四 不同配置模式下的数据可用性与成本开销
成本计算分为每GB成本，和每个I/O的成本，以美元计价。如图四所示，在基准的高性能模式下，实际每GB的成本为1.86美元，根据4K 100%全读计算出每个IOPS的I/O成本为0.23美元。与高性能模式的基准值相比较，在平衡模式下，实际每GB成本为0.37美元，I/O成本为0.25美元；在高容量模式下，实际每GB成本为0.25美元，I/O成本为0.29美元；在高可用性模式下，实际每GB成本为0.28美元，I/O成本为0.29美元。 总结 虽然在测试中我们将Virtual SAN配置为四种不同的模式分别进行了性能测试和存储成本比较。但是在实际的生产测试环境中，通过Virtual SAN基于存储策略的管理（Storage Policy Based Management，SPBM）可以针对不同的业务应用需求对虚拟机的VMDK在线应用不同的存储策略。这使得用户在投入相同成本的前提下，可以在高性能、高容量、高可用性之间获得最佳的平衡。
由于Virtual SAN本身具有优异的横向扩展能力，通过使用NVMe SSD构建全闪存架构Virtual SAN，可以使用户使用更少的节点获得所需的集群存储性能。此外，单节点15万IOPS的线性存储性能提升也帮助用户在横向扩展Virtual SAN集群存储性能时变得更加简洁迅速。 说明 本文内容由VMware中国研发中心存储与高可用性事业部Virtual SAN解决方案团队（Product Enablement, PE）丁楠根据VMworld主题演讲整理发布。Virtual SAN解决方案团队致力于向客户提供最佳的Virtual SAN与行业关键应用融合解决方案，并承担Virtual SAN产品、技术和解决方案在中国地区的推广与技术支撑任务。
---End---
微信公众号平台"乐生活与爱IT"在目前阶段，主要是分享软件定义存储(SDS)，及VMware VSAN相关的文章，偶尔也会分享虚拟化、云计算、大数据，甚至生活类的好文章。欢迎投稿，我的QQ号：9269216。欢迎对SDS感兴趣的朋友，加入软件定义存储讨论 QQ群:122295009，可下载原创的一些文章，及其他有参考价值的文档。可直接搜索群号，或者扫描如下二维码：
同时，欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群，并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号，建议添加管理员时，告知你的公司名和姓名，方便备注保存。
sdg8848
libo9538
yangzhuan
dts0103
欢迎您通过扫描关注微信公众号：“乐生活与爱IT”。
关注后，可以通过点击左下角的“文章目录”，通过输入三位数（记住！是三位数，目前第一位是0或者1）详细了解如何查看历史文章。
---备注---
上期 《赠书 | 容器技术怎样用存储？》获得赠书的朋友是 “白丁。”，请在后台和我联系。
---推荐书籍---
更多业务应用的性能数据，以及最佳实践，可以到VMware研发中心新出的《Virtual SAN最佳实践》里找到。打开左下角的“阅读原文”，即可跳转到京东网站购买vSAN最佳实践书籍