怎样让vSAN发挥出高性能、低延迟的威力？

【编者Peter Ye按】

陈辰是Intel Enduser Solution Marketing – NSG部门的解决方案架构师。

他这次投稿的文章标题，原本是《用Optane搭建vSAN全闪存架构》。上面的标题的答案，其实很简单，就是除了vSAN的一些调优手段之外，更重要的是，选择牛逼的SSD做为vSAN的缓存层。

我和我的同事曾经参加过vSAN+Optane+D-Uni的测试，见证了新一代SSD的威力。详见：颠覆你的想象 | 复制10个14TB数据库只花20多分钟？！

而且我也对Intel在不远的将来，计划推出的NVDIMM SSD（闪存盘插在内存槽插槽上）寄以厚望。因为vSAN这种灵活的软件方式部署的HCI，总是能够相对的，以更快的速度，将新的硬件技术纳入进来，使得一些有超低延时，超高性能需求的场景能够在vSAN上表现得更好。

另外，做为软件定义存储不遗余力的倡导者，乐见硬件的迅猛发展。在微信公众号"乐生活与爱IT"上，曾发表过文章《遇见未来 | 人类文明运行在软件之上》，提到了“正是因为硬件技术的突飞猛进地发展，才使得软件定义有了腾挪的空间”，"硬件发展越快，软件定义的发展才会更有潜力" 。

《遇见未来》这篇文章的主旨内容其实来源于2015年的SDS系列的6篇文章，尤其是2015年7月19日发表的文章《软件定义存储之未来 - 十年后的存储排行榜会怎样？》。今天我很高兴收到一条来自武汉的朋友-任鑫平发的私信："北京格瑞趋势公司出了针对SQL Server的一体机onedata"，应验了我曾经在《软件定义存储之未来》里提到的：

“

个人觉得，近几年可能出现的SDS，可大致分为如下六类：

1）与Hypervisor融为一体的SDS厂商，也即前述的VMware、Microsoft和RedHat；

2）与应用融为一体的超融合厂商，通常俗称一体机。由于针对某一类特定业务，其工作负载相对固定，也比较容易在存储曾针对这一特点进行优化，例如针对数据库的有：天玑数据、云和恩墨、沃趣（已被华胜收购）、成都文武信息等；针对VDI的一体机；针对SAP的一体机；并行数据库一体机（如MonDb）, 数据分析一体机（Greeplum），也许未来还会有针对Exchange的、针对SQL Server的一体机；从业务应用来看，也许还会有针对视频监控，针对媒资管理等，针对某一行业的某一类应用；

”

北京格瑞趋势SQL Server一体机onedata的质量如何，我并不清楚，但这是一个有意义的尝试。

下面转载陈辰的文章《用Optane搭建vSAN全闪存架构》。

---Begin---

1.      让数据更靠近计算

在数据爆炸式增长的今天，世界每时每刻都产生着大量的数据，诸如个人电脑，物联网设备，汽车，工业设备等等。有人预计，2020年以前，全世界的数据总量每两年就会翻一番。在下图描绘的数据半球中，CPU和DRAM总是代表数据中心中最快的元素，但这些低延迟的设备同时也是非常昂贵的；硬盘（HDD）给人的印象则总是便宜但慢速的设备，在数据处理性能方面无法企及CPU和DRAM；2D NAND 的数据处理速度介于HDD和DRAM之间，其处理速度远远超过HDD，成本又远远低于DRAM。但这样的数据处理速度仍然不能很好地填充HDD与DRAM之间的空缺，DRAM与2D NAND、2D NAND与HDD之间存在一定的技术鸿沟。

数据半球

目前，Intel着力于投资和研发3D NAND和 3D X-Point技术，来引发一轮革新以填补这样的鸿沟，让数据（Storage）更“靠近”计算（CPU）。

数据更“靠近”CPU

3DNAND和3D X-Point技术为数据处理带来了巨大的性能提升，如今3D NAND已经提供了与HDD相当甚至更便宜的TCO，同时Optane SSD（3D X-Point SSD）的延迟甚至接近于DRAM并具有更高的耐用度，高达17 DWPD，即在质保期内，可保证每天全盘随机写入17倍的单盘容量。

3DNAND SSD相对于HDD而言，可通过PCIe 通道传输数据，相较于SATA / SAS总线，有明显的高吞吐量和IOPS性能，且延迟可低至100us左右（HDD通常为10,000us左右），年度故障率AFR比传统HDD低约25倍，可低于0.44%，大大降低了总体TCO。

3DNAND SSD相对于2D NAND SSD而言，其位密度有所提高， 64 层的 3D NAND的位密度可超过16nm 的 2D NAND 的三倍^[1]，带来了更大的数据容量效率。与其他厂商3D NAND 技术不同，Intel采用浮栅门技术，无需电荷陷阱互连“沟槽”，还使用了CMOS-Under 技术，一些次要的 CMOS 构建在存储阵列之下。64-stacked 3D NAND SSD的位密度能提升20%，并且生产效率，即每片晶体能够容纳的GB数也有所提高。

64-stacked 3D NAND 技术比较

更进一步地，Optane SSD相对于3D NAND SSD而言，其IOPS性能还可提升了5~8倍（在4k block的70/30写/读测试下），且在低队列深度工况下就能达到饱和，而基于NAND的SSD通常会在队列深度达到128的情况下取得最优的性能，而Optane在队列深度未达到16时，性能便可以达到最优然后饱和，而大多数企业级应用所需要的队列深度往往仅有16或者更少，所以Optane更适用于当前的企业级应用。

Optane在低队列深度时性能达到饱和

并且，Optane响应时间极低，平均延迟小于10微秒，与此同时，Optane在负载下的QoS稳定性高，99.999^th的读写延迟都不超过200微秒。

Optane的极低延迟和高稳定性

所以，3D NAND和 3D X-Point技术使得全闪存中的数据存储越来越接近计算。

2.      vSAN+Optane

超融合架构HCI（Hyper ConvergedInfrastructure）的概念早在2012年时被提出，与传统的独立架构不同，HCI同时具备计算、网络、存储和服务器虚拟化等资源和技术的架构，Hypervisor(虚拟服务器)能够抽象并池化计算、网络和存储资源，并拥有强大的控制平面的功能，而且Hypervisor能整合软件定义的数据中心内运维管理的经验，使管理更简单。VMware为了给HCI提供操作简单、闪存优化、高性能的存储方案，发布了一种可嵌入在hypervisor中的企业级软件定义存储应用vSAN(Virtual Storage Area Networking)。新的硬件趋势将为vSAN带来新的契机，而构建全闪存vSAN会拥有最好的$/IOP 和 $/Gig。

Intel全闪存vSAN架构

OptaneSSD作为一种延迟几乎可以接近于DRAM并具有超高耐用度的SSD，可作为vSAN架构中的缓存层Cache，以将实现所有的写操作缓冲，数据读取则可以交给容量更大、传输性能优良、耐用度不错但价格更便宜的3D NAND SSD，如Intel® SSD DC P4500/P4510 SSD，更多的方案选择还可参考产品及其性能分析表。

Intel SSD产品及其性能

在P4800X与P4500搭建的全闪存vSAN架构中，Optane SSD P4800X可实现来自应用的高速率的大容量写入，可以承受更高的事务型负载。通过IO-mark测试，一种块级别存储系统性能测试工具，能精确模拟运行环境的真实负载变化，实现对存储系统的性能测试。在TPC-C-like负载测试中，模拟复杂的数据库事务交易操作，可测试系统进行事务处理的能力，用每分钟交易次数(transactions perminute, TPM)，作为指标来评价存储系统性能。P4800X相比于3D NAND SSD P4600能使得TPM提高89%。

3DNAND与Intel Optane作缓存层的TPM

      

  在追求高性能的同时，Optane并不是以望尘莫及的TCO成本为代价的。反而，它带来了更低的交易成本，即每分钟内处理事务量所需的花销，Optane SSD比P4600低44%。

3DNAND与Intel Optane作缓存层的交易成本

正是因为Optane的高IOPS和低延迟性能，使得该方案也降低了系统的缓存与存储容量比，大大提高了存储容量的有效利用率。

Optane高效的扩展性能实现大容量存储

3.      全闪存vSAN架构的性能分析

据VMware官网数据，从vSAN 6.6开始，标准版就已经支持全闪存了，其高级版比标准版多了去重压缩和纠删码两个功能，但前提是vSAN必需是全闪存架构。

任何存储平台上的重复数据删除和压缩过程都会产生开销，并可能影响延迟和最大IOPS的性能。但去重、压缩所带来的存储空间效率提高则降低了全闪存配置中可用的每GB存储容量的成本。所以，用户若搭建全闪存vSAN架构不仅能获得更优化的存储效率以及更高的存储质量。

接下来，我们将用不同产品组合，在Intel® Xeon扩展型处理器的服务器上构建4节点的HCI vSAN架构，包括混合型和全闪存架构，并对其性能及成本进行分析，以制定最合适的vSAN全闪存架构解决方案。分别为2D NAND SSD+ HDD构成的混合型存储vSAN6.5、全2D NAND SSD构成的全闪存vSAN6.5、全3D NAND SSD构成的全闪存vSAN6.6以及Optane+ 3D NAND SSD构成的全闪存vSAN6.6等四种方案。

混合型与全闪存vSAN架构的对比分析

 

  四种方案的IO性能依次递增。在全闪存架构中，当SSD从2D NAND介质升级为3D NAND，且缓存层SSD的数据传输标准从SATA升级到NVMe时，使得性能提高了一倍以上，单位性能的价格下降了将近一半。一方面，通过NVMe标准传输数据提高了其性能，另一方面Intel®  3D NAND SSDP4500在读操作上也有所优化，以更大限度地提高数据效率。

更进一步地，当缓存层SSD从3D NAND介质升级为3D-X Point时，在容量层均为3D NAND PCIe/NVMe盘的前提下，Optane SSD 作为缓存层，能最大限度地提高CPU的利用率，并且，还避免了存储资源的浪费。当使用NVMe 3D NAND SSD作为缓存时，因其性能和耐用度与容量正相关，必须使用TB级别的容量，而在成本差不多甚至稍低一些的前提下，选择Optane最小容量级别375GB作为缓存层，还能获得更好的性能，具有更好的性价比。

Optane + vSAN的TCO

---End---

扩展阅读：

【PY原创】SDS 之一：为何出现软件定义存储？

【PY原创】SDS 之二：什么是软件定义存储？

【PY原创】SDS 之三：软件定义存储之现状 – 抽象、池化篇 (v2.0)

【PY原创】SDS 之四：软件定义存储的分类 (v2.0)

【PY原创】SDS之五：软件定义存储的现状 – 自动化篇

软件定义存储之未来 - 十年后的存储排行榜会怎样？

微信公众号平台"乐生活与爱IT"在目前阶段，主要是分享软件定义存储(SDS)，及VMware vSAN相关的文章，偶尔也会分享虚拟化、云计算、大数据、人工智能、IoT、区块链等IT类文章，甚至生活类的好文章。欢迎投稿，特别是原创文章。如果原创文章属于首次发布，根据质量和阅读量的不同，能获得20~500元的稿费。我的QQ号：9269216。另外，如果还有赞赏收入，作者可获得60%。

欢迎对SDS感兴趣的朋友，加入软件定义存储讨论 QQ群:122295009，可下载原创的一些文章，及其他有参考价值的文档。可直接搜索群号，或者扫描如下二维码：

同时，欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群，并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号，建议添加管理员时，告知你的公司名和姓名，方便备注保存。

sdg8848

libo9538

yangzhuan

dts0103

欢迎您通过扫描关注微信公众号：“乐生活与爱IT”。

关注后，可以通过点击左下角的“文章目录”，通过输入三位数（记住！是三位数，目前第一位是0或者1）详细了解如何查看历史文章。

点击左下角“阅读原文”，可以跳转到《遇见未来 | 人类文明运行在软件之上》