怎样让vSAN发挥出高性能、低延迟的威力?

【编者Peter Ye按】

陈辰是Intel Enduser Solution Marketing – NSG部门的解决方案架构师。


他这次投稿的文章标题,原本是《用Optane搭建vSAN全闪存架构》。上面的标题的答案,其实很简单,就是除了vSAN的一些调优手段之外,更重要的是,选择牛逼的SSD做为vSAN的缓存层


我和我的同事曾经参加过vSAN+Optane+D-Uni的测试,见证了新一代SSD的威力。详见:颠覆你的想象 | 复制10个14TB数据库只花20多分钟?!


而且我也对Intel在不远的将来,计划推出的NVDIMM SSD(闪存盘插在内存槽插槽上)寄以厚望。因为vSAN这种灵活的软件方式部署的HCI,总是能够相对的,以更快的速度,将新的硬件技术纳入进来,使得一些有超低延时,超高性能需求的场景能够在vSAN上表现得更好。


另外,做为软件定义存储不遗余力的倡导者,乐见硬件的迅猛发展。在微信公众号"乐生活与爱IT"上,曾发表过文章《遇见未来 | 人类文明运行在软件之上》,提到了“正是因为硬件技术的突飞猛进地发展,才使得软件定义有了腾挪的空间”,"硬件发展越快,软件定义的发展才会更有潜力" 。


《遇见未来》这篇文章的主旨内容其实来源于2015年的SDS系列的6篇文章,尤其是2015年7月19日发表的文章《软件定义存储之未来 - 十年后的存储排行榜会怎样?》。今天我很高兴收到一条来自武汉的朋友-任鑫平发的私信:"北京格瑞趋势公司出了针对SQL Server的一体机onedata",应验了我曾经在《软件定义存储之未来》里提到的:

个人觉得,近几年可能出现的SDS,可大致分为如下六类:


1)与Hypervisor融为一体的SDS厂商,也即前述的VMware、Microsoft和RedHat;


2)与应用融为一体的超融合厂商,通常俗称一体机。由于针对某一类特定业务,其工作负载相对固定,也比较容易在存储曾针对这一特点进行优化,例如针对数据库的有:天玑数据、云和恩墨、沃趣(已被华胜收购)、成都文武信息等;针对VDI的一体机;针对SAP的一体机;并行数据库一体机(如MonDb), 数据分析一体机(Greeplum),也许未来还会有针对Exchange的、针对SQL Server的一体机;从业务应用来看,也许还会有针对视频监控,针对媒资管理等,针对某一行业的某一类应用;



北京格瑞趋势SQL Server一体机onedata的质量如何,我并不清楚,但这是一个有意义的尝试。


下面转载陈辰的文章《用Optane搭建vSAN全闪存架构》。


---Begin---


1.      让数据更靠近计算


在数据爆炸式增长的今天,世界每时每刻都产生着大量的数据,诸如个人电脑,物联网设备,汽车,工业设备等等。有人预计,2020年以前,全世界的数据总量每两年就会翻一番。在下图描绘的数据半球中,CPUDRAM总是代表数据中心中最快的元素,但这些低延迟的设备同时也是非常昂贵的;硬盘(HDD)给人的印象则总是便宜但慢速的设备,在数据处理性能方面无法企及CPUDRAM2D NAND 的数据处理速度介于HDDDRAM之间,其处理速度远远超过HDD,成本又远远低于DRAM。但这样的数据处理速度仍然不能很好地填充HDDDRAM之间的空缺,DRAM2D NAND2D NANDHDD之间存在一定的技术鸿沟。

怎样让vSAN发挥出高性能、低延迟的威力?_第1张图片

数据半球



目前,Intel着力于投资和研发3D NAND 3D X-Point技术,来引发一轮革新以填补这样的鸿沟,让数据(Storage)更“靠近”计算(CPU)。

怎样让vSAN发挥出高性能、低延迟的威力?_第2张图片

数据更靠近”CPU


3DNAND3D X-Point技术为数据处理带来了巨大的性能提升,如今3D NAND已经提供了与HDD相当甚至更便宜的TCO,同时Optane SSD3D X-Point SSD)的延迟甚至接近于DRAM并具有更高的耐用度,高达17 DWPD,即在质保期内,可保证每天全盘随机写入17倍的单盘容量。


3DNAND SSD相对于HDD而言可通过PCIe 通道传输数据,相较于SATA / SAS总线,有明显的高吞吐量和IOPS性能,且延迟可低至100us左右(HDD通常为10,000us左右),年度故障率AFR比传统HDD低约25倍,可低于0.44%,大大降低了总体TCO


3DNAND SSD相对于2D NAND SSD而言,其位密度有所提高, 64 层的 3D NAND的位密度可超过16nm 2D NAND 的三倍[1],带来了更大的数据容量效率。与其他厂商3D NAND 技术不同,Intel采用浮栅门技术,无需电荷陷阱互连“沟槽”,还使用了CMOS-Under 技术,一些次要的 CMOS 构建在存储阵列之下。64-stacked 3D NAND SSD的位密度能提升20%,并且生产效率,即每片晶体能够容纳的GB数也有所提高。

怎样让vSAN发挥出高性能、低延迟的威力?_第3张图片

64-stacked 3D NAND 技术比较


更进一步地,Optane SSD相对于3D NAND SSD而言,其IOPS性能还可提升了5~8倍(在4k block70/30/读测试下),且在低队列深度工况下就能达到饱和,而基于NANDSSD通常会在队列深度达到128的情况下取得最优的性能,而Optane在队列深度未达到16时,性能便可以达到最优然后饱和,而大多数企业级应用所需要的队列深度往往仅有16或者更少,所以Optane更适用于当前的企业级应用。

怎样让vSAN发挥出高性能、低延迟的威力?_第4张图片

Optane在低队列深度时性能达到饱和


并且,Optane响应时间极低,平均延迟小于10微秒,与此同时,Optane在负载下的QoS稳定性高,99.999th的读写延迟都不超过200微秒。

怎样让vSAN发挥出高性能、低延迟的威力?_第5张图片

Optane的极低延迟和高稳定性


所以,3D NAND 3D X-Point技术使得全闪存中的数据存储越来越接近计算。


2.      vSAN+Optane


超融合架构HCIHyper ConvergedInfrastructure)的概念早在2012年时被提出,与传统的独立架构不同,HCI同时具备计算、网络、存储和服务器虚拟化等资源和技术的架构,Hypervisor(虚拟服务器)能够抽象并池化计算、网络和存储资源,并拥有强大的控制平面的功能,而且Hypervisor能整合软件定义的数据中心内运维管理的经验,使管理更简单。VMware为了给HCI提供操作简单、闪存优化、高性能的存储方案,发布了一种可嵌入在hypervisor中的企业级软件定义存储应用vSAN(Virtual Storage Area Networking)新的硬件趋势将为vSAN带来新的契机,而构建全闪存vSAN会拥有最好的$/IOP $/Gig

怎样让vSAN发挥出高性能、低延迟的威力?_第6张图片

Intel全闪存vSAN架构


OptaneSSD作为一种延迟几乎可以接近于DRAM并具有超高耐用度的SSD,可作为vSAN架构中的缓存层Cache,以将实现所有的写操作缓冲,数据读取则可以交给容量更大、传输性能优良、耐用度不错但价格更便宜的3D NAND SSD,如Intel® SSD DC P4500/P4510 SSD,更多的方案选择还可参考产品及其性能分析表。

怎样让vSAN发挥出高性能、低延迟的威力?_第7张图片

Intel SSD产品及其性能


P4800XP4500搭建的全闪存vSAN架构中,Optane SSD P4800X可实现来自应用的高速率的大容量写入,可以承受更高的事务型负载。通过IO-mark测试,一种块级别存储系统性能测试工具,能精确模拟运行环境的真实负载变化实现对存储系统的性能测试。在TPC-C-like负载测试中,模拟复杂的数据库事务交易操作,可测试系统进行事务处理的能力,用每分钟交易次数(transactions perminute, TPM),作为指标来评价存储系统性能。P4800X相比于3D NAND SSD P4600能使得TPM提高89%

怎样让vSAN发挥出高性能、低延迟的威力?_第8张图片

3DNANDIntel Optane作缓存层的TPM

      

  在追求高性能的同时,Optane并不是以望尘莫及的TCO成本为代价的。反而,它带来了更低的交易成本,即每分钟内处理事务量所需的花销,Optane SSDP460044%

怎样让vSAN发挥出高性能、低延迟的威力?_第9张图片

3DNANDIntel Optane作缓存层的交易成本


正是因为Optane的高IOPS和低延迟性能,使得该方案也降低了系统的缓存与存储容量比,大大提高了存储容量的有效利用率。

怎样让vSAN发挥出高性能、低延迟的威力?_第10张图片


Optane高效的扩展性能实现大容量存储



3.      全闪存vSAN架构的性能分析


VMware官网数据,从vSAN 6.6开始,标准版就已经支持全闪存了,其高级版比标准版多了去重压缩和纠删码两个功能,但前提是vSAN必需是全闪存架构。


任何存储平台上的重复数据删除和压缩过程都会产生开销,并可能影响延迟和最大IOPS的性能。但去重、压缩所带来的存储空间效率提高则降低了全闪存配置中可用的每GB存储容量的成本。所以,用户若搭建全闪存vSAN架构不仅能获得更优化的存储效率以及更高的存储质量。


接下来,我们将用不同产品组合,在Intel® Xeon扩展型处理器的服务器上构建4节点的HCI vSAN架构,包括混合型和全闪存架构,并对其性能及成本进行分析,以制定最合适的vSAN全闪存架构解决方案。分别为2D NAND SSD+ HDD构成的混合型存储vSAN6.5、全2D NAND SSD构成的全闪存vSAN6.5、全3D NAND SSD构成的全闪存vSAN6.6以及Optane+ 3D NAND SSD构成的全闪存vSAN6.6等四种方案。

怎样让vSAN发挥出高性能、低延迟的威力?_第11张图片

混合型与全闪存vSAN架构的对比分析

 

  四种方案的IO性能依次递增。在全闪存架构中,当SSD2D NAND介质升级为3D NAND,且缓存层SSD的数据传输标准从SATA升级到NVMe时,使得性能提高了一倍以上,单位性能的价格下降了将近一半。一方面,通过NVMe标准传输数据提高了其性能,另一方面Intel®  3D NAND SSDP4500在读操作上也有所优化,以更大限度地提高数据效率。


更进一步地,当缓存层SSD3D NAND介质升级为3D-X Point时,在容量层均为3D NAND PCIe/NVMe盘的前提下,Optane SSD 作为缓存层,能最大限度地提高CPU的利用率,并且,还避免了存储资源的浪费。当使用NVMe 3D NAND SSD作为缓存时,因其性能和耐用度与容量正相关,必须使用TB级别的容量,而在成本差不多甚至稍低一些的前提下,选择Optane最小容量级别375GB作为缓存层,还能获得更好的性能,具有更好的性价比。

怎样让vSAN发挥出高性能、低延迟的威力?_第12张图片

Optane + vSANTCO


---End---

扩展阅读:

【PY原创】SDS 之一:为何出现软件定义存储?

【PY原创】SDS 之二:什么是软件定义存储?

【PY原创】SDS 之三:软件定义存储之现状 – 抽象、池化篇 (v2.0)

【PY原创】SDS 之四:软件定义存储的分类 (v2.0)

【PY原创】SDS之五:软件定义存储的现状 – 自动化篇

软件定义存储之未来 - 十年后的存储排行榜会怎样?


微信公众号平台"乐生活与爱IT"在目前阶段,主要是分享软件定义存储(SDS),及VMware vSAN相关的文章,偶尔也会分享虚拟化、云计算、大数据、人工智能、IoT、区块链等IT类文章,甚至生活类的好文章。欢迎投稿,特别是原创文章。如果原创文章属于首次发布,根据质量和阅读量的不同,能获得20~500元的稿费。我的QQ号:9269216另外,如果还有赞赏收入,作者可获得60%


欢迎对SDS感兴趣的朋友,加入软件定义存储讨论 QQ群:122295009,可下载原创的一些文章,及其他有参考价值的文档。可直接搜索群号,或者扫描如下二维码:

640?wx_fmt=png

同时,欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群,并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号,建议添加管理员时,告知你的公司名和姓名,方便备注保存。

sdg8848

libo9538

yangzhuan

dts0103

欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。

640?wx_fmt=png

关注后,可以通过点击左下角的文章目录,通过输入三位数(记住!是三位数,目前第一位是0或者1)详细了解如何查看历史文章。


点击左下角“阅读原文”,可以跳转到《遇见未来 | 人类文明运行在软件之上》

你可能感兴趣的:(怎样让vSAN发挥出高性能、低延迟的威力?)