vSAN作为VMware公司超融合架构软件(HCIS),部署在标准的X86服务器上,为用户提供了服务器品牌、型号选择上的灵活性,不受硬件厂商绑定。出于对vSAN的稳定性、性能、数据安全性的考虑,vSAN对服务器的I/O Controller(或称RAID控制器)、SSDHDD、固件和微码都有严格的兼容性要求


   目前在vSAN的环境中采用 DELL PowerEdge R730/R730xd 和华为的RH2288H V3 的服务器越来越多,同时,这些可能也是大家诟病最多的机型。不过辩证的看,其实也说明vSAN也即这些服务器的装机量比较大。其实用户数大导致问题出现相对较多也是一种正常的现象,装机量小的HCI或者服务器,并不意味着就没有问题,对于用户而言,潜在的问题如果没有机会充分暴露,导致的潜在风险可能更大。


   当然,有些客户也可能会说之前部署的时候就没有遵守兼容列表,用着也没有问题啊,怎么用一段时间就出问题了呢?这可能是因为,之前的数据量小,或者运行时间不够长,并没有导致软件驱动和固件不稳定。还有一种可能,可能刚开始运行的应用不重要,没注意到问题的存在。

 

从用户反馈的问题上来开,一般分为2种情况:


1、有些组件不在兼容列表内


虽然采用的硬件在vSAN的兼容列表内,但是其使用的ESXi版本以及驱动、固件版本未在兼容列表内。vSAN的兼容列表网址是:

http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan


例如,下图所示:ESXi版本对应不同I/O Controller 模式,其 Device Driver  Firmware Version 也可能各不相同。

vSAN推荐的IO控制器的配置方式_第1张图片

 

2、I/O Controller 使用模式不正确

 

    这里举出常见部署vSAN Ready Node的型号: DELL PowerEdge R730/R730xd 和华为的RH2288H V3  I/O Controller 的配置模式,其他Ready Node配置方式请准守vSAN 兼容列表要求进行配置。

 

1)DELL PowerEdge R730/R730xd


这款服务器通常出厂配置的I/O ControllerDELL H730 Mini ,最大硬盘插槽24  2.5" LFF 槽位,或者123.5" LFF 槽位 ,当前 R730 仅支持插入1 I/O Controller , R730xd 支持插入2I/O Controller


当前用户实际部署通常有如下几种设计方式(注意,以下6Solution有些是不正确的,不正确的,不正确的姿势):


vSAN推荐的IO控制器的配置方式_第2张图片

 

我们先来访问http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio来查看一下,这款I/O Controller 支持的模式:


vSAN推荐的IO控制器的配置方式_第3张图片


Solution 1 

vSAN推荐的IO控制器的配置方式_第4张图片


这种方式看上去是很完美的,ESXi做了RAID 1 实现冗余,vSAN磁盘采用vSAN推荐的Pass-Through 的模式,但很抱歉的是Solution 1这种方式是不受官方支持的模式配置


vSAN兼容列表内查询到该I/O Controller 在全闪存(All Flash)和Hybrid(混合模式)下仅支持Pass-Through模式。大家知道,《vSAN_6.0设计和优化指南》明确指出过:不要为vSAN 和非 vSAN 磁盘混合使用不同的控制器模式。


相关KB说明:

《拥有同一存储控制器的 VSAN 和非VSAN 磁盘的最佳使用实践》

https://kb.vmware.com/kb/2135390

 

Solution 2  

vSAN推荐的IO控制器的配置方式_第5张图片

用户或集成商配置的时候自己看到过或者听其他人说过,不要为 vSAN 和非vSAN 磁盘混合使用不同的控制器模式,并且还打算为ESXi做了RAID1 实现冗余,采用了I/O Controller 配置RAID的模式。这种模式是不受到支持的,首先,在兼容列表内并没有支持RAID的相关信息(看兼容列表的Feature,列出的只有Pass-Through)。其次,vSAN的最佳实践也是强烈建议采用Pass-Through (也即直通)的方式。直通模式对于vSAN后期的监控和运维都比RAID模式要好。



 

Solution 3  

vSAN推荐的IO控制器的配置方式_第6张图片

ESXi 采用通过增加一个I/O Controller 进行安装,vSANCache和容量盘采用Pass-Through 的方式进行连接,这种方式是受到VMware官方支持的,但是需要注意的是,R730是不能插入2I/O Controller 该解决方案仅能R730xd这种支持两块I/O Controller的型号上使用


注意:R730xd 配置2I/O Controller 具体连接、配置、限制等信息,请联系DELL进行咨询确认。


 

Solution 4  

vSAN推荐的IO控制器的配置方式_第7张图片


ESXi 采用双SD卡方式进行安装,vSANCache和容量盘采用Pass-Through 的方式进行连接,这种方式是DELL 推荐的一种方式,同时,我们也可以到 DELL vSAN Ready Node 中也是这样推荐的配置。当然采用SD卡安装ESXi的话,需要手动指定LOG 存储的永久位置,不要把主机的日志输出指向vSANDatastore,当主机内存大于512G时,可采用SATADOM的解决方案。


关于日志的3个解决方案:

存储在永久存储中(KB1033696)

存储在 Syslog 服务器中(KB2003322)

存储 vRealize Log Insight  服务器中(KB2144909)

关于 DELL SD卡的解决方案说明

http://www.dell.com/downloads/global/products/pedge/en/poweredge-idsdm-whitepaper-en.pdf


 

DELL R730xd  vSANReady Node 配置:

vSAN推荐的IO控制器的配置方式_第8张图片

 


Solution 5 

vSAN推荐的IO控制器的配置方式_第9张图片


整张I/O Controller 采用Pass-Through模式,并在其中选择一块HDD 用于ESXi的安装,VMware不支持在该型号的I/OController上同时配置 vSAN 磁盘和 VMFS 卷,安装完ESXi后创建的Datastorage 需要禁用。该方式是受到支持的,但是ESXi属于单点存储。不过,大家都知道,ESXi运行后都加在到内存里了,而且得益于vSphere的集群高可用,这种单点的风险并不大


相关KB 

《在采用 lsi_mr3 驱动程序的Dell H730 控制器上运行 VMware vSAN VMware vSphere VMFS 数据存储的部署准则》

https://kb.vmware.com/kb/2141107


 

Solution  6 

vSAN推荐的IO控制器的配置方式_第10张图片


ESXi 采用单SDU盘、SATADOM等其他方式进行安装,vSANCache和容量盘采用Pass-Through 的方式进行连接,当然采用SD卡安装ESXi的话,需要手动指定LOG 存储的永久位置,请不要把主机的日志输出指向vSANDatastore。该方式是受到支持的,但是由于ESXi属于单点存储。

关于日志的3个解决方案:

存储在永久存储中(KB1033696)

存储在 Syslog 服务器中(KB2003322)

存储 vRealize Log Insight  服务器中(KB2144909)

该方式是受到支持的,但是由于ESXi属于单点存储。

 


 6种配置方式的总结

VMware极力推荐并支持Solution 4,如果服务器是R730XD,支持Solution 3不支持Solution 1Solution 2


VMware不推荐Solution 5Solution 6。注意不推荐的原因是ESXi属于单点,但仍可使用,出问题VMware也是支持的。



2华为的RH2288H V3

 

我们先来访问http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio 来查看一下,这款I/O Controller 支持的模式:

vSAN推荐的IO控制器的配置方式_第11张图片

上图表明,全闪存的时候,只支持直通(Pass-Through);混合阵列的时候,支持直通(Pass-Through),或者RAID-0。


全闪存阵列

市场上通常有如下几种设计方式(注意,以下4Solution有些是不正确的,不正确的,不正确的姿势):

vSAN推荐的IO控制器的配置方式_第12张图片

我们从上文知道一张 I/O Controller 即做RAID 又做直通的方式是不支持的,所以下面就没有在考虑的范围内。

推导的过程类似DELL服务器,在这就省略了。我们的结论是:全闪存极力推荐和All Flash -2不支持All Flash -1 ;


不推荐All Flash -3和All Flash -4注意不推荐的原因是ESXi属于单点,但仍可使用,出问题VMware也是支持的。


混合阵列

混合模式推荐Hybrid -1 Hybrid -2不推荐Hybrid -3和Hybrid -4

vSAN推荐的IO控制器的配置方式_第13张图片



注意:

1、硬件厂家也会对其硬件设计进行调整,如:服务电源、PCI插槽,I/OController数量,盘位数量等,所以在硬件配置前请于硬件厂商进行配置确认,已硬件厂商确认为准;

2、由于vSAN的兼容列表会根据认证结果不定期更新,所以使用前请访问http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio进行查询确认,已VMware官网最新版本为准。

 

---End---


【编者按】

本文只列举了戴尔服务器和华为服务器,如果仔细通读一遍,你会发现,其他服务器也可以以此类推。


欢迎大家投稿,投稿一经采用并发布,获得的赞赏收入,作者可获得60%。投稿可微信私信我,或者通过QQ号 9269216联系我。


上期文章 赠书和投票 | 视频《软件定义存储技术与生态》和文档下载 的结果如下:


1、投票《你最认可哪些SDS相关的观点?》 中,投票排名前九的依次如下:


一、混合云是IT发展的长期趋势       13%

二、SDDC三阶段论:抽象、池化和自动化        9%

三、自动化是实现云计算的必备环节        9%

四、搭建混合云的最好方法是软件定义数据中心(SDDC) 8%

五、Server SAN/HCI 将逐渐成为主流   7%

六、软件定义其实是一个过程,不是一蹴而就的目标,它分成不同阶段   7%

七、软件定义,为云而生         6%

八、硬件发展迅猛,给软件定义提供了发展空间 5%

九、软件定义存储的目标是存储即服务         5%