基于 VMware，如何用 SmartX 超融合的分布式块存储构建更优超融合平台？

原文链接： https://www.smartx.com/blog/2018/07/vmware-smartx-zbs/

超融合基础架构已经被越来越多的用户接受，并被认为是未来 IT 基础架构的发展趋势。很多用户已经在考虑如何将生产环境平滑地迁移到超融合架构，以及如何围绕现有的 VMware vSphere 生态构建超融合架构。
from:https://www.smartx.com/blog/2018/07/vmware-smartx-zbs/

虽然超融合架构本应支持多种 Hypervisor，但企业依旧倾向于围绕 VMware vSphere 去构建超融合架构，主要原因有：

业务系统与 VMware vSphere 的兼容性已经得到过充分验证。
已经培养了一批 VMware vSphere 的专业运维人员，有充分的技术储备，担心更换虚拟化平台需付出较大的学习成本。
围绕 VMware vSphere 的生态已经有了大量的投入，如：VMware vSphere 许可，备份软件、监控软件、甚至是云平台集成已经完成等。
那么围绕 VMware vSphere 构建超融合基础架构的选型需要有哪些注意事项呢？由于 Hypervisor 已经指定，那么关键就是分布式存储软件的选型，所以至少需要满足以下因素：

对 VMware vSphere 主流版本有较好兼容性，保证整个平台稳定，并具备持续开发能力。
针对 VMware vSphere 运行环境专门优化，提供优异 I/O 性能。
提供在线横向扩展能力，流程需要足够简单。
由于是超融合部署，分布式存储软件需保证正常运行前提下占用资源尽可能低，这样可以保证更多的资源提供给虚拟机使用。
提供存储高级功能支持，如存储同步、异步复制等高级功能，满足生产环境对业务连续性的要求。
SMTX 分布式块存储基于 vSphere 构建超融合基础架构

SMTX 分布式块存储简介

SMTX 分布式块存储模块（内部代号 “ZBS”，以下称 “SmartX ZBS”），是 SmartX 自主研发的高性能，高可靠的分布式块存储系统。SmartX ZBS 自诞生起就是为超融合架构设计的。充分利用了虚拟化平台特点，以及 SSD 设备的特性，进行了深入的优化与整合。支持与 KVM，VMware ESXi，XenServer 等虚拟化/云平台结合构建超融合平台。

SMTX 分布式块存储功能和特点

高性能

以 SSD 设备作为缓存，充分利用 SSD 低延迟，高 IOPS 的特性；
支持超融合架构，计算和存储运行在同一物理服务器上，存储对计算感知，大部分 I/O 可以在本地完成，避免网络延迟。
高可靠

通过多副本，保证在服务器宕机数据可靠性及业务连续性；
多副本采用强一致性写，保证数据一致性。
低消耗

兼容商用 x86 服务器，无特殊硬件需求；
存储仅占用有限的计算资源（6 vCPU 16GB内存），避免额外购置存储服务器，完美适配超融合架构。
横向可扩展

性能与容量同步线性扩展；
单集群最大可支持 255 个节点。
架构

SmartX 基于 VMware vSphere 超融合部署，主要方式是在裸金属服务器上部署 VMware ESXi，而 SCVM （SmartX Controller Virtual Machine）则部署在 VMware ESXi 之上，SCVM 顾名思义是充当存储控制器虚拟机的角色，它通过 passthrough 技术（最大限度避免经过 ESXi 虚拟化的性能损耗）直接管理服务器的硬盘资源（包括 SSD 和 HDD）。

多台 SCVM 之间以万兆网络互联，通过内置的 SmartX ZBS 分布式存储软件整合存储资源构建成统一存储池，然后使用 NFS 协议挂载到 VMware ESXi 作为 datastore 提供存储服务。

architecture.jpg
SMTX 分布式块存储结合 vSphere 的优势与用户价值

1. 良好的硬件兼容性让用户的选择更加灵活稳定

ZBS 完全运行于应用层， 直接调用 CentOS 原生驱动，兼容市面上绝大部分硬件，可有效缓解 vSAN 需要独立维护硬件驱动，与 vSphere HCL 无法统一给用户带来的选型困扰和稳定性风险。

2. 与 Hypervisor 版本松耦合减少用户升级成本

ZBS 在 VMware 超融合架构下采用 SCVM 部署模式，ZBS 和 vSphere 的版本适配更加灵活，减少原生方案中 vSAN 升级需要 vSphere 同步升级带来的额外成本。

3. 数据本地化带来更优性能和业务体验

ZBS 除了支持 SSD 缓存加速功能外，还针对 VMware vSphere 虚拟化环境专门优化副本放置策略，ZBS 通过冗余副本技术保护 VM 的存储数据，而数据本地化功能将其中一个完整副本在 VM 运行所在节点进行存取，另外一个副本存放在远端节点保证数据冗余。这样做的好处是 VM 在本节点存取数据缩短了 I/O 路径，有效降低延时和减少对网络带宽的压力，带来 I/O 性能实质性的提升。

同时，ZBS 完美支持 VMware vMotion 功能，即使 VM 发生了在线迁移，数据本地化功能依然有效，系统会自动检测到 VM 由于迁移发生了远程 I/O 存取，并且不是临时迁移的情况下，自动发生数据迁移，重新在新节点形成数据本地化。

4. 完备的高可用机制保证用户业务稳定运行

ZBS 支持 VMware HA 功能以应对节点故障场景，I/O 路由重定向功能则针对其他硬件的故障，提供比 HA 更精细的高可用功能。

存储网络故障应对
存储网络发生故障的时候，SmartX Halo 支持自动把存储网络链路重定向到业务网络中，临时充当存储数据传输的链路，并不会触发 VMware HA 功能，主机上的虚拟机业务并不会发生中断。而同样情况，VMware vSAN 存储网络故障则直接触发 VMware HA 功能把该节点上的虚拟机进行强制关闭并迁移到其他节点后重启虚拟机，这样业务会发生中断和迁移的情况。
storage-network-error.jpg
SCVM 故障应对
ZBS 与 VMware ESXi 是松耦合关系，这使得 HA 机制更加灵活，即使是 SCVM 故障无法提供存储服务了，而 ESXi 本身并没有故障的情况下，SmartX 会触发 I/O 重定向功能，使得该节点的虚拟机可以通过把虚拟机的 I/O 请求快速切换到远程节点上的 SCVM 继续完成，这样同样可以做到虚拟机业务不中断的情况下，继续提供存储服务。
SCVM-error.jpg
5. 快速克隆机制有效提升业务效率

ZBS 支持 COW 写时复制快照和克隆技术，在执行快照和克隆操作时，并不会发生真正数据的复制，只有在对数据修改时才会发生数据复制，因此执行克隆的速度非常快，可以在几秒钟内完成克隆，而且克隆时间不受 VM 存储容量大小影响。同时，ZBS 支持 VMware VAAI， 可将 VMware 的快照和克隆操作 offload 到 ZBS 底层执行，使得通过 vCenter 执行 VM 克隆同样可以应用 ZBS 的快速克隆技术。

6. 容灾功能提供更高业务连续性和数据可靠性

ZBS 支持部署基于 VMware vSphere 的跨机房的同步复制集群，可配合应用环境实现 “双活”。亦可支持存储底层的异步复制功能，当主机房故障的时候可以切换至备用机房恢复业务。