个人虚拟化存算分离改造

前言

搭建并开始使用自己的虚拟化集群也差不多3-4年了，期间遇到不少的坑，也收获颇丰。但从始至终一直有一个担忧，就是数据安全存储问题，因为不管是HDD还是NVMe SSD，都是直接插在主板上，没有做任何备份或者RAID方案，这也意味着一旦硬盘损毁，资料也将面临损毁的风险。 化解风险的方法也挺多，曾想过诸如组vSan集群，主机上插硬RAID卡等，但各有优缺点，最后决定在整体架构上让计算和存储分离。

可查看 个人虚拟化集群搭建教程

一、为什么要存算分离？

网上关于存算分离的探讨非常多，更多的是从企业的角度里分析。对于我个人做虚拟化集群而言，大致也是相似的，主要有如下几点：

1. 万兆网络事实上提供了存算分离的基础，且基于iSCSI的成本并不高。很多企业会用FC，但对于个人而言，iSCSI完全足够，而且使用iSCSI可以使用现成的网络，无需做太多改造动作。
2. 解决因存算耦合造成资源浪费的问题。存算耦合场景经常会遇到性能不足或者空间不足的问题，最典型的就是当你使用NVMe SSD承载io速度要求高的系统时，很容易会遭遇SSD空间不足的问题。而单台机器毕竟性能有限，承载服务不可能太多。
3. 用VM DRS在不同主机间迁移系统，耗费时间较长，不方便。如果是在分离的场景下，弹性拓展会变得很容易，数据甚至都不需要移动。

二、改造步骤

2.1 购买设备

共需购买三类设备，网络设备、NAS、硬盘等。

1. 网络设备

• 一台万兆光口交换机
• 光纤线或电缆若干条
• 光口转电口模块（可能需要）

2. NAS、升级配件、硬盘
   关于NAS与硬盘的选择，可以参考《威联通NAS实测》博文，里面已经有比较清楚的描述了。总之，如是家用且没有独立放机柜或者设备的房间，建议不要购买企业级的NAS设备，可以选择购买普通家用的品牌NAS。硬盘建议从正规渠道购买，不要贪图便宜去购买价差很大的硬盘。

3. UPS
   可以购买UPS设备，当意外断电时，可有效保障数据存储安全。个人买的是山特TG-BOX850。

4. 服务器上的万兆网卡

注意下：

• 应提前确定网络类型，诸如10G或者25G甚至更高，比如购买的是10G，那么相对应的交换机，电缆，NAS配件，万兆网卡应确保能适配，举例，10G的口是SFP+，而25G的口是SFP28+，不同的速率可能会对应不同的光模块。同时，也应该电缆或者光转电模块和交换机品牌是否兼容等，这些需要提前确定并跟商家进行咨询。
• 个人安装的是10G，但10G的问题在于，网速会成为某些场景的性能瓶颈点，举个例子，10G网速上限在1200MB/s左右，而SSD顺序读写轻松可达3500MB/s。但依旧不选择25G网络的原因有，一是25G网络伴随着整体建设成本急剧高涨，二是25G网络设备大部分是企业级的，噪音较大，三是因为日常大部分是随机读写场景，实测NAS速率后，发现随机读写不大会被网络速率限制。

2.2 安装迁移步骤

1. 安装好NAS，包括升级配件（万兆网卡、内存、NVMe SSD等），并将NAS接入光口交换机。
2. 光口交换机接入路由器，此处可能会需要用到光口转电口模块。接入路由器后，需要为NAS配置静态ip，以避免后续因ip发生变化导致iSCSI连接失败的问题，并确保NAS可以接入互联网，后续需更新升级NAS系统。
3. 若有购买UPS，可以将电源接在UPS上，并连接好USB数据线。
4. 开启NAS，安装QTS系统，不建议安装hero系统，实测hero系统尤其是写入性能较差。若有接入UPS，需要在NAS UPS管理页面做配置。
5. 创建 RAID 10 存储池，磁盘同步需大约1天左右，也可以选择不等待直接进行下一步
6. 创建高速缓存加速，选择 读写高速缓存 RAID1，缓存模式选择全部I/O。
7. 开启iSCSI存储与光纤通道，新建iSCSI目标。
8. 新建iSCSI LUN，选择厚置备，区块大小512B（不要选择4KB，否则vmware无法识别）,勾选“用SSD缓存提升性能”
9. 在vCenter中的"主机->配置->存储适配器->vmhba64->动态发现"，添加发送目标服务器，填写iSCSI服务器地址，也即NAS的IP，若有设置CHAP，此处需要填写用户名与密钥，保存后并切换到"静态发现->身份验证"，再一次填写用户名和密钥。
10. 重新扫描存储，而后切换到"主机->配置->存储设备"，点击刷新，会出现一个新磁盘，也即iSCSI Disk。
11. 点击vCenter的主机，新建数据存储，类型选择VMFS，设备选择刚刚新出现的磁盘，版本选择VMFS6。
12. 在vCenter中将虚拟机迁移至新创建的存储设备中。

2.3 性能调优

NAS

1. 控制台-网络与虚拟交换机-网络适配器 页面

• 找到在用的适配卡，设定，IPv4使用固定IP地址，设定成之前在路由器配置的IP。巨帧封包设定9000，巨帧大小对顺序写入性能影响较大，默认的1500，顺序写入速度直降至450MB/s左右。
• FEC，如果对应的设备不支持FEC，可以选择关闭。

2. 将RAID 10 存储池的磁盘同步速度级设置为低，也即服务优先

vCenter

1. 在ESXi控制台或者vCenter的存储选项卡中，配置iSCSI适配器，添加动态目标与静态目标，在高级设置处配置 FirstBurstLength、MaxBurstLength、MaxRecvDataSegLen 为 524288。
2. iSCSI开启巨帧与禁用延迟 ACK
   参考
   ESX/ESXi 主机的某些存储阵列可能存在读取或写入性能问题
   为 iSCSI 启用巨帧