深入剖析HAM/GAD双活数据中心存储方案

      HAM(High Availability Manager)是HDS在2009年正式发布的VSP存储第一代双活存储特性。HAM使主机将一对镜像LUN当成单个LUN，管理镜像LUN的主从关系并在需要时进行主从切换以保证该LUN对应用始终可用，采用多路径(HDLM)切换、阵列间同步复制(TrueCopy)和第三方仲裁阵列来实现。

      TrueCopy同步远程复制对含主、从两个LUN，主LUN称为Pvol，从LUN成为Svol。HAM把两个VSP阵列间的Pvol和Svol虚拟化为一个LUN(Pvol和Svol的LUN ID、WWN、SNr等属性均一致)，然后映射给主机。对于一个同时连接到VSP主从阵列上的主机，其与PVOL即主阵列相连的路径为主路径MCU(Main Control Unit)，其路径状态为可读写Owner Path，其与SVOL即从阵列相连的路径为备用路径RCU，其路径状态为不可写Non-Owner Path。

      正常状态下应用的IO通过Owner Path下发给Pvol。当主阵列或链路故障导致Pvol不可访问时，HAM检测后首先进行主从切换，将原来的Svol升级为可写状态，Non-Owner Path升级为Owner Path，主机端多路径软件即可将应用IO通过新的Owner Path下发给Svol保证业务连续。

      HAM双活技术使得两台存储是工作在Active Passive模式下，不支持阵列两端双写，也不支持NAS双活，所以HDS推出Global Active Device(GAD)存储Active Active双活特性，并配合HNAS实现NAS双活。

      GAD从原理来说也是通过两个阵列组成一个集群，对其中的双活卷实现两个数据中心同时读写，数据通过VSP G1000的同步复制技术TrueCopy(通过复制、同步技术保持两边设备是完全一致)。为了防止脑裂，采用锁盘(Quorum)机制，每个存储支持32个仲裁盘，当心跳不通的时候，仲裁成功的站点就对外继续提供服务。

      HDS首先在高端存储VSP G1000上支持，后来采用SVOS统一了高中端平台后，GAD在G200，G400，G600和G800上都得到了支持，在2016年10月发布G1500和F1500支持GAD，更新可以通过服务器本地磁盘做仲裁。

      GAD采用Active Active架构，支持主从阵列同时读写，所有IO写操作都是先写主LUN后写从LUN，配置原厂HDLM多路径，可以支持本地优先读写策略，主从站点支持100KM距离，支持FC/IP复制链路，支持8条物理路径和阵列主机交叉组网。

      HDS在一台物理存储内允许用户按照业务和应用的要求定义多个Virtual Storage Machine(VSM)，VSM与一台存储类似，具备自己的存储ID，设备序列号和端口WWN，通过VSM的定义，能够有效提高存储资源利用率，并实现最大的架构、业务的灵活性。GAD是利用VSP的虚拟控制器功能来实现VSP G1000的水平扩展和设备双活，最大支持8个VSM，但可以支持63231对双活的GAD卷。

      HDS GAD技术是通过设置SVM的方式使两台存储使用相同的虚拟序列号SN让主机把两台物理存储(可能包含多个SVM)看成一台存储。在一台物理存储内允许用户按照业务和应用的要求定义多个VSM。GAD是利用VSP的VSM功能来实现VSP G1000的扩展和设备双活能力，主卷(Pvol)和从卷(Svol)的LDEV 编号是一样的。

      主机识别LUN是通过虚拟序列号SN来识别，VDKC是VSP G1000上虚拟出来的一个虚拟控制器，它可以将多台存储底层的物理控制器虚拟成同一个控制器，这样主机通过虚拟控制器访问后端磁盘资源时，始终和一个控制器ID交互，无论后台存储如何变化主机都不会有感知，从而实现了双活等特性。

      HDS GAD基于微码实现双活，主机、交换机、存储整个I/O路径不需新增任何设备。HDS GAD技术在主机写I/O过程中不会增加任何的多余步骤，实现方式就是增强的同步复制技术TrueCopy，两边写I/O完成后才返回给主机，全程确保数据完整性，两台主机同时写同一个存储块时，HDS会对写存储块加锁，保证数据的一致性。

      GAD的组网相对比较灵活，单机双阵列组网是用在数据中心内，只能实现存储层的双活能力，服务器主机是单点，只能防止存储故障，这种组网方式常用在不支持集群的应用中。

      双机双阵列组网是比较常见的组网方式，这种组网需要服务器安装集群软件，来实现业务的切换。这种组网在存储层和应用计算层都可以实现业务双活。

      交叉组网类似于双机双阵列组网方式，但在网络层实现了交叉冗余，这种方式是推荐的组网方式，也就是服务器都可以看到所有的存储，服务器同时采用集群软件和多路径软件来完成故障的切换，切换的方式更加合理，比如存储故障，服务器集群可以不切换，只需要多路径软件切换存储就可以了。

 

      分布式集群和双活方案都需要仲裁机制防止脑裂，保证心跳故障后，整个集群系统能对外提供数据一致性存储服务。目前，仲裁的实现方式有下面几种。

• 1、优先级站点方式。这种方式最简单，在没有第三方站点的情况下使用，从两个站点中选一个优先站点，发生脑裂后优先站点仲裁成功。但如集群果发生脑裂后，优先站点也发生故障，就是导致业务中断，因此这种方案并非推荐的方案。

• 2、软件仲裁方式。这种方式应用比较普遍，采用专门的仲裁软件来实现，仲裁软件放在第三站点，可以跑在物理服务器或VM上，甚至可以部署到公有云上，PureStorage的ActiveCluster就把仲裁软件以OVF文件部署在公有云上。

• 3、阵列仲裁盘方式。这种方式是在第三站点采用另外一台阵列创建仲裁盘。这种方式稳定性，可靠性比较高。GAD的仲裁机制原理是采用仲裁盘的方式实现。

      HDS通过HNAS网关配合GAD支持NAS双活，NAS双活依赖SAN双活，HNAS目前支持2节点集群绑定GAD组成拉远的Active Passive双活，数据读写在主端完成，但是从端也可以通过配置Cache实现IO读取操作。整个HNAS文件系统数据保存在GAD双活设备上，HANS节点的主要工作是完成站点间元数据、状态和控制数据同步。

      NAS集群数据复制链路采用10GE，复制链路和心跳、管理网络分离。NAS仲裁基于GE网络并采用仲裁服务器模式，SAN仲裁采用仲裁磁盘，SAN和NAS采用独立的两套仲裁系统。

      HNAS节点1和节点2组成了一个Stretched的集群，服务器NAS客户端的写IO首先写入节点1（主节点）的NVRAM中，并通过复制镜像到从端节点2的NVRAM中，然后返回客户端，完成写IO。通过时间策略，节点1将把NVRAM中的数据周期性的刷写到GAD SAN存储双活卷中，HNAS多路径支持优先选择PVOL卷下盘，GAD通过双活特性同步到从端的VSP设备中。

      得益于HDS VSP存储自身特性，在存储Pool比较闲的时候，可以实现HDD降速(Spin Down)或休眠(Sleep)节省电力成本。支持接管异构第三方阵列并实现GAD双活。但是针对NAS双活，两站点间HNAS节点跟GAD采用独立的复制链路、心跳和管理网络，在管理上可能会有些复杂，故障处理也会比较复杂。

温馨提示：
请搜索“ICT_Architect”或“扫一扫”下面二维码关注公众号，获取更多精彩内容。

听说点赞和分享的朋友都已走上人生巅峰