数据中心SAN网络综合布线方案分析
罗森伯格亚太电子有限公司 陈凤霞 施瑜
一、前言
正如我们所知道的一样，在数据中心中最常使用网络有两类：一是基于传统NIC（即服务器和PC 机上的以太网适配器）、遵循以太网IP协议传输的LAN网络，另一是基于存储HBA（Host Bus Adapter存储主机总线适配器）、采用光纤通道FC协议的SAN网络。以太网标准由国际标准组织IEEE802.3制定，是目前全球应用最广泛的局域网数据传输技术，通常被应用于：核心路由器←→接入交换机←→服务器（NIC）网络之间数据包（非块状数据）的传输。FC光纤通道是由光纤通道T11技术委员会制定的传输协议，是一种高性能、低延迟的双路光纤串行链路的应用。通常用于SAN网络：主机总线适配器HBA←→储存交换机←→存储设备之间的块状数据传输。
在早期的SAN存储网络系统中，服务器/主机/小型机通过FC光纤通道与存储交换机之间进行块状数据的传输（称之为FC-SAN），与LAN网络的IP协议之间不兼容。对于数据中心的设备和布线系统而言，多样的网络将使数据中心的日常运行和管理维护变得更加复杂。为解决这一问题，T11技术委员会与IEEE数据中心联络并定义了合二为一的统一标准架构：基于以太网的光纤通道FCoE（称之为IP-SAN），FCoE是在服务器/主机/小型机中，将FC帧结构装入以太网帧结构内部，即服务器/主机/小型机在基于LAN发送之前将FC帧装入以太网帧、并在收到FCoE帧后提取出FC帧。
基于FC的SAN网络和基于FCoE的SAN网络在架构上具体有哪些差异呢？为什么采用FCoE（IP-SAN）后可以简化数据中心的运行和维护管理？现在让我们通过分析FC-SAN与IP-SAN的具体网络架构来回答这个问题。
二、FC-SAN网络布线方案
在规划FC-SAN类型的数据中心布线系统时，由于LAN网络的以太网传输协议与SAN网络的FC协议之间是相互独立的，综合布线系统必须能同时支持LAN和SAN网络的应用，即需要规划两套完整的布线系统以便分别支持LAN和SAN网络。FC-SAN数据中心典型的网络架构如图一。
图一FC-SAN数据中心网络结构图
在这种网络架构下，服务器/主机/小型机等网络设备既要处理通过IP协议传输的LAN数据包，又要处理通过FC协议在存储应用之间传输的块状数据。因此说在设计综合布线的时候，既要考虑上行到核心交换机的LAN网络，又要考虑下行到存储交换机的SAN网络。
在分析FC-SAN网络架构下的SAN综合布线之前，首先整理一下基于IP传输的LAN网络链路连接状况。LAN网络链路主要是用于解决核心交换机←→接入交换机←→服务器/小型机/主机等之间的连接。其在核心交换机（MDA）到接入交换机（HDA）之间主要将部署预连接光缆作为数据主干、为满足备份、管理等非数据业务的应用基础，也可在MDA-HDA之间部署少量铜缆作为补充；在接入交换机（HDA）到服务器设备之间（EDA）则主要以部署铜缆为主。随着万兆以太网技术的不断成熟和推广、以及各类数据业务的需求发展，接入交换机到服务器设备间也将越来越多的采用万兆OM3/OM4多模光缆布线系统。数据中心LAN网络的拓扑结构如图二。
图二数据中心LAN网络拓扑结构
FC-SAN网络架构下的SAN网络采用的是FC光纤通道传输协议。目前市场产品有2倍速率的1GFC、2GFC、4GFC、8GFC、16GFC以及10倍速率的10GFC等几种。根据Fibre Channel工业协会（FCIA）关于光纤通道速率发展的评判，2倍速率的光纤通道（4GFC及以上）因其至少能兼容上两代速率，可以实现对用户投资的保护，因此这类光纤通道的应用将更为广泛。而10倍速率10GFC由于采用了一种全新的体系架构，在电气接口方面与2GFC、1GFC不能兼容，早期SAN网络如需升级成本太过昂贵，将主要应用于ISL（光纤通道交换机互联）、核心连接以及其他更高带宽需求的场合。数据中心FC-SAN网络拓扑结构如图三。
图三数据中心FC-SAN网络拓扑结构
FC光纤通道不仅可以采用光纤作为传输介质，也可以采用铜缆作为传输介质。由于光纤具有对噪音不敏感的特点，因此大多数FC光纤通道的传输介质采用光纤，然而在小型FC光纤通道磁盘驱动器的连接上，部分也会采用铜缆作为传输介质。
在SAN网络的综合布线中，应当拥有完全独立于LAN网络的MDA主配线区、HDA水平配线区等布线单元，因此对应服务器在做综合布线设计时，除应考虑上行到LAN网络的连接线缆（多数采用铜缆布线系统）外，还需要考虑下行到SAN网络的连接线缆（多数采用光缆布线系统）。由于SAN网络连接的设备移动较少，因此在设计布线系统时应与LAN网络稍有差异，采用HDA集中化布线更利于SAN网络的管理。
三、FCoE的网络布线方案
正如我们所知，数据中心采用的典型网络有基于TCP/IP的以太网LAN和基于FC的存储网SAN，不同种类并行的网络架构增加了数据中心管理和运行维护的难度，为简化数据中心在运行和维护管理过程中因不同网络带来的问题，基于以太网的光纤通道FCoE被应用于数据中心网络具有明显的技术优势， FCoE不仅可以降低数据中心的总体成本、增强其运行的灵活度，因其对以太网和FC之间的兼容性，更可以更好的保护用户的前期投资。
基于对用户前期投资的保护，FCoE网络规划应该分阶段进行部署，其部署大致可以分为三个阶段。
1.第一阶段接入层FCoE，实现服务器I/O整合
这一阶段的FCoE关注于接入交换机和服务器功能的变更，服务器上多种传统的I/O端口整合成单一端口。具备FCoE功能的服务器将FCoE帧传输到接入层FCoE交换机，接入交换机再将FCoE帧分别通过TCP/IP和FC传输协议连接到LAN和SAN。
由于接入层涉及的服务器适配器网卡、交换机端口以及布线链路数量相当多，通过服务器I/O整合后，接入层服务器端的布线系统得到了简化，将原来上行到LAN和下行到SAN的两套布线系统合并为一套，大大降低了服务器端的布线链路以及相应的服务器适配器接口卡、交换机端口数量等。
在传输介质方面也有多种选择：万兆OM3/OM4多模光纤、铜缆双绞线以及低功耗的SFP+双轴电缆等。原来核心交换到接入交换之间的主干链路则可以保持不变，接入交换与存储交换之间部署以万兆多模OM3/OM4预连接光缆为主要传输介质的主干链路，其典型的网络架构如图四。
图四第一阶段FCoE数据中心网络结构图
2.第二阶段核心层FCoE，实现主干链路整合
本阶段将促使FCoE应用范围的继续延伸，主要关注于核心交换机、存储交换机功能的提升。当核心网络与接入网络实现FCoE功能后，FCoE帧通过融合后的接入/存储交换机、分别遵循相应的TCP/IP和FC传输协议连接到LAN和SAN。
随着接入交换机与存储交换机的融合，从而实现了LAN与SAN网络主干链路的整合，因此第二阶段的FCoE进一步提高了数据中心业务和网络的灵活性，简化了数据中心的日常维护与管理。
在传输介质方面，核心交换到接入/存储交换之间部署以万兆多模OM3/OM4预连接光缆为主要传输介质的主干链路，服务器与接入交换机之间、存储设备与存储交换机之间的链路则继续采用第一阶段的FCoE链路，第二阶段FCoE部署的典型网络架构如图五。
图五第二阶段FCoE数据中心网络结构图
3.第三阶段核心层FCoE，实现端到端网络
随着存储交换机与接入交换机的融合，本阶段将重点关注存储设备端口的功能提升，在存储设备端口逐渐实现支持FCoE功能后，端到端的FCoE网络将得以实现。这一网络架构下的 FCoE帧存储数据直接在存储设备和核心交换网络之间进行传输， SAN存储网络与LAN网络至此实现完全融合。
第三阶段的网络布线进一步简化，核心交换机到服务器端的网络传输介质无需变更，原先的SAN网络则简化成了只需要在核心交换机到存储设备之间部署万兆多模OM3/OM4预连接光缆作为主要传输介质，极大地提高了数据存储的效率，典型网络架构如图六。
图六第三代FCoE数据中心网络结构图
四、FCoE是否即将取代FC？
当数据中心采用典型FC-SAN网络架构时，存储网络与数据网络往往是各自独立的。为了支持服务器上用于以太网、存储网、管理、备份以及虚拟机及时迁移等应用的多种适配器卡，往往需要更多的交换机端口、布线链路、机柜空间等。这样不仅增加了数据中心建设和运行维护的成本，同时也增加了数据中心日常管理和维护的难度。因此数据中心的整合：服务器的整合、存储的整合以及网络的整合已是大势所趋，用户需要效率更高、管理更便捷的数据中心。随着第三代FCoE产品的出现，以及40G/100G以太网标准的颁布，存储网络与数据网络在传输速率方面也将实现统一，为现有SAN与LAN网络的融合创造了实现的基础。
基于以上原因，是不是意味着FCoE即将取代FC而完全占据数据中心存储网络呢？事实上FCoE并不是代替传统的光纤通道技术，而是利用以太网的拓展性，在不同网络协议在光纤通道上的融合，同时又利用了光纤通道高可靠、高效率的优势。
作为第一个成功的千兆位串行传输技术，在2011年已经将16G光纤通道（16G FC）接口推向了市场，就传输速率上来看已经超过了以太网10G类接口。相比以太网服务器发起访问、被访问关系的不确定性，FC-SAN的发起访问与被访问关系被明确定义。由于以太网在结构设计上的特点，其本身并不保证传输的可靠性，而FC采用基于Buffer-to-Buffer Credit的流控机制，利于确保不丢包传输。相比于以太网通过设备冗余来提高可用性，FC-SAN要求从访问发起方（服务器）到被访问端（存储设备）必须存在两条完全独立的路径，以确保FC网络的高可用性。
基于以上原因，在对数据安全要求级别比较高的企业，如银行、保险、证券以及政府、大型企业的数据中心存储网络中，当前仍然以部署FC-SAN网络为主。
来自市场的声音同样认为FCoE不会在短期内取代FC在企业存储网络中的主导地位。 "FC光纤通道是安全的、可信赖的，它仍然是一个可靠的方案。客户不会放弃FC而采用其他协议，改变协议需要很多年时间才能完成。"Wikibon研究分析公司的首席研究员StuartMiniman说。全球最大的存储设备厂商博科认为FCoE还有很长的路要走，博科高级产品营销总监Marty Lans曾针对FCoE技术表示：“我们认为现在还为时尚早，这项技术的普及速度不会像我们想象的那么快。”
五、结束语
作为企业数据中心存储网络的解决方案，无论是采用FC还是FCoE，对于综合布线厂商来说，都必须为确保网络高效、可靠运行提供更高级别的产品。除已经大量部署的以太网10G、光纤通道16G网络外，以太网40G、光纤通道32G技术规格都已经完成，不久即将有市场化产品的应用，这就对综合布线厂商提出了更高的要求。比如选择OM4万兆多模光缆作为传输介质时，支持150米40G以太网链路的整体衰减不得大于1.5dB，传统熔纤式布线方案将完全退出下一代数据中心布线系统的舞台，取而代之的必将是可靠性更高、部署更便捷的预端接光缆布线系统。作为传统传输介质的铜缆布线系统，其在数据中心布线系统中的市场份额也必将进一步被压缩。
参考文献：
[1] 数据中心光纤布线系统应用技术白皮书综合布线工作组
[2] 新一代数据中心光纤布线技术发展趋势孙慧永
[3] 以太网光纤通道(FCoE)技术综述杨小朋
本文出自 “光纤与数据通信” 博客，转载请与作者联系！