罗森伯格亚太电子有限公司 陈凤霞 施瑜

 

一、前言

正如我们所知道的一样,在数据中心中最常使用网络有两类:一是基于传统NIC(即服务器和PC 机上的以太网适配器)、遵循以太网IP协议传输的LAN网络,另一是基于存储HBAHost Bus Adapter存储主机总线适配器)、采用光纤通道FC协议的SAN网络。以太网标准由国际标准组织IEEE802.3制定,是目前全球应用最广泛的局域网数据传输技术,通常被应用于:核心路由器←→接入交换机←→服务器(NIC)网络之间数据包(非块状数据)的传输。FC光纤通道是由光纤通道T11技术委员会制定的传输协议,是一种高性能、低延迟的双路光纤串行链路的应用。通常用于SAN网络:主机总线适配器HBA←→储存交换机←→存储设备之间的块状数据传输。

在早期的SAN存储网络系统中,服务器/主机/小型机通过FC光纤通道与存储交换机之间进行块状数据的传输(称之为FC-SAN),与LAN网络的IP协议之间不兼容。对于数据中心的设备和布线系统而言,多样的网络将使数据中心的日常运行和管理维护变得更加复杂。为解决这一问题,T11技术委员会与IEEE数据中心联络并定义了合二为一的统一标准架构:基于以太网的光纤通道FCoE(称之为IP-SAN),FCoE是在服务器/主机/小型机中,将FC帧结构装入以太网帧结构内部,即服务器/主机/小型机在基于LAN发送之前将FC帧装入以太网帧、并在收到FCoE帧后提取出FC帧。

基于FCSAN网络和基于FCoESAN网络在架构上具体有哪些差异呢?为什么采用FCoEIP-SAN)后可以简化数据中心的运行和维护管理?现在让我们通过分析FC-SANIP-SAN的具体网络架构来回答这个问题。

二、FC-SAN网络布线方案

在规划FC-SAN类型的数据中心布线系统时,由于LAN网络的以太网传输协议与SAN网络的FC协议之间是相互独立的,综合布线系统必须能同时支持LANSAN网络的应用,即需要规划两套完整的布线系统以便分别支持LANSAN网络。FC-SAN数据中心典型的网络架构如图一。

数据中心SAN网络综合布线方案分析_第1张图片

图一FC-SAN数据中心网络结构图

在这种网络架构下,服务器/主机/小型机等网络设备既要处理通过IP协议传输的LAN数据包,又要处理通过FC协议在存储应用之间传输的块状数据。因此说在设计综合布线的时候,既要考虑上行到核心交换机的LAN网络,又要考虑下行到存储交换机的SAN网络。

在分析FC-SAN网络架构下的SAN综合布线之前,首先整理一下基于IP传输的LAN网络链路连接状况。LAN网络链路主要是用于解决核心交换机←→接入交换机←→服务器/小型机/主机等之间的连接。其在核心交换机(MDA)到接入交换机(HDA)之间主要将部署预连接光缆作为数据主干、为满足备份、管理等非数据业务的应用基础,也可在MDA-HDA之间部署少量铜缆作为补充;在接入交换机(HDA)到服务器设备之间(EDA)则主要以部署铜缆为主。随着万兆以太网技术的不断成熟和推广、以及各类数据业务的需求发展,接入交换机到服务器设备间也将越来越多的采用万兆OM3/OM4多模光缆布线系统。数据中心LAN网络的拓扑结构如图二。

数据中心SAN网络综合布线方案分析_第2张图片

图二数据中心LAN网络拓扑结构

FC-SAN网络架构下的SAN网络采用的是FC光纤通道传输协议。目前市场产品有2倍速率的1GFC2GFC4GFC8GFC16GFC以及10倍速率的10GFC等几种。根据Fibre Channel工业协会(FCIA)关于光纤通道速率发展的评判,2倍速率的光纤通道(4GFC及以上)因其至少能兼容上两代速率,可以实现对用户投资的保护,因此这类光纤通道的应用将更为广泛。而10倍速率10GFC由于采用了一种全新的体系架构,在电气接口方面与2GFC1GFC不能兼容,早期SAN网络如需升级成本太过昂贵,将主要应用于ISL(光纤通道交换机互联)、核心连接以及其他更高带宽需求的场合。数据中心FC-SAN网络拓扑结构如图三。

数据中心SAN网络综合布线方案分析_第3张图片

图三数据中心FC-SAN网络拓扑结构

FC光纤通道不仅可以采用光纤作为传输介质,也可以采用铜缆作为传输介质。由于光纤具有对噪音不敏感的特点,因此大多数FC光纤通道的传输介质采用光纤,然而在小型FC光纤通道磁盘驱动器的连接上,部分也会采用铜缆作为传输介质。

SAN网络的综合布线中,应当拥有完全独立于LAN网络的MDA主配线区、HDA水平配线区等布线单元,因此对应服务器在做综合布线设计时,除应考虑上行到LAN网络的连接线缆(多数采用铜缆布线系统)外,还需要考虑下行到SAN网络的连接线缆(多数采用光缆布线系统)。由于SAN网络连接的设备移动较少,因此在设计布线系统时应与LAN网络稍有差异,采用HDA集中化布线更利于SAN网络的管理。

三、FCoE的网络布线方案

正如我们所知,数据中心采用的典型网络有基于TCP/IP的以太网LAN和基于FC的存储网SAN,不同种类并行的网络架构增加了数据中心管理和运行维护的难度,为简化数据中心在运行和维护管理过程中因不同网络带来的问题,基于以太网的光纤通道FCoE被应用于数据中心网络具有明显的技术优势, FCoE不仅可以降低数据中心的总体成本、增强其运行的灵活度,因其对以太网和FC之间的兼容性,更可以更好的保护用户的前期投资。

基于对用户前期投资的保护,FCoE网络规划应该分阶段进行部署,其部署大致可以分为三个阶段。

1.第一阶段接入层FCoE,实现服务器I/O整合

这一阶段的FCoE关注于接入交换机和服务器功能的变更,服务器上多种传统的I/O端口整合成单一端口。具备FCoE功能的服务器将FCoE帧传输到接入层FCoE交换机,接入交换机再将FCoE帧分别通过TCP/IPFC传输协议连接到LANSAN

由于接入层涉及的服务器适配器网卡、交换机端口以及布线链路数量相当多,通过服务器I/O整合后,接入层服务器端的布线系统得到了简化,将原来上行到LAN和下行到SAN的两套布线系统合并为一套,大大降低了服务器端的布线链路以及相应的服务器适配器接口卡、交换机端口数量等。

在传输介质方面也有多种选择:万兆OM3/OM4多模光纤、铜缆双绞线以及低功耗的SFP+双轴电缆等。原来核心交换到接入交换之间的主干链路则可以保持不变,接入交换与存储交换之间部署以万兆多模OM3/OM4预连接光缆为主要传输介质的主干链路,其典型的网络架构如图四。

数据中心SAN网络综合布线方案分析_第4张图片

图四第一阶段FCoE数据中心网络结构图

2.第二阶段核心层FCoE,实现主干链路整合

本阶段将促使FCoE应用范围的继续延伸,主要关注于核心交换机、存储交换机功能的提升。当核心网络与接入网络实现FCoE功能后,FCoE帧通过融合后的接入/存储交换机、分别遵循相应的TCP/IPFC传输协议连接到LANSAN

随着接入交换机与存储交换机的融合,从而实现了LANSAN网络主干链路的整合,因此第二阶段的FCoE进一步提高了数据中心业务和网络的灵活性,简化了数据中心的日常维护与管理。

在传输介质方面,核心交换到接入/存储交换之间部署以万兆多模OM3/OM4预连接光缆为主要传输介质的主干链路,服务器与接入交换机之间、存储设备与存储交换机之间的链路则继续采用第一阶段的FCoE链路,第二阶段FCoE部署的典型网络架构如图五。

数据中心SAN网络综合布线方案分析_第5张图片

图五第二阶段FCoE数据中心网络结构图

3.第三阶段核心层FCoE,实现端到端网络

随着存储交换机与接入交换机的融合,本阶段将重点关注存储设备端口的功能提升,在存储设备端口逐渐实现支持FCoE功能后,端到端的FCoE网络将得以实现。这一网络架构下的 FCoE帧存储数据直接在存储设备和核心交换网络之间进行传输, SAN存储网络与LAN网络至此实现完全融合。

第三阶段的网络布线进一步简化,核心交换机到服务器端的网络传输介质无需变更,原先的SAN网络则简化成了只需要在核心交换机到存储设备之间部署万兆多模OM3/OM4预连接光缆作为主要传输介质,极大地提高了数据存储的效率,典型网络架构如图六。

数据中心SAN网络综合布线方案分析_第6张图片

图六第三代FCoE数据中心网络结构图

四、FCoE是否即将取代FC

当数据中心采用典型FC-SAN网络架构时,存储网络与数据网络往往是各自独立的。为了支持服务器上用于以太网、存储网、管理、备份以及虚拟机及时迁移等应用的多种适配器卡,往往需要更多的交换机端口、布线链路、机柜空间等。这样不仅增加了数据中心建设和运行维护的成本,同时也增加了数据中心日常管理和维护的难度。因此数据中心的整合:服务器的整合、存储的整合以及网络的整合已是大势所趋,用户需要效率更高、管理更便捷的数据中心。随着第三代FCoE产品的出现,以及40G/100G以太网标准的颁布,存储网络与数据网络在传输速率方面也将实现统一,为现有SANLAN网络的融合创造了实现的基础。

基于以上原因,是不是意味着FCoE即将取代FC而完全占据数据中心存储网络呢?事实上FCoE并不是代替传统的光纤通道技术,而是利用以太网的拓展性,在不同网络协议在光纤通道上的融合,同时又利用了光纤通道高可靠、高效率的优势。

作为第一个成功的千兆位串行传输技术,在2011年已经将16G光纤通道(16G FC)接口推向了市场,就传输速率上来看已经超过了以太网10G类接口。相比以太网服务器发起访问、被访问关系的不确定性,FC-SAN的发起访问与被访问关系被明确定义。由于以太网在结构设计上的特点,其本身并不保证传输的可靠性,而FC采用基于Buffer-to-Buffer Credit的流控机制,利于确保不丢包传输。相比于以太网通过设备冗余来提高可用性,FC-SAN要求从访问发起方(服务器)到被访问端(存储设备)必须存在两条完全独立的路径,以确保FC网络的高可用性。

基于以上原因,在对数据安全要求级别比较高的企业,如银行、保险、证券以及政府、大型企业的数据中心存储网络中,当前仍然以部署FC-SAN网络为主。

来自市场的声音同样认为FCoE不会在短期内取代FC在企业存储网络中的主导地位。 "FC光纤通道是安全的、可信赖的,它仍然是一个可靠的方案。客户不会放弃FC而采用其他协议,改变协议需要很多年时间才能完成。"Wikibon研究分析公司的首席研究员StuartMiniman说。全球最大的存储设备厂商博科认为FCoE还有很长的路要走,博科高级产品营销总监Marty Lans曾针对FCoE技术表示:我们认为现在还为时尚早,这项技术的普及速度不会像我们想象的那么快。

五、结束语

作为企业数据中心存储网络的解决方案,无论是采用FC还是FCoE,对于综合布线厂商来说,都必须为确保网络高效、可靠运行提供更高级别的产品。除已经大量部署的以太网10G、光纤通道16G网络外,以太网40G、光纤通道32G技术规格都已经完成,不久即将有市场化产品的应用,这就对综合布线厂商提出了更高的要求。比如选择OM4万兆多模光缆作为传输介质时,支持15040G以太网链路的整体衰减不得大于1.5dB,传统熔纤式布线方案将完全退出下一代数据中心布线系统的舞台,取而代之的必将是可靠性更高、部署更便捷的预端接光缆布线系统。作为传统传输介质的铜缆布线系统,其在数据中心布线系统中的市场份额也必将进一步被压缩。

参考文献:

[1] 数据中心光纤布线系统应用技术白皮书综合布线工作组

[2] 新一代数据中心光纤布线技术发展趋势孙慧永

[3] 以太网光纤通道(FCoE)技术综述杨小朋