一,数据中心与下一代以太网
 
自从2002IEEE802.3ae 标准正式出台以后,以太网络的速度得到了极大的发展,比如阿姆斯特丹和东京互联网核心交换节点的流量已经突破600Gbps,尽管 10G bps的传输速率已经极大的发挥了普通多模光纤和双绞线的潜力。但是随着网络应用的发展,特别是现在网络视频,手机智能化等多种业务快速发展的今天,10GBase已经体现出局限性。200911月中旬,Intel开始发售10GBase-T网卡。可以预见,随着IEEE802.3az标准的成熟以及芯片技术的提高,10GBase-T的功耗会进一步降低。将来PC服务器甚至是普通电脑都会采用10Gbps以太网络。
 
所以在2006 10G Base-T 标准出台后,IEEE根据网络发展的趋势,于当年6月就成立了HSSGHigher Speed study Group)研究小组。并于200712月批准了PARProject Authorization Request)发展下一代网络 40G / 100G 以太网标准。按照计划下一代标准IEEE 802.3ba 将于20106月份出台。 40G 100G 目前看来,将来的应用主要集中在数据中,当服务器大范围采用10GBase-T的时候,核心交换的速度必须随之有一个大幅的提升。同时数据中心中的FCOEiSCSI等技术使得SAN/LAN网络融合成为趋势,这也对以太网络的速率提出了更高的要求。而且现在以太网还面临像Infiniband这样最高可以支持 120G 传输的技术的竞争压力,所以新标准的出台已经迫在眉睫。
 
当前在核心交换机市场,已经有相当多的交换机厂商宣布他们的交换机背板已经支持 100G 的标准,Juniper等厂商已经开始推广 100G 以太网的接口板;在终端市场, 40G 以太网的网卡也已经开始发售,如Mellanox 20099月推出ConnectX-2 EN 40G PCIe网卡,支持IEEE Draft P802.3ba/D2.0 40GBASE-CR4, -SR等协议。与Mellanox垄断infiniband芯片不同,IEEE 802.3ba芯片的竞争会更激烈,将来产品的价格优势会很明显。
 
40G 100G 以太网到底是什么,简单的说就是将以太网的速率提高到40Gbps/ 100G bps 其中会牵涉到MAC参数,物理层,和管理部分的变化。本文主要介绍802.3ba 的物理基础部分,因为目前标准仍然处在草案(D3.0)阶段,没有最后定稿,所以本文介绍的可能会与将来出台的标准有细微的差别。但是基础的物理链路已经不会有大的变化,所以我们现在新建数据中心时,为了考虑将来的升级问题,就有必要对下一代网络有一个的大致的了解。
 
二, 40G / 100G 与布线系统
 
通常来讲我们要提高传输速率大致有几条途径:1)更高效率的编码方式;2)更大的传输带宽;3)多路传输(复用)。
下一代数据中心的Ethernet(40G/100G)与基础布线_第1张图片
在万兆时代,OM3 Cat 6A 的应用大大增加了传输的带宽,再加上芯片技术的提高和DSP处理能力的增强使得编码能够更有效率,最终使万兆以太网能够得以推广。但是到了万兆之后,首先介质的传输带宽增加不明显,OM4OM3Cat 7A Cat 6A 都只增加了2倍多的带宽,如果要达到 100G 的传输速率,就必须在其他方面取得突破。 但是靠提高编码效率的方式来提高带宽面临两大瓶颈:1) 编码效率的提高多是利用电磁波传输,光传输的编码效率很难大幅提高。2)编码效率的提高直接导致处理成本的增加,要求更昂贵的设备。还有一些其他的因素如时间的紧迫性,防止技术的垄断性等多方面的要求,导致了目前主要的研究方向在并行与复用系统。采用该方案最大的好处就是可以直接借鉴过去的标准,减少新元器件的开发和研制,加速新标准的推出,降低系统的成本。就像现在多核CPU大行其道一样。
 
目前 40G / 100G 以太网的标准主要有以下几个:
下一代数据中心的Ethernet(40G/100G)与基础布线_第2张图片
注:E: Extra long Reach; L: long Reach; S: Short Reach; CAssembly Cable; K: Backplane; R: 64B/66B coding
根据上表中的实现方式,可以分成3个部分,单模光纤,多模光纤和铜缆/背板。先来看一下单模的传输方式。单模光纤理论上带宽是无限的,标准研究初期讨论过有两种基于SMF的实现方法,1)串行 2WDM波分复用。如果采用串行 40G 方式,成本大约是WDM6倍,同时功耗也大大高于WDM,而且部分新元器件需要重新开发,这会极大的影响到标准的按时发布和市场的推广,而WDM已经是成熟技术,所以经过委员会的激烈讨论和投票,WDM以微弱优势胜出(领先2票)。所以目前基于单模光纤的 40G / 100G 采用WDM的波分复用方式实现,4* 10G 或者4* 25G
 
下一代数据中心的Ethernet(40G/100G)与基础布线_第3张图片
 
无论是现在的波分复用方式还是将来可能会出现的串行方式,都仍然是在1对单模光纤内传输双工系统,对布线系统没有特殊的要求,所以目前的单模光纤已经能够满足将来的需求。
 
上面提到的OM4 光纤目前的EMB4700Mhz·KM,虽然多模光纤的EMB可以最高做到9000 Mhz·KM以上,但是仍然不能满足串行 40G 100G 的要求。而且器件成本也太高,所以基于多模光纤的 40G / 100G 则基本上采取的都是并行系统,就是在多根光纤上部署并行收发器。为了考虑兼容现有的连接类型,采用单个连接器12芯光纤的MPO/MTP是最好的选择。在开始讨论的时候曾经有过2* 20G 4* 25G 的方案,基于和串行 40G SMF相同的原因,这个方案最终被放弃了。目前IEEE基本确定采用4*1010*10的方案, 40G 为单个MPO连接器上4根收,4根发; 100G 采用2MPO连接器,1个收,1个发。
 
下一代数据中心的Ethernet(40G/100G)与基础布线_第4张图片
100G 的传输
 
下一代数据中心的Ethernet(40G/100G)与基础布线_第5张图片
40G 的传输
 
多模光纤和单模光纤不同,对带宽是有限制的。在上一代10GBase-SR标准中OM1OM2 光纤都是可以采用的,只是OM1 光纤只能支持 33 的距离。到了新一代标准中只有OM3 OM4两种类型的光纤可以采用,可支持的传输距离分别为 100 125 。设定这个距离主要出于两个方面的考虑:1)根据统计表明,数据中心内的骨干光纤链路88%小于 100 94%小于 125 100%小于 300 100 已经基本够用。2)成本和实现难度较小,方案比较稳妥,因为并行传输对传输的衰减等指标要求很高。但是目前关于距离这部分的争议仍然很大,有多家研究机构提出,采用一些方法可以让OM3支持 150 以上,OM4支持 250 以上的距离,也许将来的标准在这方面会有变化。
 
所以如果现在要新建一个数据中心,要考虑升级到下一代网络,最好的选择就是采用OM3 OM4光缆,配合MPO/MTP连接器加预连接的解决方案,这样至少在升级网络的时候,原有的光纤布线系统还能够继续使用。
 
基于铜缆和背板的传输方式因为不在综合布线的范畴内,所以本文不做详细介绍。基本上也都采取多路并行的传输方式。另外CRKR的传输距离非常近,只有在最核心的部分才会采用。
 
也许有人会问到基于双绞线的10GBase-T将来会如何再发展呢?很遗憾,目前IEEE还没有公布相关的研究,不过像PAM256这样的编码应该会出现在下一代网络中。主要的困难在于双绞线的传输速率已经达到一个相当高的水平,再提高就很难了。
 
我们知道香农公式可以用来描述给定带宽和信噪比的极限速率。
C为速率,W为带宽,S/N为信噪比,假设我们要在4对双绞线上运行40Gbps的双工传输(10Gbps每线对),传输带宽1Ghz。从公式可以推算出,S/N1023。也就是说要在4对双绞线上传输40Gbps,信噪比至少要达到30.1dB,相比10GBase-T18.8dB极限信噪比,提高了近12dB。这样的要求只有采用双屏蔽的 7A 类系统才能达到。而且功耗会相当高。
 
考虑到目前IEEE至少要2年以后才会开始基于双绞线的下一代以太网,而一个标准从开始研究到成熟至少需要4-5年,从标准成熟到网卡设备成熟又需要4-5年。所以目前采用 6A 类系统的水平布线,可以说已经完全能够满足现在和将来相当长一段时间内的需求,基本上在数据中心内的整个生命周期里都不会有升级的需求。
 
 
成本问题
 
在考虑使用哪种网络的时候,成本始终都是一个重要的因素。那么 40G 100G 以太网的成本如何呢?是否会上升到无法接受的地步呢?一般情况一个完成的光链路,可以大致分为3个部分:交换机端口,收发器,光纤。即两端的各一组交换机端口+各一组收发器+光纤链路。经过Intel 等公司的研究, 40G 以太网的费用情况大致如下:
下一代数据中心的Ethernet(40G/100G)与基础布线_第6张图片
如果把2009年的 10G -SR系统的费用设为1,初期 40G -SR的费用在3.5/3.6(OM3/OM4),基于单模光纤的 40G -LR将是7.1, 将来随着32nm芯片技术的成熟, 40G -SR系统的费用将降低到1.8左右。
 
100G 以太网的费用情况如下:
下一代数据中心的Ethernet(40G/100G)与基础布线_第7张图片
初期基于多模的 100G 系统的费用在8.4以上,基于单模的还没有一个比较明确的预估,不过估计至少在多模 100G 的基础上增加8倍。到2015年,估计基于多模的 100G 能够降低一半的费用。
 
布线系统对下一代网络的准备
现在电信已经开始普及光纤到楼甚至光纤到户。比如到2012年,上海电信的城市光网计划将使300万用户达到 100M 的带宽,用户对流量的要求会比当前大大增加。到时随着IEEE802.3ba标准的成熟,以及设备成本的降低, 40G / 100G 以太网将会很快得到应用。布线系统的寿命一般都高于网络设备,所以在系统升级的时候需要尽可能的减少布线系统的改动,能够大大减少升级的时间,节约费用。通过上面的介绍,我们建议在数据中心内,超长链路部分仍然采用单模光纤,在中短距离的核心链路上,采用高密度MPO-MPO预连接OM3/OM4 光缆的解决方案。并且预留部分光纤为升级备用。水平布线采用Cat6,甚至Cat 6A 类系统。这样既能满足现在的需求,又能为将来升级预留空间,同时不会带来明显的整体成本的增加。
 
文:罗森伯格亚太电子有限公司产品经理 周炜
 
参考文献
[1] Schelto VanDoorn  40GbE Host Controller Economics, 2007
[2] Paul KolesarThe Case for Extended Reach MM Objectives, 2008
[3] Paul KolesarThe Case for Extended Reach MM Objectives, 2008
[4]  “40/100 Gb/s Ethernet Over Multi-mode Optical Fiber, 2009