下一代数据中心的Ethernet(40G/100G)与基础布线

一，数据中心与下一代以太网

 

自从2002年IEEE802.3ae 标准正式出台以后，以太网络的速度得到了极大的发展，比如阿姆斯特丹和东京互联网核心交换节点的流量已经突破600Gbps，尽管 10G bps的传输速率已经极大的发挥了普通多模光纤和双绞线的潜力。但是随着网络应用的发展，特别是现在网络视频，手机智能化等多种业务快速发展的今天，10GBase已经体现出局限性。2009年11月中旬，Intel开始发售10GBase-T网卡。可以预见，随着IEEE802.3az标准的成熟以及芯片技术的提高，10GBase-T的功耗会进一步降低。将来PC服务器甚至是普通电脑都会采用10Gbps以太网络。

 

所以在2006年 10G Base-T 标准出台后，IEEE根据网络发展的趋势，于当年6月就成立了HSSG（Higher Speed study Group）研究小组。并于2007年12月批准了PAR（Project Authorization Request）发展下一代网络 40G / 100G 以太网标准。按照计划下一代标准IEEE 802.3ba 将于2010年6月份出台。 40G 与 100G 目前看来，将来的应用主要集中在数据中，当服务器大范围采用10GBase-T的时候，核心交换的速度必须随之有一个大幅的提升。同时数据中心中的FCOE，iSCSI等技术使得SAN/LAN网络融合成为趋势，这也对以太网络的速率提出了更高的要求。而且现在以太网还面临像Infiniband这样最高可以支持 120G 传输的技术的竞争压力，所以新标准的出台已经迫在眉睫。

 

当前在核心交换机市场，已经有相当多的交换机厂商宣布他们的交换机背板已经支持 100G 的标准，Juniper等厂商已经开始推广 100G 以太网的接口板；在终端市场， 40G 以太网的网卡也已经开始发售，如Mellanox 于2009年9月推出ConnectX-2 EN 40G PCIe网卡，支持IEEE Draft P802.3ba/D2.0 40GBASE-CR4, -SR等协议。与Mellanox垄断infiniband芯片不同，IEEE 802.3ba芯片的竞争会更激烈，将来产品的价格优势会很明显。

 

40G 和 100G 以太网到底是什么，简单的说就是将以太网的速率提高到40Gbps/ 100G bps。 其中会牵涉到MAC参数，物理层，和管理部分的变化。本文主要介绍802.3ba 的物理基础部分，因为目前标准仍然处在草案（D3.0）阶段，没有最后定稿，所以本文介绍的可能会与将来出台的标准有细微的差别。但是基础的物理链路已经不会有大的变化，所以我们现在新建数据中心时，为了考虑将来的升级问题，就有必要对下一代网络有一个的大致的了解。

 

二， 40G / 100G 与布线系统

 

通常来讲我们要提高传输速率大致有几条途径：1）更高效率的编码方式；2）更大的传输带宽；3）多路传输（复用）。

在万兆时代，OM3 与Cat 6A 的应用大大增加了传输的带宽，再加上芯片技术的提高和DSP处理能力的增强使得编码能够更有效率，最终使万兆以太网能够得以推广。但是到了万兆之后，首先介质的传输带宽增加不明显，OM4对OM3和Cat 7A 对Cat 6A 都只增加了2倍多的带宽，如果要达到 100G 的传输速率，就必须在其他方面取得突破。 但是靠提高编码效率的方式来提高带宽面临两大瓶颈：1) 编码效率的提高多是利用电磁波传输，光传输的编码效率很难大幅提高。2）编码效率的提高直接导致处理成本的增加，要求更昂贵的设备。还有一些其他的因素如时间的紧迫性，防止技术的垄断性等多方面的要求，导致了目前主要的研究方向在并行与复用系统。采用该方案最大的好处就是可以直接借鉴过去的标准，减少新元器件的开发和研制，加速新标准的推出，降低系统的成本。就像现在多核CPU大行其道一样。

 

目前 40G / 100G 以太网的标准主要有以下几个：

注：E: Extra long Reach; L: long Reach; S: Short Reach; C：Assembly Cable; K: Backplane; R: 64B/66B coding

根据上表中的实现方式，可以分成3个部分，单模光纤，多模光纤和铜缆/背板。先来看一下单模的传输方式。单模光纤理论上带宽是无限的，标准研究初期讨论过有两种基于SMF的实现方法，1）串行 2）WDM波分复用。如果采用串行 40G 方式，成本大约是WDM的6倍，同时功耗也大大高于WDM，而且部分新元器件需要重新开发，这会极大的影响到标准的按时发布和市场的推广，而WDM已经是成熟技术，所以经过委员会的激烈讨论和投票，WDM以微弱优势胜出（领先2票）。所以目前基于单模光纤的 40G / 100G 采用WDM的波分复用方式实现，4* 10G 或者4* 25G 。

 

 

无论是现在的波分复用方式还是将来可能会出现的串行方式，都仍然是在1对单模光纤内传输双工系统，对布线系统没有特殊的要求，所以目前的单模光纤已经能够满足将来的需求。

 

上面提到的OM4 光纤目前的EMB为4700Mhz·KM，虽然多模光纤的EMB可以最高做到9000 Mhz·KM以上，但是仍然不能满足串行 40G 和 100G 的要求。而且器件成本也太高，所以基于多模光纤的 40G / 100G 则基本上采取的都是并行系统，就是在多根光纤上部署并行收发器。为了考虑兼容现有的连接类型，采用单个连接器12芯光纤的MPO/MTP是最好的选择。在开始讨论的时候曾经有过2* 20G 和4* 25G 的方案，基于和串行 40G SMF相同的原因，这个方案最终被放弃了。目前IEEE基本确定采用4*10和10*10的方案， 40G 为单个MPO连接器上4根收，4根发； 100G 采用2个MPO连接器，1个收，1个发。

 

100G 的传输

 

40G 的传输

 

多模光纤和单模光纤不同，对带宽是有限制的。在上一代10GBase-SR标准中OM1与OM2 光纤都是可以采用的，只是OM1 光纤只能支持 33 米 的距离。到了新一代标准中只有OM3 和 OM4两种类型的光纤可以采用，可支持的传输距离分别为 100 米 和 125 米 。设定这个距离主要出于两个方面的考虑：1）根据统计表明，数据中心内的骨干光纤链路88%小于 100 米 ，94%小于 125 米 ，100%小于 300 米 ， 100 米 已经基本够用。2）成本和实现难度较小，方案比较稳妥，因为并行传输对传输的衰减等指标要求很高。但是目前关于距离这部分的争议仍然很大，有多家研究机构提出，采用一些方法可以让OM3支持 150 米 以上，OM4支持 250 米 以上的距离，也许将来的标准在这方面会有变化。

 

所以如果现在要新建一个数据中心，要考虑升级到下一代网络，最好的选择就是采用OM3 或OM4光缆，配合MPO/MTP连接器加预连接的解决方案，这样至少在升级网络的时候，原有的光纤布线系统还能够继续使用。

 

基于铜缆和背板的传输方式因为不在综合布线的范畴内，所以本文不做详细介绍。基本上也都采取多路并行的传输方式。另外CR与KR的传输距离非常近，只有在最核心的部分才会采用。

 

也许有人会问到基于双绞线的10GBase-T将来会如何再发展呢？很遗憾，目前IEEE还没有公布相关的研究，不过像PAM256这样的编码应该会出现在下一代网络中。主要的困难在于双绞线的传输速率已经达到一个相当高的水平，再提高就很难了。

 

我们知道香农公式可以用来描述给定带宽和信噪比的极限速率。

C为速率，W为带宽，S/N为信噪比，假设我们要在4对双绞线上运行40Gbps的双工传输（10Gbps每线对），传输带宽1Ghz。从公式可以推算出，S/N为1023。也就是说要在4对双绞线上传输40Gbps,信噪比至少要达到30.1dB，相比10GBase-T的18.8dB极限信噪比，提高了近12dB。这样的要求只有采用双屏蔽的 7A 类系统才能达到。而且功耗会相当高。

 

考虑到目前IEEE至少要2年以后才会开始基于双绞线的下一代以太网，而一个标准从开始研究到成熟至少需要4-5年，从标准成熟到网卡设备成熟又需要4-5年。所以目前采用 6A 类系统的水平布线，可以说已经完全能够满足现在和将来相当长一段时间内的需求，基本上在数据中心内的整个生命周期里都不会有升级的需求。

 

 

三 成本问题

 

在考虑使用哪种网络的时候，成本始终都是一个重要的因素。那么 40G 与 100G 以太网的成本如何呢？是否会上升到无法接受的地步呢？一般情况一个完成的光链路，可以大致分为3个部分：交换机端口，收发器，光纤。即两端的各一组交换机端口+各一组收发器+光纤链路。经过Intel 等公司的研究， 40G 以太网的费用情况大致如下：

如果把2009年的 10G -SR系统的费用设为1，初期 40G -SR的费用在3.5/3.6(OM3/OM4),基于单模光纤的 40G -LR将是7.1, 将来随着32nm芯片技术的成熟， 40G -SR系统的费用将降低到1.8左右。

 

100G 以太网的费用情况如下：

初期基于多模的 100G 系统的费用在8.4以上，基于单模的还没有一个比较明确的预估，不过估计至少在多模 100G 的基础上增加8倍。到2015年，估计基于多模的 100G 能够降低一半的费用。

 

四 布线系统对下一代网络的准备

现在电信已经开始普及光纤到楼甚至光纤到户。比如到2012年，上海电信的城市光网计划将使300万用户达到 100M 的带宽，用户对流量的要求会比当前大大增加。到时随着IEEE802.3ba标准的成熟，以及设备成本的降低， 40G / 100G 以太网将会很快得到应用。布线系统的寿命一般都高于网络设备，所以在系统升级的时候需要尽可能的减少布线系统的改动，能够大大减少升级的时间，节约费用。通过上面的介绍，我们建议在数据中心内，超长链路部分仍然采用单模光纤，在中短距离的核心链路上，采用高密度MPO-MPO预连接OM3/OM4 光缆的解决方案。并且预留部分光纤为升级备用。水平布线采用Cat6，甚至Cat 6A 类系统。这样既能满足现在的需求，又能为将来升级预留空间，同时不会带来明显的整体成本的增加。

 

文：罗森伯格亚太电子有限公司产品经理 周炜

 

参考文献

[1] Schelto VanDoorn  “40GbE Host Controller Economics＂, 2007

[2] Paul Kolesar “The Case for Extended Reach MM Objectives＂, 2008

[3] Paul Kolesar “The Case for Extended Reach MM Objectives＂, 2008

[4]  “40/100 Gb/s Ethernet Over Multi-mode Optical Fiber＂, 2009