下一代数据中心的Ethernet(40G/100G)与基础布线

一，数据中心与下一代以太网

 

自从 2002 年 IEEE802.3ae 标准正式出台以后，以太网络的速度得到了极大的发展，比如阿姆斯特丹和东京互联网核心交换节点的流量已经突破 600Gbps ，尽管 10G bps 的传输速率已经极大的发挥了普通多模光纤和双绞线的潜力。但是随着网络应用的发展，特别是现在网络视频，手机智能化等多种业务快速发展的今天， 10GBase 已经体现出局限性。 2009 年 11 月中旬， Intel 开始发售 10GBase-T 网卡。可以预见，随着 IEEE802.3az 标准的成熟以及芯片技术的提高， 10GBase-T 的功耗会进一步降低。将来 PC 服务器甚至是普通电脑都会采用 10Gbps 以太网络。

 

所以在 2006 年 10G Base-T 标准出台后， IEEE 根据网络发展的趋势，于当年 6 月就成立了 HSSG （ Higher Speed study Group ）研究小组。并于 2007 年 12 月批准了 PAR （ Project Authorization Request ）发展下一代网络 40G / 100G 以太网标准。按照计划下一代标准 IEEE 802.3ba 将于 2010 年 6 月份出台。 40G 与 100G 目前看来，将来的应用主要集中在数据中，当服务器大范围采用 10GBase-T 的时候，核心交换的速度必须随之有一个大幅的提升。同时数据中心中的 FCOE ， iSCSI 等技术使得 SAN/LAN 网络融合成为趋势，这也对以太网络的速率提出了更高的要求。而且现在以太网还面临像 Infiniband 这样最高可以支持 120G 传输的技术的竞争压力，所以新标准的出台已经迫在眉睫。

 

当前在核心交换机市场，已经有相当多的交换机厂商宣布他们的交换机背板已经支持 100G 的标准， Juniper 等厂商已经开始推广 100G 以太网的接口板；在终端市场， 40G 以太网的网卡也已经开始发售，如 Mellanox 于 2009 年 9 月推出 ConnectX-2 EN 40G PCIe 网卡，支持 IEEE Draft P802.3ba/D2.0 40GBASE-CR4, -SR 等协议。与 Mellanox 垄断 infiniband 芯片不同， IEEE 802.3ba 芯片的竞争会更激烈，将来产品的价格优势会很明显。

 

40G 和 100G 以太网到底是什么，简单的说就是将以太网的速率提高到 40Gbps/ 100G bps 。 其中会牵涉到 MAC 参数，物理层，和管理部分的变化。本文主要介绍 802.3ba 的物理基础部分，因为目前标准仍然处在草案（ D3.0 ）阶段，没有最后定稿，所以本文介绍的可能会与将来出台的标准有细微的差别。但是基础的物理链路已经不会有大的变化，所以我们现在新建数据中心时，为了考虑将来的升级问题，就有必要对下一代网络有一个的大致的了解。

 

二， 40G / 100G 与布线系统

 

通常来讲我们要提高传输速率大致有几条途径： 1 ）更高效率的编码方式； 2 ）更大的传输带宽； 3 ）多路传输（复用）。

在万兆时代， OM3 与 Cat 6A 的应用大大增加了传输的带宽，再加上芯片技术的提高和 DSP 处理能力的增强使得编码能够更有效率，最终使万兆以太网能够得以推广。但是到了万兆之后，首先介质的传输带宽增加不明显， OM4 对 OM3 和 Cat 7A 对 Cat 6A 都只增加了 2 倍多的带宽，如果要达到 100G 的传输速率，就必须在其他方面取得突破。 但是靠提高编码效率的方式来提高带宽面临两大瓶颈： 1) 编码效率的提高多是利用电磁波传输，光传输的编码效率很难大幅提高。 2 ）编码效率的提高直接导致处理成本的增加，要求更昂贵的设备。还有一些其他的因素如时间的紧迫性，防止技术的垄断性等多方面的要求，导致了目前主要的研究方向在并行与复用系统。采用该方案最大的好处就是可以直接借鉴过去的标准，减少新元器件的开发和研制，加速新标准的推出，降低系统的成本。就像现在多核 CPU 大行其道一样。

 

目前 40G / 100G 以太网的标准主要有以下几个：

注： E: Extra long Reach; L: long Reach; S: Short Reach; C ： Assembly Cable; K: Backplane; R: 64B/66B coding

根据上表中的实现方式，可以分成 3 个部分，单模光纤，多模光纤和铜缆 / 背板。先来看一下单模的传输方式。单模光纤理论上带宽是无限的，标准研究初期讨论过有两种基于 SMF 的实现方法， 1 ）串行 2 ） WDM 波分复用。如果采用串行 40G 方式，成本大约是 WDM 的 6 倍，同时功耗也大大高于 WDM ，而且部分新元器件需要重新开发，这会极大的影响到标准的按时发布和市场的推广，而 WDM 已经是成熟技术，所以经过委员会的激烈讨论和投票， WDM 以微弱优势胜出（领先 2 票）。所以目前基于单模光纤的 40G / 100G 采用 WDM 的波分复用方式实现， 4* 10G 或者 4* 25G 。

 

 

无论是现在的波分复用方式还是将来可能会出现的串行方式，都仍然是在 1 对单模光纤内传输双工系统，对布线系统没有特殊的要求，所以目前的单模光纤已经能够满足将来的需求。

 

上面提到的 OM4 光纤目前的 EMB 为 4700M hz ・KM ，虽然多模光纤的 EMB 可以最高做到 9000 Mh z ・KM 以上，但是仍然不能满足串行 40G 和 100G 的要求。而且器件成本也太高，所以基于多模光纤的 40G / 100G 则基本上采取的都是并行系统，就是在多根光纤上部署并行收发器。为了考虑兼容现有的连接类型，采用单个连接器 12 芯光纤的 MPO/MTP 是最好的选择。在开始讨论的时候曾经有过 2* 20G 和 4* 25G 的方案，基于和串行 40G SMF 相同的原因，这个方案最终被放弃了。目前 IEEE 基本确定采用 4*10 和 10*10 的方案， 40G 为单个 MPO 连接器上 4 根收， 4 根发； 100G 采用 2 个 MPO 连接器， 1 个收， 1 个发。

 

100G 的传输

 

40G 的传输

 

多模光纤和单模光纤不同，对带宽是有限制的。在上一代 10GBase-SR 标准中 OM1 与 OM2 光纤都是可以采用的，只是 OM1 光纤只能支持 33 米 的距离。到了新一代标准中只有 OM3 和 OM4 两种类型的光纤可以采用，可支持的传输距离分别为 100 米 和 125 米 。设定这个距离主要出于两个方面的考虑： 1 ）根据统计表明，数据中心内的骨干光纤链路 88% 小于 100 米 ， 94% 小于 125 米 ， 100% 小于 300 米 ， 100 米 已经基本够用。 2 ）成本和实现难度较小，方案比较稳妥，因为并行传输对传输的衰减等指标要求很高。但是目前关于距离这部分的争议仍然很大，有多家研究机构提出，采用一些方法可以让 OM3 支持 150 米 以上， OM4 支持 250 米 以上的距离，也许将来的标准在这方面会有变化。

 

所以如果现在要新建一个数据中心，要考虑升级到下一代网络，最好的选择就是采用 OM3 或 OM4 光缆，配合 MPO/MTP 连接器加预连接的解决方案，这样至少在升级网络的时候，原有的光纤布线系统还能够继续使用。

 

基于铜缆和背板的传输方式因为不在综合布线的范畴内，所以本文不做详细介绍。基本上也都采取多路并行的传输方式。另外 CR 与 KR 的传输距离非常近，只有在最核心的部分才会采用。

 

也许有人会问到基于双绞线的 10GBase-T 将来会如何再发展呢？很遗憾，目前 IEEE 还没有公布相关的研究，不过像 PAM256 这样的编码应该会出现在下一代网络中。主要的困难在于双绞线的传输速率已经达到一个相当高的水平，再提高就很难了。

 

我们知道香农公式可以用来描述给定带宽和信噪比的极限速率。

C 为速率， W 为带宽， S/N 为信噪比，假设我们要在 4 对双绞线上运行 40Gbps 的双工传输（ 10Gbps 每线对），传输带宽 1Ghz 。从公式可以推算出， S/N 为 1023 。也就是说要在 4 对双绞线上传输 40Gbps, 信噪比至少要达到 30.1dB ，相比 10GBase-T 的 18.8dB 极限信噪比，提高了近 12dB 。这样的要求只有采用双屏蔽的 7A 类系统才能达到。而且功耗会相当高。

 

考虑到目前 IEEE 至少要 2 年以后才会开始基于双绞线的下一代以太网，而一个标准从开始研究到成熟至少需要 4-5 年，从标准成熟到网卡设备成熟又需要 4-5 年。所以目前采用 6A 类系统的水平布线，可以说已经完全能够满足现在和将来相当长一段时间内的需求，基本上在数据中心内的整个生命周期里都不会有升级的需求。

 

 

三 成本问题

 

在考虑使用哪种网络的时候，成本始终都是一个重要的因素。那么 40G 与 100G 以太网的成本如何呢？是否会上升到无法接受的地步呢？一般情况一个完成的光链路，可以大致分为 3 个部分：交换机端口，收发器，光纤。即两端的各一组交换机端口 + 各一组收发器 + 光纤链路。经过 Intel 等公司的研究， 40G 以太网的费用情况大致如下：

如果把 2009 年的 10G -SR 系统的费用设为 1 ，初期 40G -SR 的费用在 3.5/3.6(OM3/OM4), 基于单模光纤的 40G -LR 将是 7.1, 将来随着 32nm 芯片技术的成熟， 40G -SR 系统的费用将降低到 1.8 左右。

 

100G 以太网的费用情况如下：

初期基于多模的 100G 系统的费用在 8.4 以上，基于单模的还没有一个比较明确的预估，不过估计至少在多模 100G 的基础上增加 8 倍。到 2015 年，估计基于多模的 100G 能够降低一半的费用。

 

四 布线系统对下一代网络的准备

现在电信已经开始普及光纤到楼甚至光纤到户。比如到 2012 年，上海电信的城市光网计划将使 300 万用户达到 100M 的带宽，用户对流量的要求会比当前大大增加。到时随着 IEEE802.3ba 标准的成熟，以及设备成本的降低， 40G / 100G 以太网将会很快得到应用。布线系统的寿命一般都高于网络设备，所以在系统升级的时候需要尽可能的减少布线系统的改动，能够大大减少升级的时间，节约费用。通过上面的介绍，我们建议在数据中心内，超长链路部分仍然采用单模光纤，在中短距离的核心链路上，采用高密度 MPO-MPO 预连接 OM3/OM4 光缆的解决方案。并且预留部分光纤为升级备用。水平布线采用 Cat6 ，甚至 Cat 6A 类系统。这样既能满足现在的需求，又能为将来升级预留空间，同时不会带来明显的整体成本的增加。

 

文：罗森伯格亚太电子有限公司产品经理 周炜

 

参考文献

[1] Schelto VanDoorn  “ 40GbE Host Controller Economics ＂ , 2007

[2 ] Paul Kolesar “ The Case for Extended Reach MM Objectives ＂ , 2008

[3 ] Paul Kolesar “ The Case for Extended Reach MM Objectives ＂ , 2008

[4 ]  “40/100 Gb/s Ethernet Over Multi-mode Optical Fiber ＂ , 2009