为什么要搞800G 112Gb/S（I）, Terabit Ethernet – Why? (Part1)

为什么要做800GbE等TbE级高速率端口？Terabit Ethernet – Why? 

在第一部分中，我们将探讨推动太比特以太网发展的商业因素。

在第二部分，我们将探讨新的太比特以太网解决方案的技术驱动因素。

目录

摘要

TbE太比特级以太网的多种不同驱动力

从互联网视频角度理解太比特以太网需求

视频流正在影响网络架构

视频流正在影响数据中心的架构

视频流对Facebook的影响​

TbE太比特以太网电源的挑战

了解数据中心架构和交换机设计中的权衡因素

功率-速度平衡与太比特以太网

太比特以太网的技术挑战和测试要求

Xena的太比特以太网测试之路

---

摘要

在过去的十年中，随着行业从100GE加速到400GE，以太网的速率翻了两番。现在，仅仅几年之后，800GE的时代已经来临--但即使这样也可能不够，因此，1.6TE及以上的计划已经在进行中。
越来越清楚的是，"每比特成本 "不再是决定以太网速度成功的唯一因素。功耗也是一个主要因素，特别是对数据中心运营商而言。速度和功耗之间的权衡意味着有不同的潜在路径来实现太比特
以太网的不同潜在路径，取决于网络架构和预算。
由于有多种选择，T比特以太网将需要新一代的测试解决方案，具有更广泛的功能。更广泛的能力。除了测试以太网协议外，还需要测试解决方案能够可以测试第一层性能和交换机、线卡和收发器的互操作性。
Xena目前针对400GE和800GE的以太网流量生成和分析（TGA）解决方案系列 旨在为网络设备供应商、服务提供商和数据中心运营商提供所需的广泛的灵活性，以便开发出更多的产品。和数据中心运营商开发下一代高速（800GE和1.6TbE）以太网设备和服务所需的广泛灵活性。 设备和服务。

TbE太比特级以太网的多种不同驱动力

以太网作为一种技术，一直是由对速度的需求所驱动。随着互联网及其支持的以太网和IP协议的采用 随着互联网及其支持的以太网和IP协议的增长，对带宽和更高速度连接的需求也在增长。更高速度的连接。这种需求仍在增长，并继续成为新的高速以太网规格的主要驱动力。更高速度的以太网规格。
然而，随着我们超越100GE，越来越明显的是，速度本身已不再是 决定因素。功耗越来越成为一个重要的考虑因素，特别是对于业界面临的挑战是找到一种方法，以低的每比特成本和低的每比特功耗来提供太比特级以太网。题为 "IEEE 802.3™行业连接以太网带宽评估第二部分 "1，简称BWA II，它是2012年的一项后续工作，为后来的400GE标准提供了基础。后来成为400GE标准的基础。 BWA II全面概述了影响对更多带宽和更高速以太网连接需求的所有因素。带宽和更高速度的以太网连接的所有影响因素。它并不是要求制定一个太比特级的以太网规范。
但它确实为未来的太比特以太网标准提供了商业案例基础。 BWA II预测，对带宽的需求将继续增长，尽管速度比过去要慢一些。 增长。然而，真正令人惊讶的是，该报告的结论是，目前对数据的估计 消耗量甚至会超过1.6TE标准所能解决的问题

如上图，看来，800GE在任何时候都不能满足目前的需求估计，而1.6TE也不能满足。这些曲线是一种估计，但人们可以清楚地看到，对太比特以太网甚至多太比特以太网速度有健康的需求。
从研究这个图表中可以得出的一个结论是，工业界应该尽可能快地转向多太比特以太网速度，800GE的中间步骤是多余的。然而，这将是一个错误。
数据消耗是显示总体需求的一种观点，但如何设计网络和设备以符合成本效益的方式满足这一需求则是另一回事。此外，日益增长的对电力能源效率的关注增加了一个额外的复杂性，而400G、800G和1.6T等以太网速度都将起到一定的作用。

从互联网视频角度理解太比特以太网需求

为了理解对太比特以太网的需求，让我们仔细看看其中一个主要的数据消费者。 即互联网视频。
虽然互联网视频在图1中是单独显示的，但它对内容交付网络（CDN）、移动消费（如图所示）以及其他一些领域都有连锁反应。网络（CDN）、移动消费（因为这是首选的观看设备）和数据中心的冲击。容量。因此，视频正在对网络和数据中心的架构产生重大影响，这些影响包括
可以影响到太比特以太网将采取的路径。

 

 

预计互联网直播视频在互联网视频中的份额将从2017年的5%跃升至2022年的17%。2022年，这也是延迟和抖动变得更加重要的部分原因。互联网视频的整体 互联网视频的整体增长已经影响了通信网络和数据中心架构的设计。 我们可以预计，视频也将影响到太比特以太网的路径。
途径。值得考虑的是，互联网视频对通信网络和数据中心架构的影响 和数据中心架构的影响。

视频流正在影响网络架构

第一个影响是，更多的数据正在向网络边缘的消费者靠近。 使用内容缓存减少从消费者到供应商的距离，使其更容易 尽量减少延迟和抖动的影响。如图2所示，CDN流量的增长与互联网视频的增长是一致的。
互联网视频的增长，因为更多的视频被缓存在离消费者更近的地方。这导致越来越多的 小的数据中心被部署在网络的边缘。
边缘的缓存减少了回程带宽的需求，但增加了城域网的连接需求，因为更多的视频在城域网中传输。但由于更多的流量停留在本地，增加了城域网的连接要求。BWA II指出，"服务提供商网络的城域网容量的增长速度超过了核心网络。服务提供商网络的城域容量增长速度比核心容量快，到2022年将占到服务提供商网络总容量的三分之一。到2022年将占服务提供商网络总容量的三分之一"。架构的这种变化意味着我们需要重新思考太比特以太网可能被用于何处。传统上，人们希望高速以太网被用于核心网络的回程链接。但随着更多的流量留在本地，我们可以看到800GE和1.6TE的连接在城域网和接入网中都有。城域网和接入网的连接。 

视频流正在影响数据中心的架构

视频流量增加的第二个影响是对数据中心更多带宽的需求。 虽然在靠近消费者的CDN中的缓存减轻了对超大规模数据中心的压力，但只有最流行和最常用的内容在边缘缓存。只有最流行和最常用的内容在边缘进行缓存。所有其他内容仍然需要 都需要从超大规模的数据中心提供。流媒体视频不仅仅是带宽需求，它也是 存储需求，特别是当我们转向更高清晰度的格式，如4K和8K高清时。

从图4可以看出，标清（SD）视频不是数据增长的主要驱动力。 然而，高清（HD）的份额--预计只增长13%（从2017年的46%到2022年的57%）--将导致每月消耗的数据量增长5倍。2017年的46%增长到2022年的57%）--将导致每月消费的数据量增长5倍!

这一增长的原因是，典型的标清视频流需要2 Mbps，而高清流需要5至7.2 Mbps，UHD视频需要15至18 Mbps。存储需求也相应扩大，因此高清需要2到3倍的内存，而UHD则需要多达9倍的内存。从数据中心的角度来看，这意味着数据中心内服务器之间交换的数据增加，因为视频文件被存储和从文件存储中检索。存储。 为了了解这种影响，看看自2013年引入视频广告和帖子以来，Facebook数据中心架构和互连网络的演变。

视频流对Facebook的影响

 

TbE太比特以太网电源的挑战

Facebook的例子显示了视频对超大规模数据中心架构和设计选择的影响。这些设计选择的一个后果是对高速以太网连接的密集网的依赖。这些设计选择的一个结果是对密集的高速以太网连接的依赖，这推动了对太比特以太网连接的需求，特别是在结构和主干（或叶子和主干，其他人可能指这种设计）。严重影响功率预算。在最近的一次EPIC活动中，微软Azure公司的首席工程师Mark Filer概述了以下问题 他们在支持400GE连接的以太网交换机方面面临的问题3。这些交换机预计将 这些交换机的功耗是支持100GE连接的交换机的3倍，而400GE光学器件的功耗是 而400GE光学器件预计将消耗相当于100GE光学器件的3到4倍的功率。

从上图中Mark Filer演讲的幻灯片中可以看出，随着速度的提高，功耗也会影响到数据中心设施的功率包络。基本上，网络是做生意的成本，因为服务器产生收入。联网用电是可以用在产生收入的服务器上的电力! 因此，减少电力消耗是企业的当务之急。

然而，这不仅仅是一个收入问题。它是一个更简单的考虑，即是否可以 是否有可能向一个基于1.6TE连接的全网的数据中心提供足够的电力。如果交换机和光学器件的功率消耗以同样的速度增长，那么向800G和1.6TE的转移将需要加倍的功率。1.6TE将需要比400GE的预计电力需求分别增加一倍和四倍。分别增加一倍和四倍。这可能意味着1.6TE在目前的设施中要消耗高达50%的数据中心电力。一个答案是简单地建造更大的设施并提供更多的电力，但在某些时候这变得不切实际。 许多人现在认为目前的道路是不可持续的，需要新一代的太比特以太网需要新一代的太比特以太网解决方案，它不仅可以提供更好的每一个传输位的成本，而且还可以提供更好的每一个传输位的功耗。 每个传输位的耗电量。

了解数据中心架构和交换机设计中的权衡因素

在探索我们如何以一种有意识的方式有效地提高以太网速度之前，重要的是要考虑数据中心架构和交换机设计中固有的权衡。
重要的是要考虑数据中心架构和交换机设计中固有的权衡问题。这一点思科研究员Rakesh Chopra最近在以太网联盟TEF 21会议上的主题演讲中，非常优雅地抓住了这一点。他在以太网联盟TEF 21活动上的主题演讲中，就很好地体现了这一点

正如Chopra在图6中指出的那样，电源效率得到了改善--交换机的带宽增加了80倍，而功耗 "只 "增加了22倍。的带宽增加了80倍，而功耗在过去十年中 "只 "增加了22倍。在过去十年中，功耗 "只 "增加了22倍。但Chopra接着说，这还不够："我认为，现在功率已经 我认为，在我看来，现在功率已经上升到了我们这个行业需要解决的根本问题。

每当交换机上的端口数量（或弧度）增加一倍，链路速度就需要降低一半，以满足相同的交换机容量预算。削减一半，以满足相同的总体交换机容量预算。交换机只能提供固定数量的 的带宽，需要由所有端口共享。因此，通过增加弧度来扩大规模是省电的，但从链路的角度来看是低效的。效益，但从链路利用率的角度来看是低效的，因为它限制了可以传送到特定端口的数据量。输送到一个特定端口的数据量。
同样，通过增加一个额外的网络层来扩大规模会增加成本和总功耗。消耗。例如，5层网络的每台服务器的网络功率是2层网络的3倍。2层网络。 Chopra在考虑数据中心的架构如何能在更高容量的交换机配置下发展时，显示了这些权衡的影响 更高容量的交换机配置时，这些权衡的影响。

从上图中可以看出，将交换机的弧度增加到x32、x64和x128可以提高功率效率，但会降低链路速度。效率，但降低了链接速度。这意味着，当试图实现更好的电源效率时，将需要基于112G和224G SerDes的800GE连接。试图在数据中心实现更好的能源效率时，需要基于112G和224G串行解串器的800GE连接。 

功率-速度平衡与太比特以太网

图7中的分析提供了一个有趣的以太网速度要求的反面看法 与图1中BWA II报告中早期的数据消耗研究相比，提供了有趣的以太网速度要求反观。它表明 当试图满足每比特价格和每比特功率的目标时，800GE可以提供一个有用的选择。 关键是要了解数据中心架构和交换机设计中的权衡，以及它们是如何影响成本和功耗的。影响成本和功耗情况。

 这意味着，随着服务提供商和数据中心运营商试图在速度和功率效率之间取得平衡，将有不止一条通往太比特以太网的道路。数据中心运营商试图确定速度和功率效率之间的正确平衡。在 400 GbE、800 GbE和1.6 TbE的不同解决方案的可用性将是为网络架构师提供选择的关键。网络架构师提供选择的关键。
但在这些不同的速度中，在长度方面将有进一步的选择。调制方案、平行通道的数量和外形尺寸方面有更多选择。这将使太比特以太网 更加复杂，但它也将为网络架构师和产品开发人员提供更多选择 为特定的网络和数据中心应用创建通往太比特以太网的正确路径。 这也将对网络架构师和设备制造商产生影响，他们希望 评估与不同设计选择相关的成本和权衡，因为他们开发他们的 Terabit以太网解决方案。

太比特以太网的技术挑战和测试要求

超越100GE需要新的方法和技术，现在在开发和测试太比特以太网时必须考虑这些方法和技术。在开发和测试太比特以太网时，必须考虑新的方法和技术。这包括新的调制方案，甚至新的
这包括新的调制方案，甚至是新的光学方法，导致了各种各样的潜在的太比特以太网选择。
100GE被认为是基于非归零（NRZ）调制方案的单线解决方案的终结者。 (NRZ)调制方案，导致采用4级相位振幅调制(PAM-4) 作为提高有效比特率的一种手段。使用NRZ，只有两个比特可以表示，因为NRZ是
基于两个电压电平，分别代表 "1 "和 "0"。另一方面，PAM-4使用4个 电压电平，因此可以在每个电平上表示两个比特，如图8所示。现在，将每个时钟周期发送的位数增加一倍 现在，每个时钟周期发送的比特数量增加一倍，导致有效的比特数量增加一倍数据量发送。

当这个选项与通道LANE的速度（25Gbps或50Gbps）和使用的平行通道LANE的数量相结合时当这种选择与通道的速度（25Gbps或50Gbps）和所使用的平行通道的数量相结合时，就会出现几条通往400G、800G和1.6T的不同路径。
从产品开发和设计的角度来看，面临的挑战是如何实现和测试PAM-4，以确保低比特率。测试PAM-4，确保低误码率（BER），因为现在的信噪比（SNR）已经降低。 这对于实现良好的性能非常重要，同时也能确保与其他系统的互操作性，这也是向太比特以太网速度发展时的一个主要挑战。这种对调制方案的新关注意味着太比特以太网测试不能只关注第二层，还需要考虑第一层的问题。当我们考虑到使用Co-Pack的新方法时，这就变得更加重要了考虑到使用共封装光学器件（CPO）的新方法，其中光学和电气元件被封装在一起，以实现更好的每比特成本和每比特功耗。因此，太比特以太网测试将需要一个更广泛的视野，包括第1层和第2层，但也需要很大的灵活性，以适应各种波特率、调制方案和并行化的组合，并以各种形式因素，如QSFP-DD和OSPF交付。因此，灵活性将成为未来太比特以太网测试设备的一个关键标准。

Xena的太比特以太网测试之路

测试和测量解决方案需要站在技术的最前沿，以帮助先行者开发 新产品--在这个例子中，太比特交换机、线卡和收发器解决方案。 XENA的以太网测试解决方案设计得非常灵活，为工程师提供了所有可用的选择，包括 在速度、调制方案和外形尺寸方面为工程师提供所有可用的选择。
Xena的400GE测试模块（P/N Thor-400G-7S-1P）就是一个很好的例子。Thor可以测试七种不同的 以太网网络速度。400GE、200GE、100GE、50GE、40GE、25GE和10GE，此外它还支持 50G PAM4 PHY和传统的25G NRZ调制方案。

该解决方案提供了对PAM4接口的自动协商和前/后FEC统计的互操作性测试的支持。统计的PAM4接口。它还为预加重、传输衰减和后加重信号完整性分析提供了均衡控制。它还为预加重、传输衰减和后加重信号完整性分析提供均衡控制，以及自动调整接收器均衡器/CTLE的选项。接收器均衡器/CTLE。(更多信息见：Thor 400G 7速测试模块）。)
Xena还发布了Freya 800GE测试模块，它提供了同样的灵活性和功能，包括支持QSFP和CFC。它提供了同样的灵活性和功能，包括支持QSFP-DD和OSPF收发器的形式因素，以及支持
800G直接连接电缆（DAC）。Freya以112Gbps的SerDes为基础，将成为通往 Xena的下一代太比特以太网流量生成和分析解决方案的基石。
Thor和Freya模块都为测试第一层和第二层提供了全面的解决方案。这将被证明是网络设备供应商、服务提供商和数据中心运营商在功能、鉴定和互操作方面必不可少的。运营商在其功能、鉴定和互操作性测试工作中至关重要。