争议ToR――数据中心架构与布线（update）

高密度、虚拟化、云计算等数据中心技术趋势的演进，以及10GBASE-T相关产品的应用，都深刻地影响了机房基础设施的变革，以ToR为代表的新架构设计的出现，更是对数据中心布线系统提出了新的课题。
 
从综合布线系统的角度看，适应ToR等方式的点对点布线，与综合布线国际标准提倡的集中式布线之间存在很大差别，孰优孰劣也引发了新的争议。究竟哪种方式更适合数据中心实际需求及发展趋势？值得从业者关注和思考，更是用户关心的实际问题。

ToR潮流来袭，冲击布线厂商
 
在网络厂商Force 10近期推出的“开放式云网络框架”产品中，特别提到了对ToR架构的支持——“新产品提供更高水平的端口密度、性能以及灵活性……便于数据中心灵活选择核心与柜顶（ToR）层的构建方式……”实际上，在思科（Cisco）、博科（Brocade）和H3C等网络设备厂商的新产品中，你都能看到ToR架构的影子。由于ToR极大地缩减了布线的使用量，这种架构若逐渐成为主流，将给布线厂商带来较大损失。
 
什么是ToR、EoR、MoR？
 
ToR的英文全称为Top of Rank，意指柜顶，与列末EoR（End of Row）及列中MoR（Middle of Row）一样，都是数据中心的一种架构设计方式。
 
传统的机房架构主要以EoR和MoR方式（两者差别主要在于网络机柜的位置不同）为主，采取类似的集中式布线。
 
其中，EoR方式是指服务器机柜中所有的服务器端口，都通过跳线连接到机柜上的配线架，再由配线架上的铜缆延伸到网络机柜（位于一组机柜尾部）中的接入交换机上。
 
MoR方式与EoR方式类似，只是将网络机柜部署在服务器机柜的中部，从而在一定程度上减少了从服务器机柜到网络机柜的线缆距离。
 
ToR方式的出现，为机房架构设计带来了新的变化：该方式将接入交换机放置在每个服务器机柜或单元的顶部，机柜内服务器直接通过短跳线连接到顶部的交换机上，再经由光纤从交换机的上行链路端口连至核心交换机。
 
粗看上去，ToR与EoR/MoR两类方式，只是在接入交换机的位置上发生了变化，但实际上改变了整个机房的网络结构。仅从设备使用上来说，一方面增加了交换机使用数量，另一方面，综合布线系统由从前的集中式布线变为了点对点布线方式，大大缩减了布线使用量。
 
ToR是不可阻挡的潮流吗？
 
在网络设备厂商阵营看来，采用ToR架构设计有诸多好处：降低了网络结构复杂性；更符合数据中心绿色和节能趋势；极大地缩短了铜缆的使用距离，简化了线缆管理；通过增加光纤的使用替代铜缆，减少了网络拥塞，并可支持不同的I/O连接选项，比如10GbE以太网端口和光纤通道；为复制机柜配置提供了便利；可扩展性强，当新增加机柜和业务服务器时，服务器直接连接到ToR即可……
 
更为重要的是，分析ToR的诞生背景会发现，随着用户数据业务需求的猛增，数据中心机房服务器密度越来越高，虚拟化和云计算等新技术趋势日益流行，使得服务器对应的网络端口大大增加，并且增加了管理的复杂性，另外以太网（LAN）与光纤存储区域网络（SAN）的融合也越来越常见，这就必然要求一种新的网络拓扑结构与之相对应。
 
“从时间点上来看，传统的数据中心大多数以EoR为主，而新的数据中心越来越多的采用ToR的方式。”Juniper亚太区数据中心顾问工程师包贵新告诉布线联盟网，在云计算的大潮下，这种分布式架构的业务扩展性极强，要求的服务器数量也越来越多。例如新的Apache Hadoop 0.23支持6000~10000台服务器在一个集群内，海量的服务器数量要求充分利用数据中心机柜空间的同时，海量的业务数据也需要更快更直接的高性能链路把数据传送到网络核心。在这样的趋势下，显然ToR更加适用，在业务迅速扩展的压力下，ToR的方式可以更好的实现网络的更快速扩展。
 
不过，在美国康普公司中国区技术总监吴健看来，ToR在短期内还不会成为趋势。一方面，ToR还没有大面积的普遍应用，对于置顶交换机的稳定性，管理性，还有待观察；另一方面，目前所有国际国内标准仍然建议结构化布线，EoR/MoR仍然是主流。而ToR的长期发展如何，还要取决于网络设备的成本变化，LAN和SAN设备的发展，云技术和虚拟技术的发展。
 
对此，罗森伯格亚太电子有限公司高级产品经理孙慧永认为，ToR形式的产生的背景主要是在PC服务器架构每个机柜的服务器密度越来越高的情况下发展起来的，高密度机柜的设计也是数据中心技术发展的方向之一，ToR在今后的数据中心应用中比率将会有一定比例的增长，但不是完全替代EoR与MoR的方式。根据不同的服务器类型，网络架构以及机房密度等多方面的因素综合考虑选择适合自己的布线方案。

 

ToR未必节省，可能增加成本

在各种宣传资料中，ToR方式得到推广的一个重要理由，是节省了大量的布线成本和制冷成本，简化结构，使得机房更加绿色节能。但深入研究会发现，布线成本减少的代价是网络接入设备成本的增加和端口冗余，并且缩减也只是水平铜缆布线的部分，ToR对于光纤的要求比传统布线方式更多。在初期建设成本之外，后期的管理和扩展问题有可能变得更加复杂。

ToR可能造成端口浪费

一直以来，ToR被诟病最多的就是交换机端口冗余问题。由于供电和散热等限制，若采用ToR方式，也就是在每个机柜顶端配置一个交换机连接本机柜的服务器，就会使得每个交换机有很多的端口是用不上的。

TIA TR-42 通信布线系统工程委员会副主席Valerie Maguire曾介绍过一个真实案例，某用户共有336个服务器机柜，每个机柜配置2台48端口的ToR交换机和40台服务器，这就使得每个交换机有8个端口是空闲的，整个网络就有112整台交换机端口数量都是空闲的。这些超额购买的设备和3年维护的成本总计将达到112万美金。如果考虑机柜受供电能力约束的真实情况，每个机柜能放置的服务器数量远小于40台，则浪费的总额将更高。而若采用集中式布线只需花费 27.5万美金，通过在布线上的投资就能换来极大的交换机等设备的节约。

“若全部48个交换机端口都被使用时，则发生了更大的问题。”美国西蒙公司大中国区技术部经理陈宇通进一步分析说，哪怕再添加一台新的服务器，也需要再购买一台48端口的交换机。即使在空闲状态，这些超额配置的端口也会消耗电能，额外的交换机和端口也增加了更多的维护和保修费用。

另外，随着电子设备的更新扩充，结构化布线系统可能需要添加回到数据中心，以支持未来的设备选择，这样就完全否定了初期点对点的节省效果。而由于在初期对走线通道、机柜空间和信道未作规划，以后再添加结构化布线系统将花费更多。

ToR增加管理难度

尽管ToR看上去简化了接入层的结构，但实际上并未降低管理难度，带来的各种复杂后续问题也并未做过深入探讨。

吴健向布线联盟网表示，尽管ToR的出现，大大减少了布线系统的投资，尤其减少了水平铜缆的部署，但设备成本将大大增加。另外容易被忽视的是，ToR将网络风险从无源设备转移到有源设备，管理风险将增大。

而在包贵新看来，ToR方式中不足之处在于，每个机柜都要光纤到网络核心，布线比较复杂，同时所有ToR的上连光纤都连接到网络核心，对网络核心处的布线压力也会比较突出。如何解决每个机柜到核心机柜的布线复杂性，包括距离等因素；当机柜数量比较多的情况下，如何解决核心机柜的布线复杂性，包括设计合理的快速标识及监控排错的方案；服务器多网卡的情况下，如何部署ToR（服务器的多个网卡连接在一个机柜的多个ToR还是服务器的多块网卡连接到不同机柜的ToR）；如何用最简单的方式快速监测到大量光纤链路的状态，降低运维管理的难度，这些都是需要进一步考虑的问题。

 

ToR不是“狼来了”，合理规划更重要

在实际的数据中心建设中，有很多种架构方式，ToR与EoR/MoR只是比较有代表性的两类架构，各有自身的优势与不足。面对来势汹汹的ToR以及点对点布线方式，用户还需要正确对待，根据实际应用与设备类型的不同来作出选择。

正确认识ToR

实际上，ToR点对点布线与传统的集中式布线是并存和互补的关系，并非取代或演进。

在孙慧永看来，ToR的发展某种程度上加快了数据中心布线光进铜退的步伐。ToR的方式将使得传统数据中心布线中的水平铜缆布线不复存在，大量采用短米数的铜缆跳线来取代，而后续从1000M网络上升到10G网络后，服务器端口与接入层交换设备端口部分将采用光纤进行传输，导致铜产品的应用有一定比例减少，而使主干布线中的光纤数量有较大比例的增加。而在规模较大的数据中心大量采用预端接光缆，对预端接应用今后将会有较明显比例的增长。

包贵新则认为，无论是ToR/EoR还是MoR的设计，体现的不仅仅是接入交换机位置上的不同，关键是要根据用户数据中心承载的业务类型，根据不同用户业务特点，以及不同用户数据中心的特定条件，包括投资和管理成本等进行综合考量后而决定采用哪种方式。当然，在业务数据量不特别大，对扩展性要求也不是特别高的传统用户的数据中心中，EoR的方式仍然会受到很大程度上的青睐。而在采用分布式架构业务为代表的、对扩展性要求很高的用户数据中心，采用ToR将会是一种趋势。

用户理性选择，合理规划

通过以上的分析，ToR与传统集中式布线方式可谓各有千秋。那么，对于用户来说，在具体应用时最应该关注哪些因素，进而在ToR的争议声中作出理性选择呢？

“ToR实际上对机房的规划提出了更高的要求。”以色列RIT公司全国技术经理王为表示，用户须得考虑自己对于数据中心的前期规划是否已经十分前瞻了，尤其是铜缆端口（交换机、配线架等），否则反而会给自己带来不便。

陈宇通也认为，对每一种技术的评估应建立在互操作性、应用效益、未来可扩展性、维护成本和每端口总传输成本的基础上。这种分析应包括跳线、交换机端口和服务器或存储设备的网络接口卡的成本。而新的国际标准则建议在数据中心中安装6A类/EA级布线来支持10GBASE-T。通过采用支持10GBASE-T的集中式布线设计，可以避免端口超配及昂贵的移动，增加和变化。

在吴健看来，用户在采用某种设计方法时，应该考虑以下几个方面：初期投资，及日常维护成本；设备接口的发展变化；LAN和SAN是否需要融合；线缆的管理；日常MAC维护的方便性；对ToR交换机管理。

孙慧永的建议是，对于机柜密度不高的应用场合，或采用小型机与共享存储的数据中心应用，可能传统的集中式布线方式更加适合。对于采用机架式服务器高密度部署的方式或刀片式服务器类型的应用，采用ToR的方式可能更加便利。具体应用要根据实际业务应用要求，设备情况，网络架构，后期管理等综合分析再决定哪种布线方式更适合自已的需要。

这还是要基于几种方式的具体特点：如EoR的方式，将接入层交换机集中安装在HDA区域，有利于提高交换机的端口利用率，从这方面看，将会使数据中心设备平均端口能耗降低，反而更符合绿色节能的趋势，同时管理也比较便利。但EoR的方式水平电缆的均长可能相对更长一些，服务器机柜上方的线缆将朝HDA同一个方向汇集，相对桥架压力较大。而采用MoR的方式同样也具有提高交换机的端口种用率的优点，但由于HDA设在中间，相对管理有所不便。而ToR的方式将HDA的接入交换设备分散到了每个服务器机柜，每台机柜的服务器端口数量通常不会与交换机端口相符合，会造成网络设备端口资源的部分浪费，但相对布线来说结构更为简单，水平永久链路将不再需要，取而代之的是铜缆跳线直接解决，光纤主干数量会有适当的增加。

结语

在综合布线工作组（CTEAM）权威发布的《2010年中国综合布线市场发展报告》中，可以很容易地看到数据中心对布线市场、技术、产品的全面影响，以及光进铜退的长期趋势。毫无疑问，在此过程中，传统的布线方式也必将受到挑战，也只有不断发展，才能推动布线行业整体向前。但具体到某一种架构设计或布线方式，用户还是要擦亮眼睛，不要简单停留在厂商宣传和一面之词上，还要根据自身实际情况，多方参考对比，深入研究细节，最终规划出适合自己的最优解决方案。针对这一问题，布线联盟网还将继续跟踪，敬请关注。

 

 

 

更多精彩内容，请见布线工作组官网：http://www.cablingteam.com/2011/0922/1035.html