数据中心的布线设计

泰科电子（上海）有限公司

 

    数据中心中的分布式设计
    在典型的分布式交换架构设计中，每个服务器机柜通过铜缆或光纤布线连接。对于铜缆布线，数据中心内的大多数机柜通过 6A 类/EA 级 10G Base-T 铜缆布线连接。每个机柜的 6A 类/ EA 级铜缆的数目根据客户的要求确定。
    这些布线链路通常通过下图所示的主用和备用路由安装，并连回到主配线架（MDF）。

到主配线架的服务器布线

     对于光纤布线，数据中心内的大多数机柜通过光纤布线连接。每个机柜的光缆数目以及每个机柜的 6A类/EA级铜缆的数目按客户的要求确定。这些布线采用和铜缆布线相同的方式通过主用和备用路由安装，如图所示。
     除了铜缆和光纤布线，还需要为核心网络交换机和 SAN 系统产生辅助布线。要考虑的其它区域如下：
     • 运营商与外部服务区
     • 主网路设备区
     • 高密度区
     • SAN 核心和存储区
1.1 网络设备链接
     在典型的分布式交换架构设计中，在位于相邻通道的网络设备机柜和铜缆主配线架之间安装成排的铜缆网络设备链接。这些链接跨越主配线架的多个架，在主配线架端有接线板，在网络设备机柜端有 RJ45 插头。另外，在接线板之间有少量铜缆网络设备链接。采用这种设计在主配线架处提供中心交叉连接。
     交叉连接是一种典型的功能设计元素，其目的是实现集中跨接区域。

     • 交叉连接设计建议
     • 集中跨接位置
     • 增强安全性：布线技术人员和 IT 人员之间的物理隔离
     • 不需要改装当前工作的设备
1.2 分布式设计的优点
     如果对将来所需的每个柜位置的服务器和存储设备的铜缆和光纤端口的数目进行正确的准备，典型的分布式交换架构设计在提供最高水平的交换机和端口利用率方面是最经济高效的设计。典型的分布式交换架构设计还是最独立于服务器的设计，能够提供支持各种服务器的最高灵活性。仅仅在每个机柜处准备大量铜缆和光缆是不够的。结构化布线代表数据中心设计的静态部分，因为在初期安装之后通常不再改变结构化布线。
     典型的分布式交换架构设计的主要缺点是需要准备连回到主配线架的各种铜缆和光纤布线。由于每个服务器是在物理上连接来实现交换机冗余，这种布线会导致相当高的成本，并增加运营复杂性，对数据中心的运营保证可能产生破坏作用。
     泰科电子  建议，基于分布式交换架构设计提供的高可用性和可靠性，应采用这种设计，并在随后补偿安装附加布线和设备布线的额外高成本和可能的影响。
1.3 提供点（POD）设计架构 

模块化 POD 单元

     提供点（POD）是协作提供服务或应用的一组处理、存储、网络和应用组件。POD 是可重复的构造单元，其组件必须整合，以便最大限度地提高数据中心空间的模块化、可伸缩性和易管理性。
     由于产生可变规模的数据中心空间和满足业务与应用需求的要求，采用模块化 POD 设计的数据中心不断增加，模块化 POD 是一组整备机架，可优化供电、冷却和布线技术效能。POD 设计可根据需求缩放，并能够方便地重复。
     可在每机架 30 千瓦范围内按每机架 4kW 的增量上下调节基本供电和冷却参数。这是一个关键特性，因为它允许一个 pod 包含来自于另一个 pod 的不同密度的设备，并允许单个 pod 支持可变密度的机架。典型的 POD 数据中心设计如上图所示。
1.4 支持（POD）模块化的合并输入/输出 
     ToR 交换架构提供端口密度和输入/输出合并能力，从而显著减少每个 POD 单元内支持机柜服务器连接和应用要求所需的线缆和交换机数目。
     上一节的图中示出了 POD 数据中心设计的情况：一个 POD 由 3 个机柜单元构成，中间机柜容纳 ToR（机架顶部）交换硬件，并为 POD 中的全部三个机柜提供本地接入层连接。万兆以太网光纤主干提供到网络的聚合层和核心层（通常在 ZD 或 MD 区中）的高速连接。POD 内的每个服务器配有合并型网络接口卡（CNA），该接口卡通过万兆以太网（6A 类）网络链路承载服务器的局域网和 SAN 流量。每个服务器的一个 CNA 与中间机柜中的交换机连接。
     对于 POD 中的布线，可通过服务器和机架顶部交换机之间的低成本、低延迟和功耗 10G Base-T 铜缆布线支持单元内的输入/输出连接。每个服务器的架内线缆的数目可减少两条以上（这是由于 6A 类线缆的原因吗？），这样还减少了适配器和收发机的数目以及其功耗和给数据中心的冷却基础设施造成的负载。
     由于接入在机柜内或服务器机柜组内的 POD 级上实现，仅需要少量光纤连接来延伸到聚合层。这种设计有助于减少交换机的总数，节省宝贵的数据中心机架空间，同时节省基建成本和运营成本。

1.5 架顶（TOR）交换架构
     统一输入/输出网络结构能够通过把以太网和光纤通道流量整合到单条万兆以太网链路上来显著简化机柜级的联网。机柜级的输入/输出合并有助于利用架顶 (ToR ) 交换架构的接入能力减少所需的适配器、收发器和上行链路端口的数目。ToR 交换架构的关键设计特点是在机柜级部署接入层交换机，因此机柜级的布线基础结构设计必须能够支持万兆以太网交换输入/输出技术。

具有用于一个单元的中心交换机的 POD 单元

     在定义了 ToR 交换架构之后，下一步是理解支持该网络配置的布线技术。采用 ToR 配置，必须理解每种计算机资源所需的网络连接的数目和密度。制约 ToR 连接数目的基本规则是，需要 48 条链路以上的任何服务器部署都要求在每个机柜中有附加的接入层交换机，以支持较高的链路容量。这是由于接入层交换机通常是 48 口交换机。例如，如果在一个 45RU 机柜中部署三十（30）个 1RU 服务器，每个服务器需要三条铜缆连接和两条光纤连接，则每个机柜需要附加的接入层交换机。
1.6  符合 ISO/IEC 26764 和 TIA-942 标准的布线设计

     推荐的两个设计方案（分布式和 POD）都符合 ISO/IEC 24764 和 TIA-942 的要求，全部产品应符合这些标准的性能要求。所选的结构化布线设计应符合在 ISO/IEC 24764和 TIA-942 数据中心电信基础结构标准中公布的结构化布线基础结构的最低建议。这些已公布标准的设计建议可保证使现有布线设施的灵活性达到最佳的设计，从而满足现在和将来的联网要求。除了电缆线路设备和连接器数目外，选择的设计还应反映其它考虑因素，包括易用性、可伸缩性、成本、以及进行移动、添加和变更（MAC）的能力。
     两个标准都提供多层星形拓扑数据中心结构化布线基础结构的指导。多层星形拓扑的最高功能元件是主配线器（MD）/主配线区（MDA，包含主交叉连接 MC）.这是数据中心结构化布线系统的中央配线点。MD/MDA（主配线区）被视为符合标准的数据中心基础结构的核心。
     需要连接来支持 HDA（水平配线区）。数据中心设计方案应遵循 TIA-942 建议并利用 EDA（设备配线区）和 ZDA（区域配线区），反映全部必要的功能元件。
     在位于相邻通道的网络设备机柜和铜缆主配线架之间安装的成排铜缆网络设备链接提供 HAD 功能元件，这些链接跨越主配线架的多个架，在主配线架端有接线板，在网络设备机柜端有 RJ45 插头。另外，在接线板之间有少量铜缆网络设备链接。
     安装到服务器机柜的现有光纤和铜缆布线（或者，在第 2 个方案中，安装到 3 个机柜 POD 单元）代表在 TIA-942 标准中详细说明的水平布线元件，它从主配线架内的水平交叉连接到每个设备配线区（EDA）以星形拓扑安装。在两个设计方案中，EDA 都由服务器机柜代表（或者，在方案 2 中，由 3 个机柜 POD 单元代表）。水平交叉连接的存在不是强制性的。
     TIA-942 的设计建议可保证设计能够使现有布线设施的灵活性最佳化，从而满足现在和将来的联网要求。除了电缆线路和连接器的数目外，选择的设计还应反映易用性、可伸缩性、成本、以及移动、添加和变更（MAC）的能力。
     数据中心布线系统的可用寿命预计可跨越数代网络电子设备，尤其是对于服务器和存储设备等，这些设备的添加或更换比以太网或光纤通道交换机和核心路由器等联网设备要频繁得多。因此，选择的数据中心基础设施必须能够为 HAD 和 EDA 之间的网络架构提供最佳的连接设计。TIA942 数据中心指南特别指出，水平和主干布线的设计应适应将来的发展，以避免重新考虑这些区域。
     TIA-942 还指出，除厂家专门要求外，设备不应直接连接到布线基础设施。这与提供开放布线系统架构的设计建议的其它标准文档（例如 ISO/IEC 11801: 2002、ANSI/TIA/EIA 568-B）的要求一致。这保证设计符合从网络设备机柜到数据中心主配线架安装的网络设备线束链接的使用要求。
     在 TIA-942 中规定的全部铜缆通道都基于 100 米和 4 个连接器形式的最坏条件。ISO/IEC 24764（草案）、TIA-942、ISO/IEC 11801 和电子设备厂家的建议中推荐通道的固定水平部分至少应为 15 米（50 英尺）。
     虽然在通道的其它部分中可能支持某些较短的长度，但是在区域配线和合并点对此最小距离有要求。然而，通过专利型电缆和连接设计，泰科电子克服关于这些最小长度的标准限制。