对数据中心综合布线的一些思考

大连海关    周兆冬

 

1  现机房的经验教训

    大连海关现在使用的主机房于1995年开始建设，1997年投入使用。机房位于大楼的六层，面积有近900平米。除去办公区和辅助用房，纯机房设备区有300m2，包括放置主机、服务器的主机间，放置网络设备的网络间，放置UPS、配电柜、精密空调的配电间。
    机房设计采用上吊顶、下送风、下走线方式。当时建设了一个样板工程的机房，曾有包括国家级领导人在内的各级领导、同行近百人次参观、访问。
    但在十几年的运行中也发现存在很多问题，主要有以下几点：
    （1）当时建设时主要是近十台小型机、很少量的立式服务器。现在是以机架式高性能服务器为主，有近20个机柜，100多台服务器。UPS负载逐渐不够，于2003年由2台30KFA的更换为2台60KFA，但现在单台负载也已接近50%。
    （2）设备的大量增加，使精密空调制冷无法满足需要，原2台40KW的精密空调，于2006年更换为3台35KW的精密空调，并且将2台空调直接安放在主机间。但现在夏季机房温度仍高过标准。
    （3）机房综合布线采用下走线方式，虽布设了走线槽，但随着设备的增加，很多线已无法由线槽容纳，而且强、弱电都是下走线，走线混乱。并由于线缆过多，对空调下送风的效果影响愈发明显。
    （4）由于建筑设计原因，吊顶上有水管走设，地板下高度只有20cm，并且由于强、弱电都是下走线，使制冷效果大打折扣。
    （5）由于当年综合布线设计的前瞻性不够，造成现在机架背面线缆密密麻麻没有秩序，地板下的线缆一片狼藉，给管理、散热等都带来问题。
    做为多年管理机房的负责人，由于办公楼搬迁，我又做为新大楼机房的建设负责人，希望尽力吸取已有的经验、教训，利用这些年来在机房建设、管理上出现的新理念、新技术，建设一个满意的机房。

2  准备建设的新机房情况
    随着大连口岸经济的发展，为更好服务于企业，服务于地方经济。大连海关办公楼准备采用置换方式由市区搬迁到大连开发区。新办公楼由地方政府提供，是一个未完工的星级酒店，主体建筑完成后一直停工多年，大楼所有装修由大连海关负责。
    原大楼是10年前所建，层高29层，设计为酒店，未考虑建设机房。经过研究，现已确定大楼的6楼做为大连海关中心机房。机房总面积是900m2，是一个标准的正方形，楼房中间电梯、消防楼梯、通道等占去300m2左右。层高不理想，净高3.1m，梁下高度为2.55m。楼板需要按机房标准加固。
    新机房准备2008年年底开始进行建设，2009年年底搬迁。

3  对新机房建设的设想
    虽然提供的场地不是很理想，但做为一个多年进行机房管理的技术人员，接受了新机房建设的任务后，仍然有决心建设一个满意的机房。
    数据中心的发展趋势：在完成了物理资源大集中、数据大集中和应用大集中后，又面临着绿色节能的新要求。
    新机房建设的目标：建设一个高效、节能、简捷、安全、稳定、绿色环保、具有高可管理性、高可靠性、高经济性、高可扩展性、高可用性的符合现在及将来要求的高标准的具有长远效益的新一代的数据中心。
    新的数据中心需要具有高集中、高密度、高带宽、高速率的7×24小时不间断运作的特点，同时又要具有很强的可扩展性。
    首先要建设一个绿色数据中心，也就是这个数据中心的IT系统、机械、照明、电气和综合布线系统等能取得最大化的能源效率和最小化的环境影响。
    同时又要保证数据中心的灵活性，既能满足现在的需求，适度超前，又不浪费，对将来的需求有良好的扩展性。
    还要考虑今后的管理维护成本，从机房的整个生命周期来考量，建设成本其实只是总成本的10%～20%，更多的成本是花在将来的维护和电费等费用上。
    新的数据中心从功能上可划分为五部分：
    （1）机房装修：包括主机房、办公区、系统监控中心、动力等四个分区的环境工程。
    （2）空调：专用空调系统、新风系统等。
    （3）消防：气体消防、消防报警等。
    （4）弱电系统：机房综合布线、机房环境监控、KVM等。
    （5）电气系统：UPS、柴油发电机、防雷、配电、接地等。
    对机柜的需求：主机房内拟放置60台机柜，包括强电列头柜、弱电列头柜、服务器及存储机柜，网络通信机柜。
    对UPS的设想：使用模块化UPS，UPS柜、配电柜做为强电列头柜。使UPS的冗余从N+1转变为N+X。
    对空调的设想：办公区使用大楼中央空调，设备区整体使用机房精密空调，高密区使用机柜式行间空调。尽量抬高地板高度，使通风顺畅。
    走线方式：受层高限制，采用开放式上走线方式，强弱电线缆分离，同时取消机房吊顶。
    就本文的主题，下面主要就新机房的综合布线提出自己的一些想法。

4  新机房综合布线
    对数据中心综合布线系统的理解：实际上就是利用综合布线技术在数据中心这样一个应用环境进行一个有效的系统集成。

    4.1  目标
    与十年前不同，这些年音频、视频、邮件等非结构化数据大量涌现，要求新的数据中心有着特别大的吞吐量和很宽的带宽。
    这样，一方面，要保持技术的领先性，另一方面，要充分考虑到将来的可管理性、安全性、灵活性、经济性。
    （1）可管理性：综合布线未来的高可管理性和易维护性非常重要，希望采用智能化的电子配线系统，能自动、实时地记录每一个连接的变化。同时，每一个变化都能在电脑上自动更新，能以电子邮件或者短消息的形式通知相关管理人员，以提高网络设备的利用率，提高网络维护的效率，变网络设备的静态管理为动态管理。
    大连海关的网络划分较多，主要有以下所列，业务运行网：运行核心通关管理系统；业务管理网：运行办公自动化系统、数据分析类非实时系统；政务信息网：保密网络（需要建设屏蔽机房，并进行屏蔽布线）；电子口岸网：海关的对外接入局域网；对外联网：与省、市地方政府，公安系统，港口分别联网进行数据交换；互联网。以上各网络都是相互独立，并物理隔离的。
    希望各网络能采用色彩化、模块化、标签化管理，跳线、模块的颜色种类能满足需求，以方便管理、维护。
    （2）安全性：设想采用集成的和机柜融合的接地解决方案，以避免雷击事故；选择高阻燃等级的线缆，以提高防火等级。
    （3）灵活性：为方便管理、维护，整体设计上拟采用结构化的星形网络拓扑结构。
    （4）经济性：结合铜缆和光纤，以最经济的方式满足今天的需求并支持今后的高带宽应用。

    4.2  设计理念
    在整个数据中心的设施里，综合布线系统的生命周期最长，一般在10年以上，甚至等同于建筑的生命。要承受未来10年之后的网络流量与越来越复杂的网络管理，这需要基于正确的设计理念来完成。
    （1）要采用基于标准的开放系统：综合布线系统首先要依据标准，严格按照规范进行设计；要选择好的品牌，根据品牌知名度、大项目成功案例等选择如西蒙、安普、康普、康宁等主流布线企业。充分实现增加和改动的灵活性和可扩展性。
    （2）充分考虑冗余性：综合考虑将来所需求的高性能和高带宽，充分预留扩展空间；考虑线路的冗余，采用模块化、可扩展的方式，使布线系统美观、合理、实用。
    （3）采用支持10G万兆或更高速率的技术：数据中心发展趋势是数据越来越集中，要求数据处理的速度更快，以前是千兆，现在是万兆。展望将来的发展，要考虑到10G技术。要确保在相当的一段时间内，无需更换或升级布线系统。
    （4）要考虑支持新型存储设备：现在已从以服务器为中心发展到以存储为中心，要考虑对存储设备的有效支持。
    （5）安全性：考虑采用CMP防火等级线缆。
    （6）采用交叉连接的管理：交叉连接所具有的管理便利性与可靠性是互连方式所无法比拟的。使用交叉连接方式，可以将与交换机和服务器连接的线缆固定不动，视为永久连接。当需要进行移动、添加和更换时，只需变更跳线盘之间的跳线。这样，在日常维护时将尽量避开接触敏感的设备端口。
    （7）避免外来串扰对数据中心布线的影响：既要注意美观的布线，同时又要防止背后隐藏的外来串扰的威胁。线缆敷设时，避免过紧捆扎、超量的通道填充容量和避免过于弯曲。采用6A类以上的布线系统、万兆屏蔽布线系统以及完善的接地系统等。
    （8）尽量节约空间，实现数据中心高密度布线管理：规划设计时尽量做到以最小的空间实现最大的应用，通过高密度配线架等设备的使用以节约空间。
    （9）冷热通道要充分体现：在设计以及施工环节要注意布线系统不能成为冷热通道的障碍。
    （10）充分体现环保节能：采用良好的设计和施工延长布线系统生命周期。通过产品设计降低原料的消耗。
    （12）数据主干网的选择：拟采用万兆多模或单模光缆。

    4.3  设备选型
    （1）配线架的选择：拟选择模块化的配线架以灵活配置端接数量，既减少端口浪费又便于日后的维护变更。拟使用高密度配线架，提高机柜的使用密度，以节省空间。
    （2）跳线的选择：用颜色来区分不同网络的跳线；跳线性能指标应满足相应标准的要求；拟采用高密度的铜缆和光纤跳线，以提高高密度环境的插拔准确性和安全性。
    （3）线缆的选择：选择标准要具有长久的使用寿命，尽量减少占用空间，具有更好的传输容量，具有安全阻燃性，提供多种颜色区分；拟选择的传输介质：6A类双绞线、多模光缆、单模光缆。
    （4）机柜的选择：选择开放式的机架，来安装配线设备；选择封闭式的机柜，来安装网络设备、服务器和存储设备等；统一采用标准的19″的机架和机柜。预留足够的布线空间、线缆管理器、电源插座和电源线以确保充足的气流。
    （5）线缆管理器的选择：灵活使用水平线缆管理器和垂直线缆管理器实现对机柜或机架内空间的整合，提升线缆管理效率，避免跳线管理的杂乱无章。
    （6）预连接系统：采用包括配线架、模块插盒和经过预端接的铜缆和光缆组件在内的预连接系统。以快捷地连接系统部件，实现铜缆和光缆的即插即用，减少变动的风险，节省空间，使管理和操作具有方便性、灵活性。
    由于新机房还未开始设计、施工，以上所述是本人的经验总结和一些学习、研究的心得，难免有不成熟、不准确的地方，还需要在下一步设计、实施时完善、细化。也希望得到相关专家、厂商的帮助、指点。同时，还有一些拿捏不太准的问题，在此一并提出，希望得到大家的指教。

5  有待探讨的问题
    （1）根据现有条件，基本确定采用上走线，下送风的方式。但对于强电是采用与弱电同时上走线，还是弱电上走线、强电下走线。哪种方式更合理一些？
    （2）布线所涉及的基本都是无源的产品，那么从布线角度上，如何实现数据中心的绿色环保节能？
    （3）在最先进的技术和最成熟的技术、在先进性和稳定性之间，对技术和产品的把握，如何平衡、拿捏？
    （4）根据这些年带宽增长的情况，以太网技术经历了从10M到100M再到1000M，发展到现在的10Gbps（万兆）以及40Gbps，现在的数据中心布线带宽怎样确定？怎样做到既具备一定的先进性，同时又节约实用？
    （5）对于封闭式机柜和开放式机架，在美观和散热通畅之间的选择？
    （6）可实现智能管理的电子配线的价格是普通的配线系统的三到四倍，在一次性现时投入和日后的方便管理之间如何平衡？