东数西算 | 超算平台 | 冷板式液冷
深度学习 | 数据中心 | 高性能计算
在“双碳”目标和“东数西算”工程的推动下,液冷、深度学习、高性能计算、多样化计算等技术前景广阔。数据中心、超算平台基础设施可按照不同的冷却方法进行划分风冷数据中心基础设施和液冷数据中心基础设施。数据中心散热技术领域不断创新。目前,液冷技术以其稳定性高、散热效率高等优势逐渐显现出优势。在“碳达峰”和“碳中和”目标的背景下,液冷技术的市场需求十分广阔。据赛迪顾问预计,到2025年中国液冷数据中心基础设施市场规模有望达到245.3亿元。液冷数据中心基础设施又可分为冷板式液冷数据中心基础设施和浸没式液冷式数据中心基础设施冷却数据中心基础设施。
东数西算布局的整体规划
东数西算有迹可循,“东数西算”工程可以认为是5G新基建工程的衍生。在国家层面,2019年3月的政府工作报告中引入“新基建”概念,明确提出加强新一代信息基础设施建设。在“新基建”的引领下,2020年“东数西算”的概念初具雏形。近年来,“东数西算”词频不断提升,“建设全国算力网络国家枢纽节点等核心内容”也密集地出现在国家发改委、工信部、中央网信办、能源局印发的文件中。2021年5月,国家发改委等四部门联合发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》,标志着“东数西算”工程正式启动。
一、建设八大枢纽十大集群
“东数西算”在京津冀、长三角、粤港澳、成渝、内蒙古、贵州、甘肃、宁夏建设8个算力枢纽。在八个算力枢纽中,东数西算工程共规划10个国家数据中心集群,依托八个枢纽十个集群,有利于集中政策和资源,更好地引导数据中心集约化、规模化、绿色化发展。每个集群是一片物理连续的行政区域,具体承载算力枢纽内的大型、超大型数据中心建设。
二、八大枢纽推动全国数据中心适度集聚、集约发展
现有八大枢纽节点分为两类,一类是以京津冀为代表的东部地区,用户量大,应用需求强,原则上不超过2个数据中心集群被建造。重点协调城市内外区域数据中心布局,实现大规模算力部署和土地、用能、水、电等资源的协调可持续,优化数据中心攻击结构,拓展算力增长空间,满足重大区域发展战略的需要;另一种以贵州、内蒙为代表的西部地区可再生能源资源丰富,绿色数据中心发展潜力巨大着力提升服务质量和利用效率,充分发挥资源优势,夯实网络等基础保障,积极承接全国范围需后台加工、离线分析、储存备份非实时算力需求,打造面向全国的非实时性算力保障基地。
三、十大集群旨在保障底层资源,优化计算效率
在八个算力枢纽内,东数西算工程在全国规划共计10个数据中心集群。每个集群都是一片物理连续的行政区域,具体承载算力枢纽内的大型、超大型数据中心建设。两类集群对数据中心PUE要求都比较严格,同时对机架层面的要求也很高,体现了政策调控供给集约化的绿色发展导向,避免资源浪费。
四、各区域要求体现差异化定位,承托数字经济发展
各地紧抓“东数西算”的战略机遇,结合市场需求和自身区域特点,实施各项创新举措。在东部地区,“北上广”聚焦算力,加强统筹规划、智能调度和多元化供给;在西部地区,充分发挥资源优势,夯实网络等基础保障。
1、内蒙古呼和浩特
培育以大数据、云计算为特色的电子信息技术产业集群,实施高性能计算机算力翻番计划,先后建成4个超级计算机应用平台,实现全国最高性能运算总能力和规模位居全国前列。
2、宁夏中卫
积极构建完整的“云生态”,着力打造以东数西移、东数西储、东数西算、信息技术创新应用发展和区域数字经济发展为重点的西部云基地,积极开展东方算力服务,建设国家“东数西算”示范基地。
3、甘肃省
充分利用本地能源和算力资源,定向承接上海、深圳等地的算力需求,在西北建设一批人工智能数据中心和人工智能数据治理基地,构建算力精准对接机制和算力资源共享通道。
4、成渝地区
定位国家超算中心,建设成渝综合科学中心(兴隆湖)和西部科学城(成都),强化天府新区创新源头功能。
5、北京市
将加强算力算法平台等新型基础设施建设,打造高水平自动驾驶全场景运营等20个重大应用场景,打造数字经济标杆城市。
6、上海市
以提供普惠算力资源、支撑国产算法框架、建设算法孵化平台、创新数据应用模式为目标,试点打造全国首个人工智能公共算力服务平台。
7、贵州省
实施数字产业重大突破,打造数据产业“五区”,包括承接“贵州-粤港澳”、“贵州-长三角”两线算力需求的“引领区”;推动数据资源汇聚、流通交易,打造数据供应链,培育超大规模数据要素市场“先行区”;建设决策大脑、行业大脑、城市大脑“示范区”。推广安全产品和防范机制,建设大数据中心集群多副本中心和“备份区”的战略安全基地;连接成渝及湾区,建设西部数据中心走廊,打造连接西部陆海通道中心的“核心区”。
8、广东省
建设先进算力集群,统筹全省算力网络建设布局。
整体来看,近几年东部地区的投资节奏将会快于西部,数据中心的投资节奏将会快于云网投资。项目整体过程中看中强化东西部算力枢纽,集群内部和集群之间的统筹联动,推动节点之间的算力网协同布局。
东数西算带来的产业机遇
一、东数西算产业链分析
“东数西算”项目打通多条产业链,带来巨大效益。从产业链分类来看,“东数西算”工程设计产业链的上游是数据中心和算网络基础设施提供商,中游包括云计算、数据中心和通信网络运营商,下游为算力服务的使用方。
二、东数西算带动的产业链
1、数据中心产业链充分收益“东数西算”工程
数据中心产业从上至下有望充分受益“东数西算”工程。数据中心是在网络上用于传递、加速、显示、计算和存储数据信息的物理场所,主要用于对数据计算和存储有大量需求的组织。完整的数据中心由IT设备和基础设施组成。数据中心基础设施是支持数据中心正常运行的各种系统的统称,包括制冷、配电、机柜、布线、监控等系统。
2、算力网络产业链为“东数西算”工程提出基础保障
“东数西算”涉及的产业链不仅仅局限于数据中心业务。从算力网络的构成来看,可以拆解为三层:算网基础设施层、编排管理层、服务运营层。算力网络发展需要超大规模的数据中心来保障算力供应,也需要高效的算力优先网络进行算力管理。
3、“东数西算”工程驱动光通信产业链的发展
“东数西算”项目推动了光通信产业链的发展,有效解决了时延问题,提高了数据传输质量。数据互联依赖于光通信,而光通信网络是算力网络的基础。在“东算西算”工程背景下,网络质量是实现算力均衡分配的前提。为了将数据传输到西部地区进行存储,前提是在数据中心之间建立高速网络通道,这将带动西部地区日益增长的网络建设需求。根据光通信器件的各种物理形态,产业链可分为光组件、光芯片、光器件、光模块和光通信设备。光模块在“东数西算”项目中执行信号转换任务,可实现光信号产生、信号调制、检测、光路转换和光电转换等功能。
三、东数西算拉动的行业需求
1、科技、绿色双主线,经济和生态共发展
“东数西算”具有经济和生态双重意义。围绕“科技”和“绿色”两条主线展开。“科技”主线对应数据中心等产业链核心硬件设备国产化替代,“绿色”主线对应绿色降碳,液冷分布式供电、模块化机房、可再生能源等绿色先进的节能减碳技术。
2、科技主线东数西算建设拉动服务器采购需求
服务器约占数据中心硬件成本的70%,是数据中心IT设备的重要组成部分。服务器作为数字经济的算力基础设施,受益于我国数字经济的快速发展,中国服务器出货量整体保持稳定增长。数据显示,中国服务器市场出货量350万台,同比增长9.8%。东数西算规划10个国家数据中心集群,持续建设将刺激服务器采购需求。
为何液冷数据中心如此重要
全球单机柜功率正在上升,在“双碳”政策的支持下,风冷器换液冷器已成大势所趋。2021年11月,国家发改委表示,全国新建大型、超大型数据中心平均PUE降至1.3以下,全国枢纽节点进一步降至1.25以下。随着芯片技术的进步,服务器的计算能力飞速发展,建设高密度、高能耗的大型数据中心成为平衡算力和环保规定的必然选择。制冷系统是数据中心重要的基础设施之一,在高密度数据中心的运行中,传统风冷面临散热不足、能耗严重的问题。液冷技术成为数据中心降低PUE的最优方案,15kW/机柜以上更经济。目前的液冷技术主要分为冷板式和浸入式,其中浸入式液冷可将数据中心PUE降至1.2以下。除了更高的能源利用率,液冷技术在降噪、空间利用率和地理环境等方面也有更好的表现。随着液冷相关技术的日趋成熟,国内外许多公司开始为客户提供定制化的液冷技术解决方案,一些科技公司也逐步建设和部署了自己的液冷数据中心。
在国家工程“东数西算”背景下,预计2025年液冷基础设施规模将达到245亿元,新型算力基础设施绿色建设将逐步提速。根据《2021-2022年度中国数据中心基础设施产品市场总体报告》,2021 年我国单机柜功率在 10kW 以上的数据中心市场规模增速超过 10%,其中 30kW 以上增速达 31%。随着超高密度数据中心的建设节奏加快,传统风冷已无法满足高性价比、低 PUE 的需求,因此液冷技术成为未来建设数据中心的主要路径。据赛迪顾问预测,中国液冷数据中心基础设施市场规模预计由 2019 年的 64.7 亿元增至 2025 年的 245.3 亿元。由于浸没式液冷具备制冷效率更高等特点,预计占比由 2019 年的 18%升至 2025 年的 41%。逐渐增长的数据中心算力将推动高功率单机柜快速普及,预计 2025 年全球数据中心平均功率提升至 25kW。
一、政策背景:国家政策指导全国新建大型、超大型数据中心平均 PUE 降到 1.3 以下、枢纽节点降到 1.25 以下
世界主要国家纷纷承诺到2050年完成碳中和计划,数据中心绿色低碳政策相继出台实施。政府间气候变化委员会于2018年10月8日发布报告,提出将全球变暖限制在1.5℃,需要加快土地、能源和产业转型,在2050年前后实现“净零”排放。切实到各国的数据中心的低碳政策,美国政府采取DCOI数据中心优化倡议整合关闭数据中心、制定数据中心PUE和服务器利用率的具体标准等措施,实现数据中心PUE平均2 .0以上下降到在近一半的大型数据中心下降到 1.5 甚至低于 1.4。新加坡发布的《绿色数据中心技术路线图》提出了冷却设备效率提升、IT设备温湿度容忍度、数据中心资源调度、负载分配和优化能力整合等建议。欧盟通过《2020年欧盟数据中心能效行为准则最佳实践指南》和《欧洲数据中心能效状况白皮书》,对PUE、SUE和DCiE数据中心等绿色指标进一步细化和标准化。
为促进行业规范化和快速发展,工信部等部门相继出台了数据中心指导政策。2021年11月,国家发改委、网信办、工信部、能源局联合印发《贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新型基础设施绿色高质量发展实施方案》指出坚持集约化、绿色化、智能化建设,加快节能低碳技术研发推广,支持技术创新和创新模式。全国新建大型、超大型数据中心平均用电效率降至1.3以下,全国中心节点进一步降至1.25以下,绿色低碳水平达到4A以上。
二、液冷技术在散热效率、适用功率等方面优于风冷
数据中心基础设施是支撑数据中心正常运行的各种系统的总称,包括制冷、配电、机柜、布线、监控等系统,是数据中心的组成部分之一。数据中心是在网络上用于传输、加速、显示、计算和存储数据信息的物理场所,主要用于对数据计算和存储有大量需求的组织。
数据中心基础设施根据冷却方式不同可分为风冷数据中心基础设施和液冷数据中心基础设施。风冷方式起步较早,技术相对成熟;液冷方式是近几年因数据中心散热需求提升而出现的一种新方式,技术尚处于发展阶段。液冷方式分为冷板液冷和浸没式液冷,浸没式液冷方式又可分为相变浸没式液冷和非相变浸没式液冷。
冷板式液冷为间接接触型,浸没式液冷为直接接触型。风冷是一种以空气为冷媒,通过空气与发热部件接触进行热量交换,从而实现散热的冷却方式。液冷是以液体作为冷媒的冷却方式,利用液体将数据中心IT设备内部部件产生的热量传递到设备外部,从而对IT设备进行降温的一种冷却方式。其中,冷板液冷是间接接触型液冷,将冷板固定在散热物体上,液体在冷板内流动传递设备的热量,实现散热。浸没式液冷是直接接触式液冷的一种,将服务器等有散热要求的IT设备完全浸没在冷却液中,通过液体的循环或相变进行冷却。
蓝海大脑液冷服务器系统突破传统风冷散热模式,采用风冷和液冷混合散热模式——服务器内主要热源 CPU 利用液冷冷板进行冷却,其余热源仍采用风冷方式进行冷却。通过这种混合制冷方式,可大幅提升服务器散热效率,同时,降低主要热源 CPU 散热所耗电能,并增强服务器可靠性。经检测,采用液冷服务器配套基础设施解决方案的数据中心年均 PUE 值可降低至 1.2 以下。
浸入式液冷可将数据中心PUE降至1.2以下,优于风冷和冷板式液冷。与不同的冷却方式相比,浸没式液冷冷却液和发热设备充分接触,散热效率更高,可将数据中心的PUE降至1.2以下,运行更稳定。同时,由于没有风扇,噪音更低,符合国家发改委对数据中心建设的政策指导目标,是未来数据中心基础设施建设的发展方向。
两相浸没式液冷的能耗低于单相浸没式液冷。数据中心浸没式液冷技术的能耗主要是由水泵和室外冷却设备驱动液体循环产生的,根据冷却液热交换过程中是否发生相变,可分为单相浸入液冷却和两相浸入液冷。其中,两相浸没式液冷的循环是被动的,因此两相浸没式液冷的能耗普遍低于单相浸没式液冷。由于浸没式液冷的室外侧通常是高温水,其室外冷却设备往往可以使用自然冷源,不受场地面积的限制,达到节能减排的目的。
三、液冷技术商用条件逐渐成熟,国内外实践案例不断增多
随着液冷相关技术的日趋成熟,国内外许多公司开始为客户提供针对不同散热需求的液冷技术解决方案,部分科技公司也将基于液冷技术的冷却系统应用于企业数据中心。
阿里云作为中国领先的云服务提供商,是最早探索和实践大规模液冷解决方案的科技公司之一。2020年1月,阿里云宣布面向全社会开放“浸没液冷数据中心技术规范”, 2020年9月,仁和数据中心开服,采用服务器全浸没液冷等多项节能技术进行规划设计与建造,PUE低至1.09,相比传统风冷数据中心每年可节电3000万度,该数据中心成为我国首座绿色等级达到 5A 级的液冷数据中心;2021年12月,阿里云发布磐久系列液冷Immersion DC 1000一体机,整体能耗可降低34.6%。
中科曙光面向人工智能、大数据等多种应用场景,推出硅立方液体相变冷却计算机。硅立方液体相变冷却计算机采用创新的浸没液冷技术,PUE低至1.04,节能效果显着。硅立方将包括服务器芯片和主板在内的所有计算部件浸没于液态冷媒中,通过相变热将组件产生的热量传出设备,实现高效散热。同时,单个硅立方机柜的功率密度可达160kW,是传统风冷数据中心的4-5倍,能效比提升30%。
为更好地捕捉局强对流天气,满足3D播放所增加的27倍算力需求,马来西亚气象局数据中心配备了联想冷板式液冷设备。在这个系统中,水被送入服务器的冷板,在组件周围循环,然后从冷板吸收热量并进入冷源进行冷却。据测算,马来西亚气象局实施液冷系统后,散热效果达到90%,大大有助于提高天气预报的准确性。
Facebook 在新加坡的潮湿天气创建了 Facebook 新加坡亚洲数据中心。数据中心采用StatePoint Liquid Cooling液冷系统,利用水来降温,最多可减少20%的用水量。Facebook 还计划使用所有可持续能源为整个数据中心供电。
在浸没式液冷方案的供给端,国内外均有企业在积极布局。例如,总部位于美国的Green Revolution Cooling,主要为数据中心提供单相浸没式液冷解决方案,为高性能计算、边缘数据中心、区块链等场景提供一站式完整的冷却和电力基础设施。
四、液冷数据中心的优势是什么?
1、更高的能源利用率
由于液体具有更高的导热系数和比热容,导热更快,吸热更有效,可以保证CPU在特定范围内超频时不会出现过热故障,有效提高服务器的适用效率和稳定性。
2、空间利用率更高
液冷数据中心节省了空调系统及相关基础设施的建设,无需安装冷热通道关闭设施,也不需要架空地板,节省了大量空间,使其成为更易于管理以单位空间的服务器,提高数据中心的运算效率。因此,液冷技术比传统的冷却方式具有更高的空间利用率。
3、能够实现节能降噪
液冷技术省去了空调基础设施,只增加了循环泵,节省了建设成本。因此,采用液冷技术可以为数据中心实现节能降噪。
4、无视海拔高度和地域差异,余热同时创造经济价值
由于液体的比热容不受海拔高度和气压的影响,可以保持较高的散热效率,从而保证运行高度数据中心的效率和性能。余热可以以液体为载体,通过热交换接入楼宇供暖系统和供水系统,满足当地居民的采暖和供热水需求,为数据中心创造附加价值。
随着芯片技术与工艺的进步,服务器计算能力增长快速,但总体功耗也随之提升。预计到 2025 年,数据中心的 x86 CPU 芯片 TDP 提升至 350W 左右,ARM CPU 芯片的 TDP 提升至 600W 左右,而用于人工智能计算的 NPU/GPU 芯片会提升到 750W 左右。同时期对应的典型服务器 (2U 高度 2 路处理器 )功率也持续演进,x86 CPU 服务器会提升到 725W 左右,ARM CPU 服务器提升至 1000W 左右,用于人工智能计算的 NPU/GPU 服务器会提升到 1500W 左右。基于这些预测,2025 年主流机柜功率预计会达到 12~15kW/柜,未来会继续增加到 25kW-50kW/柜,甚至更高在此背景下,我们认为数据中心散热“革命”势在必行。
五、市场空间:预计 2025 年我国液冷数据中心基础设施市场规模达 245.3 亿元
数据中心是促进 5G、人工智能、云计算等新一代数字技术发展的数据中枢和算力载体,对于我国经济增长与未来发展具有重要推动作用。随着 5G 时代的到来、云计算等技术的发展,数据中心行业将迎来较大机遇。近年来,国内数据中心建设进入高峰期,新建数据中心数量快速增长,功率密度逐年上升。
“双碳”目标既定,液冷技术市场需求广阔。在“碳达峰”、“碳中和”目标背景下,计划到 2025 年,全国新建大型、超大型数据中心平均 PUE 降到 1.3 以下。预计 2025 年中国液冷数据中心基础设施市场规模可达 245.3 亿元。近年来,随着液冷数据中心技术设施商业化进程加快,以及市场需求高涨,液冷数据中心及基础设施市场规模将保持持续增长。据赛迪顾问预测,中国液冷数据中心市场规模将由 2019 年的 260.9 亿元增长至 2025 年的 1283.2 亿元,中国液冷数据中心基础设施市场规模将由 2019 年的 64.7 亿元增长至 2025 年的 245.3 亿元。
六、发展趋势:市场接受度不断提高,预制化、智能化、低碳化为未来发展方向
液冷数据中心基础设施市场接受度不断提高。伴随着液冷数据中心及其基础设施的逐步大规模商业应用,以及液冷技术的优势不断显现和传统观念的改变,液冷数据中心的市场接受度将不断提高,技术设施普及速度加快。
液冷数据中心基础设施技术和性能不断优化。一方面,近几年国家政策支持液冷先进数据中心技术发展,各项文件鼓励企业开展新兴数据中心预制化、液冷等设施层技术开发,另一方面,液冷基础设施将不断向预制化、智能化、低碳化方向发展。
总结
随着“东数西算”政策的出台,建设数据中心成为了当今社会的潮流。数据中心和液冷服务器之间存在着紧密的关系。液冷服务器是一种使用液体冷却技术的服务器,它们通常被用于高性能计算和大数据处理等需要大量计算资源的任务。数据中心是用于存储、处理和管理大量数据的设施,通常由许多服务器组成。
液冷技术可以在减少服务器的能耗和延长硬件寿命方面发挥作用,使得数据中心更加高效和节能。在液冷系统中,通过将液体循环运输到服务器的热点部件上,可以有效地降低服务器的温度。这有助于减少机器故障和降低能源成本。此外,液冷服务器的紧凑设计可以使得数据中心占用更少的空间,从而节省资金和资源。
因此,液冷技术是数据中心优化的一个重要方向,也是未来数据中心技术发展的趋势之一。液冷服务器的应用可以帮助企业和机构提高数据中心的效率,降低能源成本,从而更好地应对数据处理方面的挑战。