中建一局集团安装工程有限公司
随着近些年 IT 科学技术的飞速发展，服务器、存储等设备性能越来越高，其发热量和耗电量也越来越大。目前服务器常用风冷散热系统，其中有超过50%的能耗用来应付冷却系统，且换热效率较低，其PUE值（PowerUsageEffectiveness，电源使用效率）很难控制在1.4以下，耗电量也几乎占了整个服务器耗电量的 10%～15%，对于急速增长的高密度数据中心而言，其劣势已逐渐显现。相比于风冷服务器，浸没式液冷技术应用于数据中心制冷系统能耗则大幅度降低，其PUE值甚至可以控制在1.1以下。机房的整体能效将有30%的提升，而CPU等核心部件的性能也可以相应提升20%左右。
本研究针对浸没式液冷技术在张北阿里云计算数据中心项目中的应用进行了深入研究，提出浸没式液冷技术施工过程工艺要求和注意事项，为今后项目提供理论参考和实践基础。
1.浸没式液冷系统原理及组成
1.1浸没式液冷系统原理
浸没式液冷散热技术是将所有IT设备浸没在绝缘、无腐蚀性的冷却液中，通过液体与元件直接接触带走热量，再将冷却液流出在CDU（冷液分配单元）中进行热交换，实现散热的效果。
浸没式液冷系统由机柜和液冷机组成，机柜里采用特殊的工程液体为热传递介质，使用新架构服务器，服务器里面所有硬件直接跟工程液体接触，吸热后达到液体饱和温度自动蒸发，利用液体汽化潜热将热量带出，通过液冷机循环系统将气体冷凝变回液体，实现自循环将热量散发。稳定冷源制造的冷量供应Tank模组进行服务器散热，冷源维持出口温度＜30℃，Tank模组保证服务器散热正常。
.png)
图1.1 浸没式液冷装置原理图
1.2系统冷源
张北阿里云计算数据中心项目机房冷源采用冷却塔，在屋面设置两台开式冷却塔，一用一备。冷却水系统设计为一次泵，冷却塔与冷却水循环水泵一一对应，冷却塔主供回管路设计为环路，末端为支路。冷却塔、冷却水泵、板换二次侧循环水泵设置为双路供电，一路市电，一路UPS供电。
1.3 Tank模组
每个Tank设置板换及水泵，一用一备，平时两套均低速运行，当一套系统故障时，另一套系统提速运行。Tank内设置过滤系统，定时控制，当过滤器压差信号超过设计值时，发出报警信号，维护人员进行维护或更换。Tank内液位低于正常液位20mm时发出报警信号，利用两套移动式自动补水装置进行补水，恢复正常液位时停止补水，当液位高于正常液位20mm时，发出报警信号进行液体回收。
.png)
1-上盖；2-透明PC视窗；3-气密密封胶条；4-上盖锁扣；5-门板；6-MPO Adapter支架；7-前衬板；8：冷却水路入水口；9-弱电线缆出线口；10-强电线缆出线口；冷却水路出水口；12-补液口；13气密线缆夹；14-气压杆；15-上盖把手；16-PDU（Tank背面）
图1.3 Tank模组组成示意图
1.4移动式补液装置
移动补液车是浸没冷数据中心必须的运维设备，用于对Tank进行充排液维护，进行充排液维护，以及应急情况下的紧急过滤。
移动补液车由氟泵、过滤器、储液罐及阀门传感等组成，可实现初始充液、运行补液、应急排液、应急过滤等功能。移动补水装置正常液位为544mm，当液位超过600mm时发出报警信号，当液位低于30mm，补水泵关闭，并发出报警信号，通知维护人员对补水装置补充液体。
.png)
图1.4 移动式补液装置图
2.浸没式液冷技术在大型数据中心的实际应用
2.1工程概况
阿里云张北数据中心位于河北省张家口市张北县，也是2022年北京冬奥会数据中心。其中C2栋设置液冷机房，组成国内云计算数据中心首个浸没式液冷集群。该液冷机房每个机柜的负载设计28kW，冷却液的温度约30℃。机柜负载在50%左右时，进出的温差仅为1℃，PUE在1.1左右。
2.2液冷管路接头选择及安装
可靠的连接器施工技术可以使液冷系统安全、稳定、容易维护。传统接头因在接口具有弹簧等突出的部件和接头凹槽，使其在断开时保持液体残留。若想避免残留冷却液滴漏而引起的服务器机架故障，接头就需具有平整的断面和外部结构，并通过高强度的测试达到耐高频率反复插拔的品质。
.png)
图2.2冷却液输送管路连接器
目前，多数数据中心习惯在液冷系统中使用主体为金属的定制接头，因为其耐高温高压、流量大、坚固耐磨损等特质符合数据中心对设备模块连接活动件的品质要求。同时，塑料接头也不失为性价比极高的选择。塑料材质轻巧、稳定，聚砜等材料在耐化学性和坚固耐磨损方面均不亚于金属。模塑工艺制成的连接器也能呈现整体端头设计，使其装配时间短、安装快捷，因而达到提高效率和降低维护成本的目的。
使用快速和耐反复插拔的连接器不但便于设备的安装和维护，还能通过简化操作达到通过提高效率而节约成本的目的。为了帮助工作人员实现单手操作，接头带符合人体工学拇指插销，在连接时带有咔哒声，并在断开时自动弹开，无需传统的球阀关闭装置，增加维护效率。
2.3 CDU安装工艺
CDU由溶液循环泵、钎焊板式换热器、过滤器、排气阀、传感器等组成。
.png)
图2.3 CDU工艺原理图
工艺管线和阀门安装要求：
（1）在与钎焊板式热交换器接管焊接过程中，应用氮气保护钎焊板式热交换器内部，以防止热交换器内部被氧化。
（2）在与钎焊式板式热交换器接管焊接过程中，应使用湿布冷却接管与热交换器连接处，以防止钎焊式板式热交换器钎焊区域因过热而受到损坏。
（3）工艺管线采用不锈钢材质，阀门、法兰、螺栓等均采用同等或高于管道材质的材质。
（4）阀门应采用不锈钢 3段式球阀，采用法兰连接。
（5）耐压测试、泄露测试：
1）氟化液侧管道严禁用水或导电液体进行耐压和泄露测试。
2）耐压试验介质一般采用洁净的氮气或干燥的压缩空气。耐压试验的压力值不应小于1.43倍的设计压力，保压时间5s。
3）耐压试验合格后应进行泄露试验。推荐使用氦气示踪气体，氦气浓度应不低于 20%，压力应不低于 0.1MPa。
2.4移动补液车安装
（1）移动补液车和冷却液接触的各部件，例如阀门、氟泵传感器等必须使用和冷却液兼容的材料，并事先进行兼容性测试，以确保兼容性无问题；
（2）具有水分子过滤器、杂质过滤器、电导率传感器，以确保充入Tank中冷却液的质量；
（3）应具有内循环功能，在冷却液污染时可进行急过滤；
（4）内置电池，以确保在脱离电源线的情况下能工作至少一小时；
（5）可计量及显示每次冲液排的流总体积；
（6）具有监控显示界面，可选择冲液、排、内循环这三种模式，并可直观实时地显示液位高度、电导率过滤器状态充排流量等数据；
3.浸没式液冷技术的优势
（1）液态冷却剂的优越性。和传统的风冷技术相比，液体导热能力是空气的25倍，同体积液体带走热量是同体积空气的近3000倍，这使得液冷散热系统的散热性能更加优越。
（2）散热系统的能耗低。与传统风冷散热方式相比，同等散热水平时，液冷噪音水平比风冷噪音降低20-35分贝。液冷系统比风冷系统节省电量30%-50%，耗电量更低，节能效果更明显。
（3）可实现数据机房余热回收利用。吸收热量后的液态冷却剂温度可达到 40 ℃以上，将其回收利用到生产工艺中，可达到较好的经济效果，也是建筑节能措施的良好体现之一。
（4）降低数据中心的故障率。传统的风冷系统会带来空气的流动而产生振动，振动会直接影响IT系统的稳定性和寿命。通过全密闭浸没式无风扇IT设备创新构架，根据环境对设备的影响，有效降低整体IT设备失效率50%以上。
4.小结
浸没式液冷是数据中心的跃迁式技术创新，具有高能效、高密度、高可用和高可靠等特性，突破技术瓶颈，使单机柜功率密度提升3倍以上。阿里云张北数据中心是阿里首个应用浸没式液冷服务器的数据中心，其PUE逼近理论极限值1.0。本研究在液冷柜布局、浸泡液管路的接头选择、管件安装、CDU安装工艺、移动补液车安装等方面，解决了浸没式液冷系统安装质量、维护运行可靠性和便利性的问题，为今后大规模集群式浸没式液冷系统管道连接施工、设备施工参考。