Focus    AI风向
Focus    AI风向
液冷数据中心全生命周期服务
文/邢雪松

如今服务器等IT设备的功率越来越大,有限的体积下功率密度越来越高,这为机柜散热带来了极大的挑战,这种情形下,采用液冷技术变得尤为必要。

液冷技术并不来自于数据中心,它最早应用于机械加工冷却、电力变压器冷却、电子行业制程冷却以及航空航天高热流密度冷却。

液冷技术的原理是使用流动液体将计算机内部元器件产生的热量传递到计算机外,保证计算机在安全温度范围内工作的一种冷却方法。它的优势在于利用液体传热,液体的比热容远远大于空气,有利于提高传热效率,降低传热能耗。

那么服务器为什么要用液冷呢?这要从IT设备说起,芯片热流密度增加、内部越发密集、服务器新型设计等因素,给服务器的散热带来了诸多挑战。芯片功率和设计密度的增加,导致目前服务器的热流密度已经到达了风冷处理的极限。

服务器的主要散热部件是CPU和GPU,从下图中曲线可以看到,从2012年到2021年这10年间,CPU的发热量从130w增长到了230w,GPU的发热量从190w增长到了350w。CPU和GPU的发热量几乎翻了一倍,未来仍有大幅增长趋势,风冷处理难以负担高热流密度的散热,这就需要液冷技术来保证散热需求。

液冷技术主要分为直接液冷技术和间接液冷技术。直接液冷也就是我们常说的浸没式液冷,它又分为单相浸没式液冷和相变浸没式液冷。间接液冷主要是我们常说的冷板式液冷。

浸没式液冷是通过把CPU等设备浸泡在绝缘冷媒中,设备器件和冷媒直接接触完成换热,冷媒通过自身温差对流或者通过外部动力强化对流。如果使用相变冷媒,冷媒在受热后气化在机柜顶部凝结再流回机柜,实现相变换热,这种换热形式可以使换热更加充分。

每种制冷形式都有它自身的优缺点。浸没式液冷的优点是热交换面积大(因为服务器被整体浸没在冷却液中,无接触死角)、散热能力强、低噪音、能效高、无防尘防腐问题;缺点是服务器机柜(Tank)占地面积大、重量大、可维护性差(取出设备需清理)、存在相似相溶风险、部分器件不能接触冷媒(如光模块、机械硬盘等)、冷却液成本高(尤其是相变冷媒)、维护成本高。

近年来,紫光股份旗下新华三集团承接过多个液冷数据中心项目,规划设计了国内第一个大规模采用浸没式液冷的数据中心。起初新华三为客户做了一个小型液冷机房作为实验,而后客户决定大规模应用,新华三分别为客户在两个省市设计了两座大型浸没式液冷数据中心,这个项目也是国内第一个大量应用浸没式液冷的数据中心。该数据中心采用单相浸没式液冷技术,当时液冷技术在国内应用不多,因此新华三将柜功率密度控制在相对较低的水平,单机柜功率为25kw,远大于传统风冷服务器。

室外侧散热设备采用的是开式冷却塔,冷却水下塔水温控制在33℃,这是经过多方权衡对比,评价出来的一个比较经济合理的冷却水下塔水温。该项目建成后的实测PUE为1.07,达到了数据中心节能的极致水平。

而冷板式液冷和浸没式液冷不同,它的工作液体与被冷却对象分离,不与电子器件直接接触,而是通过液冷板等高效热传导部件将被冷却对象的热量传递到冷媒中,利用工作流体作为中间热量传输的媒介,将服务器产生的热量传递到室外再进行冷却。

它的优点是散热能力强、能效高、低噪音、空间利用率高、与传统服务器机房匹配度高,适用于老旧机房节能改造。它的缺点是设计研发较复杂、节能效果相对浸没式液冷略低。

此外,新华三也为众多客户规划设计了板式液冷数据中心,以北方的一个冷板式液冷项目为例,该项目采用的是定制化的冷板式液冷服务器,室外侧散热设备采用的是闭式冷却塔,同样采用了经济合理的33℃冷却水下塔水温,这个项目落地实测的PUE为1.2。该项目相对保守,单机柜功率13kw,目前行业内冷板式液冷服务器机柜可以做到30kw以上。新华三也拥有自主研发的冷板式服务器,可以给客户提供从IT侧到基础设施全方位的技术服务。

那么,液冷数据中心在设计端,需要考虑哪些方面呢?

从平面规划上,新华三可以为客户考虑普使性的设计。有些客户对于将来机房的冷却形式不确定,这个时候就需要在方案设计过程中,既考虑传统空调形式又要考虑液冷形式,无论将来客户采用何种制冷形式,建筑布局、结构承重、层高设计,都可以适用。

室外侧散热设备通常选择冷却塔,包括开式冷却塔和闭式冷却塔。冷却水下塔水温根据客户需求以及地域不同,一般控制在30℃~35℃之间。冷却塔的选型基于所在地区的极端室外参数,保证在极端天气下可以提供充足的换热能力以及防冻处理。

管道要考虑冗余性,确保系统单点故障情况下冷却系统不间断运行。CDU两侧建议采用不锈钢管道,保证管路内液体的纯净度,避免冷却盘管或CDU内换热器出现堵塞现象,延长数据中心的冷却寿命。

补水方面,开式冷却塔系统宜采用去离子水进行补水,闭式冷却塔系统宜采用软化水配合缓蚀阻垢剂进行补水,这两点其实也是为了保证系统内液体的洁净度,避免出现脏堵现象。另外,需要考虑储水措施,保证市政断水情况下,制冷系统不间断运行。

无论是浸没式液冷还是冷板式液冷,机房内单纯靠液冷系统并不足以满足全部的冷却需求,必须辅助配置一部分传统的空调系统。

对于浸没式液冷,房间内布置液冷机柜(TANK),机柜表面存在辐射散热和对流散热,机柜释放的热量会散发到机房空气中,这就需要配置相应的空调系统对房间环境进行降温。

对于冷板式液冷,目前行业内的冷板式液冷技术只能带走机柜内60%~80%的热量,剩下的20%~40%仍然需要以其他空调形式进行冷却。空调形式可以采用传统的精密空调。

随着国家双碳政策的不断推进,液冷技术是实现节能的有效手段,未来发展前景可期。但从行业及技术上,仍然存在一些有待解决的问题。

冷却液

业界有一种说法,浸没式液冷的冷却液价格是“茅台价”,目前建设浸没式液冷数据中心的成本非常高,这需要行业内,尤其是数据中心建设方的广泛应用,来推动系统规模化,相信冷却液在不久的将来会实现价格平民化。

IT技术

冷却系统的发展不能仅仅依靠制冷空调系统的进步,同时也离不开IT产品的迭代更新,随着先进的、高效、高密度服务器的研发,必然可以推动冷却技术进一步发展。

技术标准

目前行业内液冷产品参差不齐,细分领域标准化仍待完善,需要行业建立统一的技术标准,促进技术大量采用,实现标准化、规模化。

新华三集团具有液冷数据中心全生命周期服务的团队以及强大的设计咨询团队,为客户提供液冷数据中心的整体策划。同时也拥有业内首屈一指的设计服务团队,为新建和改建数据中心提供创新设计,为客户提供一个整体、合理、经济、易运维的液冷数据中心设计。我们也可以为客户提供高效专业的一体化交付,提供专业的测试验证服务,验证已建数据中心与理论设计参数的匹配度与安全性,我们也可以提供专业的维保运维管理服务,为客户在数据运行过程中保驾护航。

液冷降耗技术作为目前数据中心降低碳排放,实现"碳中和"的重要技术,能有效提升服务器的使用效率和稳定性,提高数据中心运算效率,余热也可以创造出更多价值,应用前景广阔。

分享到
关闭