随着数据中心功率密度的提高，液体冷却应用会越来越普遍[1-3]，包括冷板冷却[4-5]，浸没式冷却[6-8]，蒸发冷却[9-11]等。各种冷却方式的目的都是给芯片等电子元器件散热,数值模拟的作用就是分析电子产品的散热问题,通过分析减少液冷IT设备,液冷系统的研发成本,提高研发速度,评估数据中心系统级的液体冷却方案。三维模型液冷数值模拟解决方案有很多研究[11-16],多针对单个模型进行分析,但是,当分析计算的规模增大,上升到多个设备,机房级规模的时候,冷却管路系统会变的异常复杂,三维模拟几乎不能实现。液冷系统三维数值模拟的难度在于小的管径或者芯片尺寸与大的机房级计算域之间的矛盾,如果都用三维方式模拟,可能使计算无法进行,而一维模拟可以降低庞大的三维管路系统模拟的难度,一维系统可以得到数据中心系统级,多个机房之间,多个液冷IT设备之间的流量分配计算,并且几分钟的时间就可以完成计算。
　　
　　针对一维液冷系统的模拟比较稀少,所以本文提出了一维,三维液冷系统耦合模拟解决方案,从两个方向分析液冷系统,包括IT设备级液体冷却和数据中心系统级液体冷却。
　　
　　一、一维与三维液冷系统
　　
　　本节说明IT设备级液体冷却与数据中心系统级液体冷却的构成以及模型处理方法。
　　
　　主要的一维流体网络对象如图1所示,通过这些对象可以构建一个完整的液冷系统,并且可以实现一维与三维模型的耦合计算。
　　
　　1.1IT设备级一维三维液冷系统
　　
　　IT设备级液冷系统说明三维模型与一维模型的处理方法,以及一维和三维耦合模型处理方法。
　　
　　1)三维模拟
　　
　　IT设备三维模型可分成黑箱模型和白箱模型。
　　
　　黑箱模型:是简化的IT设备模型,主要用于数据中心系统级的模拟。
　　
　　IT设备是一个简化的黑盒子,通过设置液体冷却百分比表示液体冷却部分。当不考虑IT设备内部芯片的温度,只关注IT设备入口温度的时候用黑箱模型可以有效提高大型系统的分析效率。
　　
　　对于冷板或者热管混合式液冷可以用黑箱模型模拟液体冷却百分比。
　　
　　黑箱模型的液体部分只是逻辑上的存在,可以与一维系统相连接,实现耦合模拟。
　　
　　白箱模型:是一个详细的IT设备模型,主要用于IT设备级的模拟,需要建立详细的内部部件模型,包括芯片,冷板,管路,硬盘,内存,热管,电源,风机等。详细模型考虑IT设备内部芯片的温度分布情况,也关注IT设备入口对芯片温度的影响。
　　
　　图2(a)为液冷板冷却,通过冷板,管路带走芯片的热量,其它对象的热量由空气带走。
　　
　　图2(b)为热管混合冷却,冷却液不进入IT设备,热管蒸发段吸收芯片的热量,通过冷板带走热管冷凝段的热量,完成芯片散热过程。
　　
　　白箱模型的液体部分是物理对象上的真实实现,通过机箱液冷管道进出口可以与一维系统相连接,实现耦合模拟。
　　
　　2）一维流体网络模型
　　
　　由一维流体网络对象构成液体冷却系统,主要解决:大型系统的数值模拟要求查看芯片温度,同时还要求查看不同液冷IT设备间的流量分配的模拟结果。如果纯粹用三维模型进行多设备模拟模拟会在网格处理上带来巨大困难。
　　
　　图3为一个简单的液冷板一维IT设备,有两个流路:
　　
　　①冷却介质侧:组成对象为域边界,水泵,冷板。
　　
　　②空气侧:组成对象为域边界,风机,芯片。
　　
　　芯片与冷板进行逻辑上的连接,需要定义芯片与冷板的热阻曲线模拟部件间的传热。
　　
　　一维IT设备可以在边界上或者冷板上与三维模型连接进行耦合计算。
　　
　　3）一维与三维耦合模拟
　　
　　耦合模型可以进行一维和三维的耦合传热与流动计算,主要解决因为多个IT设备间流量分配不同导致的芯片温度预测问题。
　　
　　图4为一个简单的液冷板一维与三维耦合模型,冷却管路为一维系统,IT设备包括一维模型和三维模型,虚线表示逻辑上的连接。
　　
　　①一维冷却管路:组成对象为域边界,水泵,管件,流体网络组等。
　　
　　②一维IT设备:采用上一节的流体网络模型,冷却介质回路连接一维冷却管路。
　　
　　③三维IT设备:详细的三维冷板模型,包括芯片,管路,机壳,水泵进出水口,通过进出水口连接一维冷却管路。
　　
　　可以实现多个一维、三维IT设备的连接。
　　
　　1.2 数据中心系统级一维三维液冷系统
　　
　　数据中心系统级液体冷却主要介绍冷冻水系统。冷却管路系统不在本文分析范围之内。
　　
　　数据中心系统级液体冷却分析对象为一个数据中心,包括若干栋楼,每栋楼包括若干个机房。需要处理一维管路系统与三维物理模型,以及一维与三维的连接方式(如1.1,1.2节所述)。
　　
　　数据中心系统级的液体冷却包括:冷冻站,多个机房(模块)及末端,多个机柜及其液冷IT设备。
　　
　　数据中心系统级的液体冷却创建:
　　
　　首先创建冷冻站及其设备:包括冷机,冷泵,蓄冷罐,板换,管路等;
　　
　　然后创建至少一个三维机房模型:需要包括与一维进行连接的设备,比如末端,换热器等;
　　
　　其次创建若干一维机房模型:可以采用一维流体网络设备表示一个一维机房,主要参数就是机房发热量,水循环量等;
　　
　　最后进行一维和三维连接。
　　
　　上述模型可以分析多个机房间的流量分配及其对三维机房IT设备散热的影响,也可以分析冷机故障或者冷机时序上冷量输出的瞬态模拟。
　　
　　二、液冷系统一维三维对象及关键参数
　　
　　一维与三维对象决定了能够实现液冷模拟的能力,本节列举了可以构建数据中心系统级、以及IT设备级液冷系统的必要组件。关键参数的定义可以实现冷却工质与空气侧的流动换热能力耦合计算。
　　
　　2.1 一维对象及其关键参数
　　
　　表1为一维对象的关键参数。主要列举了性能方面参数,除此之外还要关注设备几何与材料特性,包括进出口尺寸与位置,以及基本的几何参数,比如设备的长宽高,内外径等。
　　
　　参数说明如下:
　　
　　冷机与水泵的时间序列曲线:表示在瞬态模拟的时候冷机和水泵随时间变化的控制。
　　
　　图5为冷机与水泵的时间序列曲线示意图，其中图(a)为冷机的冷量随时间变化曲线，图(b)为水泵的流量随时间变化曲线，当流量为零时表示关闭。
　　
　　连接属性:实现一维与三维连接的关键能力,具备连接属性的部件主要是终端设备,包括空调末端,冷板,IT设备,换热器。
　　
　　无:表示无连接,一维与三维无连接,计算管路的流量分配与压降。
　　
　　连接流体网络:表示可以连接一维对象,比如冷板可以连接一维芯片对象。
　　
　　连接三维模型:表示可以连接三维模型中的对象。
　　
　　流体侧阻力与水泵PQ曲线:定义管道部件的阻力特性与水泵的性能曲线。
　　
　　图6为两种参数的示意图,其中图(a)为流体侧设备阻力曲线,图(b)为水泵PQ曲线。
　　
　　2.2 三维对象及其关键参数
　　
　　三维对象如表2所示:主要列举了与一维相关的对象及其主要参数。主要列举了性能方面参数,除此之外还要关注设备几何与材料特性,包括进出口尺寸与位置,以及基本的几何参数,比如设备的长宽高等。
　　
　　参数说明:
　　
　　换热效率:表示换热器能够降低空气温度的能力,最大效率(100%)能够使空气温度降低到进口冷却剂温度。计算公式如下：
　　
　　η(%)=(Tin-Tout)/(Tin-Tcoolant)×100%
　　
　　式中:
　　
　　η:换热效率,单位为100%;
　　
　　Tin:换热器进口空气干球温度,单位为℃;
　　
　　Tout:换热器出口空气干球温度,单位为℃;
　　
　　Tcoolant:换热器进口冷却剂温度,单位为℃;
　　
　　蒸发效率:表示蒸发冷却过程中处理空气的能力,将上式的冷却剂温度替换为湿球温度。
　　
　　热传导曲线:定义空气侧的换热能力,表示为流量与热传导率的关系,见图7所示。
　　
　　连接属性:实现一维与三维连接的关键能力,具备连接属性的部件主要是终端设备,包括空调末端,换热器,IT设备,冷板。
　　
　　无:表示无连接,一维与三维无连接,只计算空气侧相关参数。
　　
　　连接流体网络:表示可以连接一维对象,流体侧的参数由一维流体网络计算,实现空气侧与冷却工质侧的耦合计算,比如换热器可以通过设置的换热效率计算得出因流体侧温升导致的空气侧温度参数的变化。
　　
　　三、一维和三维的耦合模拟案例分析
　　
　　本案例是一个数据中心系统级的液体冷却方案。包括冷冻站,一个三维机房,三个一维机房,采用机柜级冷板液冷,每个机柜中包括三个冷板式液冷IT设备,冷冻站设计供回水温度为17℃/22℃,管道外置保温,管壁与外界环境换热做绝热处理,目的是分析耦合模拟的可行性。
　　
　　3.1一维与三维模型
　　
　　三维模型如图8所示:
　　
　　机房精密空调采用灰箱模型，主要部件包括风机，换热器，进出风口等，换热器与一维对象进行连接。
　　
　　机柜模型:采用42U标准机柜,定义详细的机柜结构,封闭盲板。
　　
　　地板出风口模型:采用底部带风阀的600mm×600mm的地板出风口,开孔率50%。
　　
　　IT设备模型:采用黑箱模型,冷板式液冷IT设备,定义液冷百分比,IT设备模型与一维对象进行连接。
　　
　　一维模型主要包括如下几个部分:
　　
　　①冷冻站系统:图9为包括四个机房的冷冻站一维系统图,主要设备为冷机,一次泵,蓄冷罐,二次泵,三维机房流体网络组,一维机房流体网络组,管路与管件等。
　　
　　②一维机房流体网络组与机柜一维液冷系统:
　　
　　图10为一维机房流体网络组系统图,包括域边界,单向阀,空调末端流体组,控制阀,机柜流体组,管路与管件等。
　　
　　图11为机柜一维流体网络组液冷系统图，包括域边界，换热器，水泵，一维IT设备，管路与管件等。
　　
　　③一维机房系统:图12为一维机房流体网络,包括域边界,水泵,冷板(定义机房的总散热量)
　　
　　④末端液冷系统:图13为空调末端一维流体网络模型,包括域边界,换热器等。
　　
　　3.2模拟结果
　　
　　冷冻站模拟结果,详见图14:供水温度17℃,回水温度22.08℃。四个机房的进出水温也满足设计要求。
　　
　　三维机房与液冷机柜模拟结果:CRAC进出水温度为17.03℃,19.62℃,最右侧的液冷机柜一次侧进出水温度为17.03℃,26.72℃,二次侧进出水温度为27.39℃,25.21℃。机柜间存在微小的流量差异,机柜间最大出水温差0.13℃。
　　
　　散热器表面温度分布：图15为散热器表面温度分布，整体上是上部温度低，底部温度高。(a)图为换热器出风面温度分布。冷冻水从左侧进入，右侧流出，低温区17.86℃。(b)图为进风面，最大温度为26.05℃。(c)图为流线图，空气从顶部进入底部流出。
　　
　　IT设备进风温度:IT设备最大进口温度为24.51℃,详见图16所示。
　　
　　表3为所有IT设备的统计数据,IT设备液冷百分比约为67%,IT设备间水流量分配比较均匀。
　　
　　机房气流组织:图17为机房的气流组织,可以看出地板出风口流出的冷空气直接流入空调回风口,导致换热器上部温度低,底部温度高。
　　
　　四、结论
　　
　　本文介绍了数据中心液冷数值模拟的方法,分析了对于不同的液冷系统的处理方法,都包含一维,三维模型,以及一维和三维耦合模拟的方法以及部件构成。
　　
　　IT设备级液体冷却模型可以用黑箱或者白箱模型处理,也可以使用流体网络模型处理,多个液冷IT设备系统耦合计算模型可以用三维的IT设备或者一维的IT设备,主要解决:大型系统的数值模拟要求查看芯片温度,同时还要求查看不同液冷IT设备间的流量分配的影响。
　　
　　数据中心系统级液体冷却主要介绍冷冻水系统。分析对象为一个数据中心,包括若干栋楼,每栋楼包括若干个机房。
　　
　　液冷系统的一维对象主要包括冷机、水泵、换热器、冷板、IT设备、末端、边界、芯片、管段/管件等。三维对象主要体现在与一维进行连接的对象上,包括:空调末端,冷板,IT设备,换热器,进出口等。核心参数聚焦于一维与三维能够耦合计算的相关连接属性,考虑芯片与冷板的换热,换热器水侧与空气侧换热等过程。
　　
　　耦合模拟案例说明了一维和三维的联合计算的可行性,模拟结果符合理论预期,从所有IT设备的统计数据看,IT设备液冷百分比约为67%,IT设备间水流量分配比较均匀。
　　
　　参考文献
　　
　　[1]王艳松,张琦,孙聪,等.数据中心液冷技术发展分析[J].电力信息与通信技术,2021,19(12):69-74.
　　
　　[2]肖新文.数据中心液冷技术应用研究进展[J].暖通空调,2022,52(1):52-65.
　　
　　[3]傅烈虎.数据中心冷却技术的发展与演进[J].制冷与空调,2020,20(12):7-16.
　　
　　[4]庄泽岩,孙聪,张琦,等.冷板式液冷技术与应用现状分析[J].通信管理与技术,2021(3):27-30.
　　
　　 [5]Pontes Pedro,Martins Lourenço, Gonçalves Iva,Moita Ana S, Moreira António LN Thermographical study of geometry and phase change influence on PDMS Microchannel liquid cooling devices[J]Journal of Physics: Conference SeriesVolume 2116, Issue 1. 2021.
 　　
　　[6]李斌.服务器单相浸没式液冷数值模拟与优化[D].山东:山东大学,2021.
　　
　　[7]夏爽.浸没式相变液冷服务器的数值模拟研究[D].山东:山东大学,2021.
　　
　　[8]刘圣春,徐智明,李雪强,等.单相浸没式液冷箱体关键参数的仿真研究[J].制冷学报,2023,44(2):159-166.[9]黄翔,范坤,宋姣姣.蒸发冷却技术在数据中心的应用探讨[J].制冷与空调,2013(8):16-22.
　　
　　[10]田哲宁,黄翔,屈名勋.蒸发冷却技术在数据中心液冷系统中的应用探讨[J].制冷与空调(四川),2022,36(1):120-126.
　　
　　[11]郑品迪,黄冬梅,杨超,等.间接蒸发冷空调数值模拟方法及在数据中心的应用[J].制冷与空调,2022,22(11):82-91.
　　
　　[12]盛成,方玉财,严诺,等.某新型液冷机箱热设计的数值研究[J].电子机械工程,2019,35(6):38-41.
　　
　　[13]赵亮.微小通道液冷板热控及压降特性数值模拟研究[J].环境技术,2021,39(2):134-139,144.
　　
　　[14]曾凡琮,潘剑,李涵等.基于CFD的液冷板数值模拟与优化研究[J].机械设计,2022,39(12):52-57.
　　
　　[15]李维平,李隆键,崔文智等.液冷系统中均热板气液相变的热质传输模拟[J].哈尔滨工业大学学报,2022,54(07):96-103.
　　
　　[16]魏小平,杨智辉,胡海涛等.钢制多通道结构液冷板散热特性仿真分析[J].机械设计与研,2023,39(01):185-189.
　　
　　作者简介
　　
　　郑品迪,男,硕士/高级工程师,北京瑞思博创科技有限公司,研究方向:从事数据中心暖通气流组织,局部热点,能效等方面的数值模拟评估服务。
　　
　　黄冬梅,北京瑞思博创科技有限公司总经理,博士浙江大学博士毕业,从事数据中心CFD仿真、数据中心节能、数据中心数字孪生等技术,有20多年的经验主编中文版《数据中心手册》2022年4月出版;主编T/DZJN47-2021《数据中心数字孪生技术规范》团体标准;主编T/NIISA003-2019《数据中心气流组织技术规范》团体标准;主编《数据中心CFD技术白皮书》2019年11月出版。
　　
　　编辑：Harris