1 数据中心间接蒸发冷却技术背景
　　
　　(1)优势背景
　　
      ①行业蓬勃发展,新技术接受度高

数据中心在国内经过长达20年的厚积薄发后,在2019年成为新基建的基础,2020年成为新基建之一,成为时代和行业风口,获得超量关注与投入。这往往意味着会有大量优秀应用技术跨界快速进入该行业,优秀人才、资源也在跑步进入该行业,这都将促进原创与创新新技术的蓬勃发展。
　　
      ②开拓大西北,气候及能源现状有利于大型超大型数据中心布局及间接蒸发应用

出于科学可持续发展及均衡发展,促进大西北经济繁荣将能快速提升全国平均经济和发展水平。西北地区,气候干燥,风光煤能源富集,正好适合耗能大户,大型超大型数据中心的布局和发展。西北及其他气候干燥区,湿球温度低、干湿球温差大,蒸发冷却及间接蒸发冷却需求风量少,节能潜力空间大。
　　
      ③供冷温度提升

 出于科学可持续发展及设备性能提升,数据中心供冷温度逐步提升,将提升自然冷却时长,使得自然冷却耗能权重大幅上升的同时,减弱了机械制冷的耗能权重。
　　
　　(2)劣势背景
　　
      ①非主流产品

  间接蒸发目前在数据中心仍属于新产品尝试应用阶段,还远未成为主流产品,对于敏感客户及终端接受度仍有待进一步提升。
　　
　　产品的成本受到研发分摊及规模采购的限制,仍然难以迅速降低。产品的销售渠道及供应链渠道仍需要时间和足够的让利建立和完善。
　　
      ②负荷密度提升

   随着未来负荷密度提升,再冷的风也吹不凉滚烫的芯[2],间接蒸发冷却将成为一种过渡型技术路线。
　　
     ③疫情及经济增长放缓

   受疫情及经济增长放缓影响,大型超大型数据中心向西北等不发达城市及地区挺进的步伐放缓;经济增长放缓,国家将数据中心升格到数字生产与供应的核心新基础设施之一,大型及超大型数据中心在一线及环一线城市得以续命较长一段时间。而这些地区地价昂贵,生活工作成本较高,将使得数据中心运营能耗支出占TCO的权重下降。将导致增加产出机柜数的节地型设计往往更具有优势。
　　
　　2 数据中心间接蒸发冷却技术简介
　　
　　本文所指间接蒸发冷却技术为数据中心用间接蒸发冷却技术的狭义的定义,仅指通过与送风不接触的蒸发的方式冷却送风的空调机组,其往往还附加有DX直膨冷却或者CW冷冻水冷却的机械制冷方式作为辅助冷源。图1为间接蒸发冷却原理示意图。
　　
　　数据中心典型间接蒸发冷却技术的应用往往具有如下三种模式:干冷自然冷却、湿冷自然冷却和机械制冷冷却。
　　
　　(1)干冷自然冷却
　　
　　通过显热空-空交换器利用室外较低的干球温度直接冷却机房内循环风。
　　
　　数据中心典型间接蒸发工况为
　　
　　回风T2:32-40℃;
　　
　　送风T1:20-27℃;
　　
　　温差:10-15℃;
　　
　　室外新风干球临界温度To1:13-21℃。
　　
　　当室外新风干球温度低于临界温度To1,即可启动干冷却模式,无需机械制冷,能大幅降低系统能耗。干冷却运行时长除了受制于气候条件外,还显著受制于临界温度To1,而To1想要提升有以下两个方案:
　　
　　①以室外风机功耗损失为代价增大室外循环风量。这需要权衡计算,一般在典型场景中,往往仅有±20%风量微调的空间;
　　
　　②提升换热器的效率,提升换热器的效率,往往也意味着投资的增加。当效率提升超过某一经济界限时,其经济性将呈现负面效果,尤其是对于一些拿到较好电价的数据中心,这些权衡其实和PUE[3]的设计目标权衡遵循一个道理。从总TCO角度进行设计和选址。以被冷却机房回风作为整理对象,典型应用场景中显热空空交换器效率η为
　　
　　η=(T2-T1)/(T2-To1)=63%～71.5%
　　
　　如果增大换热器投资提升效率,允许更高的SUE,设计更大的安装空间,其干冷却临界温度To1还能继续提升,但是较高的SUE,意味着更少的机柜产出,同样的机柜数更大的一次投入,在高效运营系列白皮书中,我们知道需要在TCO的角度权衡一次投资和运营能源支出,并非追求各自的最低或者最佳表现,尤其是项目电费单价结构可能有巨大的差异。
　　
　　在干冷却模式下,降低随着室外温度的进一步下降,可以逐步降低室外风机的转速以进一步节约能耗,当然室内风机的转速根据负载需求进行优化调整就更不必说了,那都是十几年前的定制优化,如今的标准配置。
　　
　　(2)湿冷自然冷却
　　
　　由于干冷却能力不足以提供全部冷量，通过启用对室外循环空气循环喷水进行等焓加湿冷却的方式降低室外空气温度，补足干冷却所缺少的冷量。
　　
　　根据气候条件及项目设计工况约束,一般典型应用下,等焓加湿冷却可将室外干球温度降到接近
　　
　　湿球温度,但仍高于湿球温度,当室外新风湿球温度To2达到或者高于干冷却临界温度To1时,从表面上看似乎无法补足冷量。
　　
　　数据中心典型间接蒸发工况为
　　
　　回风T2:32-40℃;
　　
　　送风T1:20-27℃;
　　
　　温差:10-15℃;
　　
　　室外新风干球Tod:>临界To1,13-21℃;
　　
　　室外新风湿球临界温度To2:临界To1+(1-2)℃。
　　
　　当室外新风湿球温度低于临界湿球温度To2时,即可启动湿冷自然冷却模式。冷量得以补足的原因是:湿冷却下,空空换热器性能得以提升。我们都清楚由于换热效率的问题，即使换热效率达到90%，加上1～2℃的临界To2也依然小于送风温度T1。
　　
　　当某款间接蒸发冷却空调To2>=T1送风温度时,则需警惕其数据真实程度。
　　
　　当某款间接蒸发冷却空调通过直接将水喷向回风,利用部分直接蒸发来降温时,可知其能力不可持续。机房没有湿负荷,通过加湿来冷却轻则冷量时断时续,重则湿度严重超标。(水喷向室外空气,通过换热器板间隔蒸发吸收回风热量则属于合理利用间接蒸发潜能提升换热性能)对于某款间接蒸发冷却空调To1越高,意味着空空换热效率越高,而To2与To1的差值也即换热效率的提升空间也会越小。如果某款间接蒸发冷却空调To1也高,To2-To1同样高,则需要警惕数据真实度问题。
　　
　　为了权衡间接蒸发能力,我们往往需要用到一个饱和蒸发效率ε的概念:
　　
　　ε=(t1-t2)/(t1-tw)
　　
　　式中:
　　
　　t1:进入蒸发区域的室外空气干球温度;
　　
　　t2:离开蒸发区域的室外空气干球温度;
　　
　　tw:喷水温度;
　　
　　注意:t1在本技术应用中并不一定是室外新风干球温度Tod,而可能是与回风换过部分热量后升温之后的干球温度;
　　
　　t2在本技术应用中并不一定是出了空空换热器的室外新风干球温度,因为室外新风排出换热器的干球温度,可能还受到换热器中回风换热的影响。部分间接蒸发应用将间接蒸发与空空换热进行了强耦合。
　　
　　tw往往是当地自来水供水温度,在实际场景中,由于节水的因数,往往水会循环使用,tw往往接近室外新风进口湿球温度或者室外新风经换热器机房回风再热后进入蒸发区域的时点新风湿球温度(后面这种情况往往略高于新风进口湿球甚至是略高于当地自来水实际供水温度,导致实际蒸发湿球高于To2)。
　　
　　对于常规应用湿膜加湿饱和效率ε可能在50%左右;对于常规应用喷水加湿饱和效率ε可能在70%～90%左右。
　　
　　由于湿冷却换热效率高,那么在实际场景中可能还经常会碰到一些室外工况,湿冷和干冷均能达到要求,这时需要空调能根据能耗和可用资源自主选择更合适的模式进行运转,当空调不具备这种自主选择能力时,应具备接受上层AI或者专家管控/优化系统指令运转的能力。
　　
　　(3)混合冷却
　　
　　由于常规间接蒸发冷却设备尺寸已经非常庞大,往往较难以再增加空间来做气流旁路,因此直接机械制冷与混合冷却基本没有流道区别。从理论上来讲,在混合冷却之后应该还有机械制冷,将机房回风,室外新风均旁流过空空换热器,各自直接去蒸发器和冷凝器。以后碰到合适的独特需求场景,我们再论述这个问题。此次蒸发冷却技术简介,仅一掠带过。
　　
　　因此这第三种运行模式则得以简化,非干冷自然冷却、非湿冷自然冷却,则启动混合冷却方式。在混合模式中是否喷水蒸发原则上与上节中湿冷、干冷同时达到要求时的选择一致。根据能耗进行择优选择。
　　
　　由于数据中心终端客户的差异,受限于上下电机柜数量及其服务器CPU使用率等,其负载波动即使小也能在±20%～30%之间,如果大的话也可能在10%～100%之间。因此机械制冷往往配的是变频压缩机,EC风机,以最大程度提升运行能效,节约系统耗能。
　　
　　(4)更节能的根本原因
　　
　　有很多人觉得这还用说么?不就是间接蒸发么?其实真相并不是这样的。
　　
　　①更节能vs蒸发数据中心典型水冷离心机+板换,也是利用了大量冷却塔进行蒸发,甚至其蒸发量远大于间接蒸发。因此更节能与蒸发无关;
　　
　　②更节能vs间接如果这个间接是指蒸发与最终被冷却的室内空气间接接触,那么这个估计最容易理解,如果直接蒸发,回风湿度就升高了还需要除湿,得不偿失,但是这只是勉强维持蒸发的节能潜力,也不会比典型数据中心水冷离心+板换更节能。如果这个间接是指蒸发冷却的是室外空气温度而非水温,那么这涉及到水冷与风冷的问题,从典型应用来看,目前风冷的效能仍然无法与水冷相提并论。(风冷虽然比水冷少了一级换热，但是受限于边际成本及设计习惯约束的两器设计，以及风的体积比热远小于水的体积比热，不到万分之三，而其扬程往往接近水的千分之三，导致风的传输损耗往往十倍大于水，往往导致水冷的冷凝温度更低，制冷能效更高。蒸发侧也是同一道理);
　　
　　③更节能vs就近制冷数据中心领域间接蒸发
　　
　　比传统典型方案节能的真正原因其实是,间接蒸发通过扩大动力设施的占地面积,实现了就近分散制冷。分散制冷,导致压缩机变小,性能偏差,占地面积扩大,属于负面因子。就近制冷,减少了传输路由,降低损耗,属于正面因子。在地价低廉的地区,全年气候较低的地区,负面因子的效应都将大比例缩小。而正面因子主要受电力单价结构与间接蒸发数据中心新应用的边际成本影响。随着大型超大型数据中心远离核心一线超一线城市落地,以及有意跟随的厂家就近生产与深度定制,以及战略意图的让利,已经让更节能的平衡点在很多地区逐步偏向间接蒸发冷却;
　　
　　④更节能vs更低的供冷需求实际上间接蒸发
　　
　　的空调回风温度往往都在35℃以上,而常规典型设计依然有很多在30℃以下。送风温度越低,机械制冷的权重将加大,当大家都向同一典型标准设计时,间接蒸发冷却的更节能量将进一步下降,在部分地区甚至会达到持平甚至不如的地步。在同一个较高的供冷需求标准下,面对冷通道封闭,也即是面对非定制型典型IDC客户,间接蒸发冷却的更节能空间在很多城市都将归零。
　　
　　3 数据中心间接蒸发冷却技术应用潜力分析
　　
　　既然随着负荷密度上升,再冷的风也吹不凉滚烫的芯[2],那么作为可能的过渡性技术的间接蒸发技术是不是就没必要研究、应用和发展了?
　　
　　显然也不是这样。一方面是负荷密度的提升并没有那么迅速和迫切,至少离非液冷不可的临界密度还有很长的一段路要走;另一方面全国乃至全球注定的国家、省市、地区之间的发展不均衡,导致即使液冷成为主流之后,间接蒸发冷却仍然会有很长一段的生存空间。
　　
　　而低发达地区往往地处内陆,远离沿海,正好与间接蒸发所需求的气候条件较为适配。
　　
　　(1)低TCO-正向
　　
　　①一次投资-硬件配置间接蒸发的高效节能是有前提的,笔者曾经在2013年考察天津某机房采用的京都制冷的专利技术-转轮式间接蒸发冷却技术,一看其采用的定频活塞压缩机,就知道在国标工况下不可能比常规节能。从其配置也能看出,只能是在高供冷温度下,机械制冷仅占一个极小的比例下才能实现节能优于典型设计。
　　
　　如今随着《数据中心设计规范GB50174-2017》[5]生效已有些年头,供冷温度在部分自用及定制型IDC中已得到大幅度提升,同时间接蒸发的供应链和生态链国内也逐步成熟,导致其硬件配置已经显著优于常规典型风冷精密空调系统。
　　
　　间接蒸发冷却的核心硬件主要是用于室外循环与室内循环的EC风机、高效空空换热器(往往交叉流/混合流用的多,既不是恒流也不是逆流都可称为混合流,效率往往超过60%)、高效变频压缩机+高效蒸发器与高效冷凝器、低阻高效冷冻水换热盘管。
　　
　　当然在地价足够低廉和电价及碳排等综合单
　　
　　价足够高的条件下,硬件也都还有进一步高效的设计和选择空间。
　　
　　②运营支出-气候条件与供冷温度极低气温下,水流速较低的区域或者冷塔溅水等易结冰,而间接蒸发此种工况下,一般可以干冷却运行。本文在技术简介中,我们定性给出了相比典型架构间接蒸发统一到同一高供冷需求的低供冷温度下时,更节能空间在很多城市趋于零的结论。在本节中,我们把供冷温度统一到一个较低的标准,也即接近规范上限。
　　
　　节能计算示例:
　　
　　数据中心典型间接蒸发工况为
　　
　　回风T2:37℃;
　　
　　送风T1:25℃;
　　
　　方案A采用间接蒸发冷却技术:间接蒸发:To1-18℃,To2-19℃;
　　
　　设计选用15+3台间接蒸发空调,为三个模块机房服务。
　　
　　方案B采用典型变频水冷离心+板换+冷塔。
　　
　　A、B两方案核心配置差异见表1。表2为A、B两方案核心性能差异。
　　
　　

对于该示例,要做到方案A更节能,有以下两种可能:间接蒸发冷却的自然冷却时长更长;间接
蒸发冷却其制造选型富裕量更大;自然冷却1:如果当地18℃干球下湿球温度低于13℃,那么典型方案B冷塔的出水温度可以达到18℃以下,通过板换后可得供水温度19℃,回水25℃,对于送回风25℃/37℃并不难以实现。
　　
　　自然冷却2:湿球温度19℃,典型方案B冷塔出水23.8℃,此时方案B基本属于混合冷却临界点,已经即将转入机械制冷。因此基本工况应如下为To1<18℃,方案A990kW,方案B555kW;To1>18&To2<19℃,方案A1013kW,方案B915kW;其他,方案A1883kW,方案B1275kW。
　　
　　由于以上3个工况方案中,A皆无显著优势,因此此种假定下,方案A间接蒸发冷却其不具备更节能空间与潜力。当干球温度18℃,而湿球温度大于13℃,其相对湿度超过56%,虽然对于大多数北方地区,夏季相对湿度可能会完全超过,但其湿球温度显然低于18℃,即使后退一步按照方案B的混和冷却计算915kW,依然低于方案A自然冷却1的990kW,接近持平。
　　
　　具体项目再进行定量的具体分析,即使在中国最南端不考虑风机随负载波动,满载CLF典型方案也能达到0.143并不低于间接蒸发冷却方案。而且上述示例中并没有把风机的损耗计入冷量需求,这一简化如果复原会加大典型架构下的节能优势。在机械制冷时,采用额定COP7.0也已经极度弱化了典型架构的节能优势。这两项优势足以弥补当气温较低时,方案A可以大幅下降室外风机转速与方案B室外风机转速下降及冷却水循环泵转速下降较有限的节能增量。
　　
　　因此初步判定原则上间接蒸发冷却在能效水平上相比传统典型水冷离心冷冻水+板换的架构并不具有显著优势,甚至在大多数设计约定下,其节能性要略差于典型架构。具体而定量的对比,将根据实际项目情况量身定制评价模型。(如果要推翻该推断,需要更大更高效的空空换热器,更大的两器面积以减少循环空气阻力以及更高效的压缩机)
　　
　　③TCO-小结
　　
　　间接蒸发冷却方案在统一供冷标准的前提下,其节能潜力并没有显著高于典型水冷离心+板换+冷机架构。那么其真正优势在哪呢?
　　
　　既然间接蒸发冷却能达到与典型架构相持平或者略低,那么显然对比其他非合理典型架构将存在较多的节能潜力与空间。
　　
　　同时随着规模化应用,其边际采购及安装成本还能进一步降低,这有助于在其能效表现相当甚至是略差于典型架构的条件下,实现更低的TCO。
　　
　　(2)减少维护-正向
　　
　　①由于就近制冷,其取消了大规模的冷冻水管道。(辅助冷源采用冷冻水盘管的除外);
　　
　　②取消了大规模的冷却水循环管路,其喷淋管路及系统均非常小,且内置到间接蒸发空调内部,从一个运维直接管理对象,变为一个更倾向于维保管理对象。(最近数据中心的中西医之融合还没写完,这其实就是西医维保吞噬了中医运维的活,简化了数据中心运营专业度和难度,但是反过来就增加了系统对维保单位的依赖度,就像使用傻瓜相机虽然方便,但是如果傻瓜相机坏了,对于运维来说就有黑盒化不受控的潜在风险和隐患);
　　
　　③由于取消了大流量的循环泵，即使加上西医维保的新增的工作量，总体维护工作仍然大幅减轻。
　　
　　(3)节约时间,安装便利-正向
　　
　　①大量的水系统及末端安装工程简化成单间接蒸发冷却设备安装,将大大节约工程安装时间,能适应客户快速部署需要;
　　
　　②间接蒸发更适合预制化生产与装配式安装,工程产品化,将有利于大幅节约制造、采购、安装总体时间;
　　
　　③对于大型云计算及互联网类对快速部署与响应要求较高的市场需求，当间接蒸发冷却形成一定规模后，当边远地区电力价格优惠空间持续存在时，其增量TCO相比快速部署节约的时间价值不值一提时，间接蒸发冷却将会得到真正大面积应用。
　　
　　(4)生态简单-负向
　　
　　①受限于应用规模,目前间接蒸发冷却在数据中心的应用仍低于10%,不属于主流应用架构,其规模成本、应用能效尚存较大劣势;
　　
　　②对于大多数数据中心运营方,间接蒸发冷却仍然属于新技术,其需要面临新技术常见的信任危机,包括但不限于产品性能、产能、安装与维护能力、价格、可靠性、使用寿命、稳定性等;
　　
　　③对于大多数数据中心运营方,间接蒸发冷却减少维护的优势会与现有维护团队的利益冲突,而使得该方面优势难以发挥。同时对于厂家的维护能力却提出了一个新的更高更快的要求,虽然很多时候承诺的4h必达,或者8h必达,很多时候都没有暴露出问题,是因为现有运营机制能够容忍,而当间接蒸发普及后,相当于原来一部分维护人员应该转移至相应设备厂家门下,相关的设备厂家是否做了相关的战略准备?如果准备不足,或者不够重视,只要出现一次宕机事故将会严重迟缓间接蒸发冷却技术的普及;
　　
　　④对于大多数数据中心运营方,作为新技术的间接蒸发冷却要颠覆传统架构,除了对于大型云计算及互联网类对快速部署与响应要求较高的市场需求的时间节约优势外,并无其他显著优势,来推动颠覆。
　　
　　(5)持续供冷投入增加-负向
　　
　　①在规范没有突破前,弱势数据中心运营方(非定制运营方)往往需要数据中心A级证书来辅助证明机房可靠运营实力。而A级认证依据目前最新的规范需要提供持续供冷;
　　
　　②对于间接蒸发冷却(直膨辅助冷却),持续供冷,需要增加相变蓄能材料或者增加UPS容量带压缩机,这意味投入的增加。如果是冷冻水辅助冷却,同样意味着需要增加水系统的投资,其相应的减少维护和节约时间的优势将被大幅抵消;
　　
　　③即使在规范突破后,仅对内外风机进行UPS备电,其UPS容量也大于常规典型架构中不间断供冷UPS容量。
　　
　　4 结束语
　　
　　①间接蒸发冷却在任何地区,节能上相比传统离心机+板换不具备显著优势。(室外侧风机及室内侧风机总功耗与输出显冷量的比值小于12%才基本达到平衡点,按照常规蒸发器设计,其空空换热器阻力应低于160Pa);
　　
　　②间接蒸发冷却节能的根本原因是就近制冷,而非间接或者蒸发。分散制冷,是这个硬币的反面。(分散制冷、压缩机小、无法向大型压缩机一样投入同样的资源提升其与理论压缩循环的性能差异,风冷也无法利用水的超大体积比热来减少两器传热温差与传输损耗);
　　
　　③间接蒸发冷却的核心优势在于就近制冷、工程产品化,节约大量制造、采购、安装、维护时间,便于客户聚焦非基础设施主航道。
　　
　　作者简介
　　
　　付宝福,微信自媒体新一代绿色数据中心首席研究员,《数据中心建设+》编委,发愿生命不息向善不止的数据中心基础设施资深专家,数十年始终专注于数据中心全生命周期运营优化,竭力探索数据中心高效与永续运行之路。
　　
　　　
　　编辑：Harris
　　
　　 "));