1 前言
　　
　　2021年4月23日,“2021第十届中国数据中心及电气设计高峰论坛”期间,CDCC首次推出全新栏目【Deep-DiveSessions】深度会话,聚焦行业热点和痛点话题,邀请业内资深人士,就闭门会的主题展开深入的探讨。首期以热点“数据中心间接蒸发冷却技术“为主题,成为本届高峰论坛的一大亮点,会议就“数据中心间接蒸发冷却技术”八大爆点议题进行了详细充分的探讨,给业内带来更多的理性思考,使各方深入了解技术本身的利弊和适用场景,洞悉技术背后的驱动因素。以下为本次会议的八大议题要点:
　　
　　①数据中心间接蒸发冷却技术对传统冷冻水系统、风冷直膨系统的差别与探讨;
　　
　　②目前数据中心应用间接蒸发冷却技术有哪些痛点?有无解决方案?
　　
　　③数据中心间接蒸发冷却技术的空间设计探讨;
　　
　　④数据中心间接蒸发冷却设备芯体换热效率、寿命、可靠性分析及水处理探讨;
　　
　　⑤数据中心间接蒸发冷却技术,在“碳中和”形势下如何发展和变革?
　　
　　⑥数据中心间接蒸发冷却技术发展,最大的推动因素是什么?
　　
　　⑦数据中心间接蒸发冷却设备的价格趋势和产业发展状况讨论;
　　
　　⑧数据中心间接蒸发冷却技术的未来:爆发式增长?平稳增长?
　　
　　本次深度会话的专家观点内容较多,部分观点也比较尖锐,因篇幅有限,本文仅就议题之中的部分内容进行摘录和分析。
　　
　　蒸发冷却技术分类众多,自CDCC《数据中心间接蒸发冷却技术白皮书》发布以来,间接蒸发冷却技术在国内数据中心行业异常火爆,被追捧为有效降低PUE值的“利器”,成为各方关注焦点,甚至成为部分数据中心首选的节能技术之一。本次会议和本文仅讨论间接蒸发冷却技术。
　　
　　间接蒸发冷却技术在应用中存在诸多争议,发展前景众说纷纭,力挺和质疑并存。据说有相当数量的业主在做数据中心前期规划时,当设计单位采用该项技术,会被询问“为什么采用”;当设计单位未采用该项技术,会被询问“为什么未采用”。还有一些业主尤其青睐间接蒸发冷却技术,点名要求必须采用。

   表1为蒸发冷却技术和设备的分类。CDCC后续发布了另外一本《数据中心蒸发冷却冷水系统及高效空调末端集成技术白皮书》,同样引起了业内广泛的关注。
　　
　　很难有哪一种技术能够满足“既要”+“又要”+“还要”的所有要求。间接蒸发冷却技术作为近几年在国内异军突起的节能节水技术,当然也体现了这样的难度特点。任何一种技术都有其利与弊,当然也会有各种不同的观点,尤其越是热点,业内能听到的赞成和反对的声音就越多,能够成为热点的技术必然面临褒与贬的考验。
　　
　　技术本身存在多面性,从不同的角度观察其各个面,会得出不同的结论,用多面性的视角分析技术,用多面性的方法多向评估,选择适合的才是最优的。
　　
　　是亦彼也,彼亦是也,彼亦一是非,此亦一是非。——《庄子·内篇》
　　
　　2 技术之争
　　
　　关于在数据中心项目中的间接蒸发冷却技术,作为一种相对创新的应用,其与传统冷冻水空调系统、风冷直膨系统两种技术之间存在什么差别,行业内争论已久,存在不同程度的分歧,各有说辞,本次会议和本文无意表达谁优谁劣,旨在充分探讨间接蒸发冷却技术与这两种主流技术之间深层次的差异。
　　
　　(1)从造价方面考虑
　　
　　部分与会专家(当然也包括有不少业内同行)认为间接蒸发冷却的整体投资成本高于传统冷冻水系统,在当前项目建设招标中没有价格竞争优势,况且传统冷冻水空调系统也有低PUE值的优秀案例,所以并不推荐间接蒸发冷却。事实上,经过几年的快速发展和大量落地应用,间接蒸发冷却出现了成本的快速大幅下降,传统冷冻水系统的造价成本则一直保持相对稳定或微调。在某些因素比如条件对等、冗余对等、互联网公司集采等前提条件下,间接蒸发冷却的建设成本低于甚至远低于传统冷冻水空调系统的情况已成事实。非互联网公司的情况虽未经普遍验证,但业内部分案例也显示比较接近的结论。当然,因为项目的个性化,市场上可能存在不同的状况和结论。
　　
　　(2)从系统可靠性考虑
　　
　　行业内大型数据中心往往倾向于采用传统集中冷冻水系统,认为是技术路线成熟,多年广泛应用,稳定可靠。所以强调高可靠性的数据中心,比如大型金融数据中心,基本会选择传统集中冷冻水系统,而小型金融数据中心会选择风冷直膨系统。不过,经过几年的成熟应用,间接蒸发冷却因其产品化、模块化的部署方式,通常不必担心有系统性的重大故障,故障则体现在产品的层面,选择间接蒸发冷却技术的业主单位表达出对可靠性的不同理解。
　　
　　(3)从运维工作量看
　　
　　间接蒸发冷却和传统空调水系统相比,夏季维护量基本相当,而从全年看间接蒸发冷却肯定有优势,尤其是冬季基本不需要维护,对运维的挑战相对较低,有业主认为采用间接蒸发冷却可以不必像传统冷冻水空调系统那样“操心”,体现出其运维的优势。
　　
　　(4)从应用角度看
　　
　　传统冷冻水系统多年居于大型数据中心的最大份额,成熟应用是其最大的因素,尤其是安全要求高的数据中心,源于各种规范均有关于传统冷冻水系统的技术要求,建设中从设计到投产的各个环节均有相关标准可循,可操作性强,所以获得长期认可。而间接蒸发冷却在数据中心领域相对年轻,大型项目的成熟案例较少。但传统冷冻水空调系统的工程化属性与数据中心分步建设和弹性灵活部署是较难调和的矛盾,运维难度较大。随着间接蒸发冷却技术和自然冷却风冷直膨系统的不断创新进步,这两项技术也出现了较高运行效率和低PUE值的案例,在产品化、模块化、弹性灵活、少运维工作量等方面优于传统冷冻水系统。在互联网企业已经出现越来越多间接蒸发冷却的大型甚至超大型案例,带自然冷却创新技术的风冷直膨系统也开始进入大中型数据中心项目。从目前看,这两者存在较大的上升空间。而传统冷冻水系统也有较多议论,尽管业内也有优秀案例,但终究因其与弹性灵活相悖的工程化属性,而受到业内一些质疑。近年来笔者本人主持和参与的大型和超大型数据中心设计案例中,鲜有达到100%的IT负荷,其后果就是跟随IT负荷的增加以及甲方、甲方的甲方(即最终用户)思路的变化,设计单位改不完的图!比如传统集中水系统的水力平衡,每次一定程度的改动都应该重新校核管径,如遇到系统性的重大修改,就不仅仅是校核,而是需要重新布置和重新计算整个水系统,更甚至遇到已经施工到一定程度的项目,只好在原有系统上打补丁、补丁上再套补丁,影响工程质量和交付周期。通常工程项目越大,则改动也越大,改改改!设计师永远的痛!如果说痛点,这也算是传统集中水系统的痛点之一。笔者赞成合理选用传统集中冷冻水系统,经手的数据中心案例之中最多的恰恰是集中冷冻水系统案例。从多年的数据中心设计经验的积累看,强烈建议合理控制冷源系统的颗粒度!同时系统的布局要精准结合机柜建设进度!要综合考虑运维的便利和成本!一个好的设计方案,应该站在项目的全寿命期的角度看,设计、施工、产品设备、运维管理等各方面都能够兼顾,更重要的是方案对业主带来的灵活性和低成本运行,而非仅仅PUE这一项指标。业内出现的采用集中冷冻水系统的优秀案例无一例外均是在颗粒度选择方面做到最佳。

  当然,至今为止,似乎还没有哪一项技术没有被质疑过。那么传统的水冷集中空调系统的痛点如何破解呢?请关注CDCC在编的《数据中心高效集成冷站技术白皮书》。
　　
　　3 技术之痛
　　
　　间接蒸发冷却技术和传统冷冻水系统这两种方案中,间接蒸发冷却设备厂商和设计单位的配合关系相对前置化,也就是在设计方案前期就需要按照间接蒸发冷却特有的技术要求进行,甚至不同的厂商提出的土建配合要求也不尽相同,甚至存在较大差异,这就为项目的实施带来较大的困惑。曾有设计单位诉苦,在设计阶段往往无法确定中标厂商,难道按照3家厂商的资料出3份图纸吗?设计单位认为不合理,也很纠结。而按照传统冷冻水系统进行设计的项目,或者建筑形式已经确定的项目,或者设计方案已经报批完成的项目,如果想要改为间接蒸发冷却技术,将会比较困难,尤其是在一线城市。毕竟是属于空气冷却方式,空间和占地问题是间接蒸发冷却不可回避的一个弊端,这也是目前业内公认的。在一线城市土地资源紧张的情况下,间接蒸发冷却未来发展的空间受限,二三线城市由于土地资源相对宽松,可能会是未来间接蒸发冷却转移战场的重点发展区域。
　　
　　间接蒸发冷却的另外一个短板是受气候条件的严重限制,不同气象参数带来不同的风机的参数以及DX或CW的配比。另外,气流组织、芯体材质和片距,对于换热量和风机耗电量的最佳匹配有着至关重要的影响,当然进而影响PUE。随着机房室内温湿度范围要求的宽泛趋势和升温趋势,间接蒸发冷却也逐步在发生改变,其应用的区域场景已从西北逐步往东南方向挺进,即使在深圳也有应用案例,只是相对北方案例的效率有所降低。
　　
　　COLO公司认为客户需求就是技术导向,客户的变化导致冷、电、建筑面积三者之间会出现难于预估的结果,他们对灵活性有更强的诉求,希望持有更多的机柜和更低的运行成本,对于间接蒸发冷却又爱又怕,爱的是节能和低成本运行,怕的是影响出柜率。
　　
　　不少专业人士表示如果选址于北京,估计很难会采用间接蒸发冷却,空间与占地是间接蒸发冷却难以回避的痛!
　　
　　4 国内外之对比
　　
　　(1)美国Sabey昆西数据中心
　　
　　Sabey Quincy(昆西)数据中心采用单平层结构,建筑层高7.2m,空调系统采用间接蒸发冷却,直接膨胀式(DX)制冷系统作为冷量补充。空调系统为模块化结构,安装在建筑楼顶,鉴于Sabey的经营模式,完全可适应模块化建设的节奏和要求。

  在长达6年的运行中,该项目的间接蒸发冷却机组承受了诸如森林火灾,沙漠的高硬度地下水等恶劣环境的考验,独特的聚合物间接蒸发换热器无需任何软化水处理,同时可以通过特殊的自清洁功能,始终保持高效率运行,在满负载整体系统测试中,记录下的顶峰PUE值为1.25,年均PUE值为1.16。连续三年被美国能源部评选为能源之星。(资料摘自CDCC《数据中心间接蒸发冷却技术白皮书》)
　　
　　(2)美国Supernap数据中心
　　
　　间接蒸发冷却在美国案例众多。但在欧洲却并未成为主流,虽然也有部分项目实际应用,但近几年来主流方式返回到风冷式冷冻水方案,而非水冷。这种现象背后的原因复杂,据行业人士分析,除了业务模式以外,和欧洲对于水源和水质的管理、用水成本、人工成本、维护成本、设备可靠性以及环境保护等众多因素相关。
　　
　　(3)法国巴黎COLT数据中心
　　
　　巴黎Colt数据中心位于法国巴黎市,建筑整体分为2层,每层层高约7m,建筑整体高度14m。每层部署一个数据中心,每层机房面积约5000m2,形成了上下2层共2个模块机房。采用间接蒸发自然冷却机组,每台设备显冷量为320kW,每层机房模块配置6台机组,采用5+1冗余配置。每台设备均配置部分制冷量的DX辅助制冷单元。(资料摘自CDCC《数据中心间接蒸发冷却技术白皮书》)
　　
　　(4)国内相关的数据中心
　　
　　早几年国内专业人士到国外参观时,中国数据中心整体技术水平尚处于相对落后的状况,国外眼花缭乱的技术令人大开眼界,国内普遍认为国外技术领先于国内。既然间接蒸发冷却在欧洲没有前景,那在国内也不会有大发展。但事实正相反,间接蒸发冷却这一项传统技术在中国南北大地如火如荼,遍地开花。分析主要原因,归于中国的数据中心建设量最大,产品用量最大,需求最大,有需求就有创新的动力。所以在间接蒸发冷却技术领域,中国做到了应用规模最大,产品研发和应用水平也居于全球领先。
　　
　　从另一角度分析,新基建以来,中国如此大规模的数据中心建设体量,无论哪一种技术都可能存在广阔的发展空间。事实证明,除了间接蒸发冷却以外,DX氟泵自然冷却、液冷、预制化模块等等多项技术都得到很大的推动。纵观全球,间接蒸发冷却和小母线、高压直流等技术一样,也就在中国得以快速批量的落地应用。拿国外的状况和路线完全套用在国内的发展上是不客观的。
　　
　　客观来说,欧洲的理念有其道理。国内已经逐步开始重视用水管理和WUE管理,国内的人工成本越来越高,对于水资源和环保等方面的重视程度越来越大,对水资源的严格控制和管理,很可能会出现把WUE类似于PUE那样严格的规定,未来少水甚至无水的方案会更加被推崇和重视。间接蒸发冷却作为一种节能和节水的技术,必然有其存在的价值和空间,这一点在近几年已经得到验证。从某种意义上说,在北方寒冷地区,兼顾各种因素,有专家表示采无水方案的DX氟泵变频自然冷却在未来很可能也会成为兼顾高运行效率、低运行成本和高可靠性的首选技术之一。国内数据中心大发展,各项技术也都在改进中,蒸发冷却相关单位包括设备厂商也在积极开拓和研发创新,国内已出现几个5-6层的多层数据中心应用案例,节能节水性能甚至包括空间和成本也相对几年前有了大幅改进,逐步显现出相关方尤其是设备厂商对未来市场的信心。
　　
　　不同的技术有不同的适用场景,短期看,间接蒸发冷却还会持续呈现上升通道,毕竟其优势也非常明显。
　　
　　5 推动因素
　　
　　数据中心间接蒸发冷却技术的大发展,其背后最大的推动因素是什么?业内人士尤其是设计单位和厂商普遍认为是数据中心发展迅猛,单体能耗高,间接蒸发冷却技术对节能的贡献率大,加上国家和部分城市出台PUE的限制政策,各方面推动了间接蒸发冷却技术的大发展。
　　
　　但与上述观点不同的是,用户侧并非这么看问题,用户企业尤其是大型互联网企业的目标是业务驱动下的快速建设,用户企业最核心的是什么?是业务!而业务最在乎的是什么?是快速交付!而且是模块化快速交付!投资成本和运行维护成本以及选择哪种技术和如何使用技术,都尚且不能算作第一考量要素。由于互联网企业对未来发展方向和发展速度不易把握,如果某项业务市场反馈好,发展就会非常快,这时候降低建设成本和降低PUE值就不是最重要的,而快速部署和尽快开展业务将成为第一要素,凡是适用于快速部署的相关技术就会被推动起来,间接蒸发冷却技术正是在这样的土壤中生根发芽,茁壮成长,甚至是铺天盖地。但反之,如果某项业务发展不理想,则该业务需求以及相关技术需求随之降低。
　　
　　技术的发展依赖于业务的需求和驱动,按需建设和灵活部署是关键需求,而间接蒸发冷却刚好符合,对财务是最有利的,这就是间接蒸发冷却在大型互联网企业得以大规模推动的最核心的因素。而这与技术人员的思维模式有很大的差异化。

   从今年4月26日开始,北京市发改委对《关于进一步加强数据中心项目节能审查的若干规定》征求意见。根据征求意见稿,北京市数据中心项目将进一步加强节能审查,要求项目逐年提高可再生能源利用比例,在2030年达到100%。征求意见稿明确指出:对于PUE值>1.4且≤1.8的项目(单位电耗超过限额标准一倍以内),执行的电价加价标准为每度电加价0.2元;对于PUE值>1.8的项目(单位电耗超过限额标准一倍以上),每度电加价0.5元。随着双碳的压力,未来很有可能会出现PUE不达标的一票否决制。随着各地严格的限制政策出台,设计单位在未来非常有可能会面临一种新的状况,即数据中心项目的业主方要求设计单位提供最低PUE的方案。在这个场景和政策及市场等多重因素的共同作用下,尤其是北方一线城市和其周边城市,其气象条件适合,间接蒸发冷却和DX氟泵自然冷却如果能够满足当地PUE的限值,业务模式将不再成为决定性因素,真正PK的就是技术因素了。

   硬币有两面,技术本身的前前后后,都有着深层次的关联。
　　
　　6 未来趋势
　　
　　国家政策调控的大趋势是在一线城市越来越严控数据中心建设,虽然一线城市的需求大,但是运营成本高,市场规律自然会选择离开一线城市,而往资源丰富的地区发展。在这种大趋势下,技术因素的重要性也会得以相对提升,技术的发展还会出现很大的变化,间接蒸发冷却的主战场也会随着市场的迁移,而往二三线城市以及资源丰富地区迁移,那里土地资源相对丰富,空间不成为限制条件或者限制较小,间接蒸发冷却方案与其最适合的大平层建筑方案相得益彰,再加上合理选址带来的气候优势,适合的气象条件可以真正发挥间接蒸发冷却的优势。
　　
　　在国内新基建和碳达峰碳中和的形势下,给低碳节能技术带来了广阔的发展空间,包括间接蒸发冷却在内的各项节能技术,不断优化设计、优化产品、优化应用,迎来了历史性的机遇和重大的发展空间。
　　
　　在此感谢与会专家分享了宝贵的观点。CDCC的【Deep-Dive Sessions】深度会话将会持续密切关注行业热点与痛点技术,开展各种形式的技术研究,给数据中心行业贡献更多的技术文献。
　　
　　作者简介
　　
　　罗志刚,1970年3月生,高级工程师,注册公用设备工程师(暖通空调)。长期从事数据中心行业的设计咨询和产业研究工作,研究方向为数据中心能源综合规划、空调制冷、低碳节能技术,以及数据中心领域行业与市场分析、技术与发展趋势等方面。

编辑：Harris