液体冷却技术在传统上应用于大型机和学术研究的超级计算机,如今可能很快就会渗透到更多的企业数据中心。要求更高的企业工作负载正在推高功率密度,使数据中心管理人员寻找更有效的空气冷却系统替代方案。
行业媒体向一些数据中心操作人员和供应商询问了将液体冷却推向主流的应用。他们中的一些人并不想透露具体的应用,声称他们将这些工作负载及其冷却方式视为一种竞争优势。
机架部署联想服务器,采用了联想DTN液体冷却系统或位于慕尼黑郊外的莱布尼兹超级计算中心冷却
超大规模的云计算运营商(包括微软、谷歌、Facebook、百度)已经组建了一个研究小组,致力于液冷式服务器机架的开放式规范,但没有说明他们会是否会采用。然而,超大规模库中的至少一类工作负载明显需要液体冷却:GPU加速的机器学习系统,或者谷歌的TPU,企业公开表示的TPU现在使用直接冷却芯片液冷设计。
尽管数据中心运营商对这一技术的应用感到担忧,但一些使用趋势开始出现。如果企业在数据中心支持以下任何工作负载,那么在未来也可能采用液体冷却:
1.人工智能和加速器
近年来,摩尔定律描述的年度CPU性能增长已经放缓。其部分原因是,加速器处理器(主要是GPU,也有FPGA和专用ASIC)也越来越多地进入企业数据中心。
GPU驱动的机器学习可能是高性能计算(HPC)领域之外最常见的硬件加速的应用。然而,在调研机构451Research公司最近的一项调查中,大约三分之一的IT服务提供商表示计划加速在线数据挖掘、分析、工程模拟、视频、其他实时媒体、欺诈检测、负载平衡,以及类似延迟敏感的系统服务。
硬件加速器具有比CPU高得多的热设计点(TDP),通常需要200W或更多的冷却能力,而添加高性能服务器CPU,人们可以看到需要超过1kW冷却能力的单个IT系统。
英特尔公司还将突破其传统设计的服务器处理器的150W的功率限制。“越来越多的人想要更强大的芯片,我们开始看到功率密度正在逐渐上升,”Uptime Institute公司执行董事Andy Lawrence表示。
机架密度正在上升。大多数数据中心正常运行的机房中现在至少有一些超过10kW的机架,而20%的数据中心中甚至部署了30kW或更高的机架。但这些负载不被视为高性能计算。“只是说他们的工作负载部署了更高功率密度的机架。”Lawrence说。
“如果人们将GPU与英特尔处理器放在一起,他们的功率密度可能会达到以前的三倍。”他说。液体冷却显然适合这些加速器,特别是浸入式冷却,可以冷却GPU和CPU。
2.冷却高功率密度存储
如今,存储密度持续增加,并且有效冷却存储可能很困难。数据中心的大部分安装存储容量都是由非密封的硬盘驱动器组成,不能要用液体冷却。然而,新技术在这方面更有希望。例如,固态硬盘驱动器可以使用全浸入式解决方案进行冷却。此外,在最新一代存储硬件中创建支持高密度、高速读/写头的氦气密封单元,使其适用于液体冷却。
正如451Research公司的调查报告指出的那样,固态硬盘和充满氦气的硬盘驱动器的组合意味着无需将风冷存储与液冷处理分开。提高硬盘驱动器的可靠性还有一个好处,因为在冷却液中浸入驱动器可以减少热量和湿度对组件的影响。
3.边缘站点的冷却
减少当前和未来应用程序延迟的需求推动了对网络边缘新一代数据中心的需求。这些可以是无线塔台、工厂车间或零售店中人口稠密的远程设施。它们可能会越来越多地托管高密度计算硬件,例如用于机器学习的GPU封装集群。
虽然并非所有边缘数据中心都是液体冷却的,但许多边缘数据中心将被设计用于支持在传统冷却选项无法使用的密闭空间中的繁重工作负载,或者在新的部署中,没有使用传统冷却的先决条件。因为它降低了能源消耗,液体冷却使得更容易部署在高容量电力馈送无法使用的地点的边缘站点。
在Lawrence的估计中,多达20%的边缘数据中心可以使用液体冷却。他设想熄灯运营微模块化高功率密度数据中心的每个机架支持40kW。
4.高频交易和区块链
许多现代金融服务工作负载都是计算密集型的,需要高性能的CPU以及GPU。这些包括高频交易系统和基于区块链的应用程序,如智能合约和加密货币。
GRC公司的技术曾被称为“绿色革命冷却”,一家高频交易公司正在测试其浸入式冷却解决方案。供应商也看到了有史以来最大的销售飙升,在2017年底比特币价格开始飙升的时候,当时推出了用于加密货币采矿的浸入式冷却产品。
GRC公司首席执行官Peter Poulin表示,特立尼达和多巴哥的一家客户正在以每机架100kW的功率密度运行加密货币服务,并将一个温水冷却回路连接到蒸发塔。由于温水冷却比冷水冷却更节能,因此可以在没有机械冷却器的热带条件下运行。
5.冷却费用昂贵
当空气伴系统无法处理更高的功率密度时,液体冷却更具意义。
地球科学研究机构CGG公司使用GRC公司的沉浸式冷却系统为其休斯顿数据中心降温,在数据中心进行地震数据处理,在商用服务器上使用功能强大的GPU,每个机架消耗高达23kW。这是相对较高的功率密度,但这种功率密度通常采用空气冷却。CGG公司高级系统部门经理Ted Barragy说:“我们将沉重的计算设备放入沉浸式水箱进行冷却。但是,与沉浸式经济学相比,应用程序工作量并不是那么多。”
在升级过程中,浸入式冷却取代了CGG数据中心的传统冷却设备。根据Barragy的说法,由于系统升级,该团队恢复了几兆瓦的电力容量。即使经过几年的添加服务器和沉浸式冷却,他说,“我们仍然拥有半兆瓦的电力容量,这是一个古老的传统数据中心,其功能的一半用于低效的空气系统。”
Barragy表示,沉浸式冷却数据中心的PUE约为1.05。这比其休斯顿数据中心的另一个更新但却采用风冷的CGG数据中心还要好,其PUE为1.35。
“很多人认为这只是每机架60kW到100kW的高功率密度解决方案,但对于我们的主流客户来说还有其他显著优势。”Poulin说。
Uptime Institute首席技术官Chris Brown表示,他对液体冷却的兴趣普遍增加。这得益于更高能效和更低运营成本的承诺。
他说,“数据中心管理人员关注的话题不只是围绕超高密度,而是冷却任何IT资产,它正在进入更常见的密度解决方案和更多普通的数据中心。”
编译:Harris