一、某机房现状分析
　　
　　1.机房基本情况
　　
　　本次研究选取了某运营商数据中心典型机房作为研究对象,该机房面积为408m2,采用传统下送风布局方式,高架地板高度为60cm,机柜为标准3.5kW机柜,送风方式为下进风后出风。地板下送风设计,机房平面布局图如图1所示：
　　
　　2.机房热负荷分析
　　
　　从典型机房的特质分析:如图1所示的机房为无人值守机房,该机房长22.65m,宽18m,高3.6m以机房边界隔热条件完好为前提,主要热源来自机房内的IT主设备、少量照明、消防等保障设备[1],同时IT主设备以显热为主,考虑功耗都转为热量,另加建筑围护结构的传导热以80W-100W/平方米,本文以90W/平方米计算。
　　
　　该机房内共148个机柜,单机柜设计功率为3.5kW;全部为柜内底部进风、后/上出风的散热设计;机柜内为主要为服务器和网络设备,远期设计负载约为518kW,目前IT设备运行总功率约为130.8kW。
　　
　　机房内发热量为Q=130.8kW+0.09*22.65*18=167.49kW
　　
　　3.机房制冷能力分析
　　
　　机房两侧装有7台某品牌下送风精密空调,单台制冷量为100kW,送风量单台为40000m3/h,机房空调冷量足以冷却机房内部热负荷,并有较大冗余。
　　
　　但机房存在制冷能耗高和局部热区问题[3],判断是由于部分服务器反向安装,导致向机柜热通道吸风,向冷通道排风,同时功率较大服务器集中布置,部分区域热量需求远大于其他区域[4],造成冷量不能有效送达,通过对每个机架封闭冷通道1.2米的高度总计152个温度测点进行了测量,相关测点的温度分布如图2所示:
　　
　　目前典型机房内空调运行及设定情况如表1所示:
　　
　　根据空调的回风温度设定,在机柜1.2m高度的进风区间应在22℃至25℃较为合理[5],测温结果显示:19℃至22℃温度区间总计有23个占到总比例的15.13%,该部分区域存在冷量过多情况。同时超过26℃有8个点,占到总比例的5.26%,存在部分区域进风较热。结合以上数据,某典型机房存在冷量分配不均匀问题。结合现场运维情况发现,在解决IT负荷较高的局部热区时,输送给IT负荷较低区域的冷量过多,因此造成部分区域进风温度较低,无法充分利用冷量,部分典型机架的功率-冷量比如表2所示。
　　
　　4.优化前制冷负载系数CLF（Cooling Load Factor）计算
　　
　　CLF(Cooling Load Factor,制冷负载系数)定义为数据中心制冷设备耗电与IT设备耗电的比值,是衡量数据中心机房节能程度的最重要指标,即:CLF=PCooling/PIT,式中PCooling为制冷设备耗电,PIT为IT设备耗电结合现场3天采集的综合数据,CLF计算结果如下:
　　
　　(1)IT设备的用电量:从列头柜机房现场采集的IT设备功耗表我们可以得出该机房的IT设备总用电量为9417.6kWh。
　　
　　(2)空调部分:空调系统为风冷型精密空调。
　　
　　根据对应空调配电柜电量统计,空调机组能耗为4449.6kWh。
　　
　　优化前该典型机房CLF=PCooling/PIT=4449.6/9417.6≈0.4725
　　
　　二、CFD建模分析
　　
　　1.CFD建模概述
　　
　　基于以上典型机房物理结构、热负荷、冷量数据等属性的概述,着手进行CFD建模建立,保证模拟工况的准确性。建立的三维模型包括:
　　
　　(1)建筑围护结构、门、窗、梁、柱、通风口、照明设备等。
　　
　　(2)高架地板,地板通风格栅,吊顶开孔、通风口等。
　　
　　(3)机柜:网络机柜、服务器机柜、交换机、服务器等IT设备。
　　
　　(4)电力系统:列头配电柜。
　　
　　(5)空调:下送风精密空调。
　　
　　(6)送风系统:风机,风管等。
　　
　　(7)走线架:强电走线架、弱电走线架等。
　　
　　按照机房实际长宽高建立模型空间,建立可能影响出风与回风的立柱及横梁,以实际架空地板高度0.6m处建立架空地板,将7台空调、8列头柜及机架按照实际大小及安装位置建模,如图3所示:
　　
　　由于典型机房机柜采用的是下进风后出风模式,因此需要对前进风后出风机柜模型进行调节优化。每个机柜中按实际情况建立斜挡板导风、封闭进风口、调整出风开孔率、调整服务器安装位置、按照实际情况将每个机柜中的服务器按U位建入其中并进行盲板封闭、按实际情况设置每台服务器的能耗,如图4所示:
　　
　　2.CFD建模仿真数据校验
　　
　　经过前期模型校准,机柜进风温度的模拟值已与现场实测值接近,仿真数据与现场测量数据对比如表3所示。
　　
　　经过比对,最大误差不超过6.5%,基本可以认定仿真数据有效。
　　
　　同时对进出风风速进行抽样综合比对，现场机柜各点风速与CFD模拟数据接近一致，空调回风风速、下送风风速由于测量条件限制有4%-6%的误差。
　　
　　3.CFD建模结果分析及优化思路
　　
　　通过运用CFD软件对某典型机房进行的模拟,对比现状的校验和数据分析,某典型机房存在以下的情况和问题:
　　
　　问题1:机房实测IT设备入口温度范围为18.5℃～35.7℃,温度差为17.6℃,通过模拟发现现场开启的5台空调,输出制冷能力虽然远高于现场实际需求,但由于冷量分配的不均,热区满足散热需求的情况下,低负荷区域温度已低于20℃,出现冷量过剩情况,如图5A-B列的温度分布,该现象尤为明显,造成能耗的损失。
　　
　　问题2:根据计算及现场测量,单列机柜前后进风量不均,距离空调最近的机柜由于架空地板下风速过高[9],实际输送至机架内部的风量较小,如图5B列的机柜进风风速所示,两端进风量小,中间进风量大。
　　
　　问题3:空调风机横置安装,出风并非均匀向前,同时受建筑立柱影响,部分区域存在涡旋现象,造成风冷的损失,气流分布不均。
　　
　　优化策略分析:通过建模以及实际数据测量,某典型机房存在问题的分析,通过CFD工具对可行的策略模拟计算和经验论证,同时在现场完成优化策略的实施,验证策略的有效性。
　　
　　策略1:根据CFD软件模拟的结果,对于过冷域,调节对该区域影响最大的空调,提高空调回风温度并降低送风风速,消除存在的冷量过送问题[10]。策略2:对于高负荷区域及部分机柜进风不足问题,采用主动将气流导向机柜措施[11-13]。为了起到良好的导流效果,挡板按一定夹角放置,同时,为了保证后方的空气流通,我们将挡板中间挖空,使得下半部分的风可以从中穿过,如图6所示。
　　
　　策略3:机柜缝隙封堵,阻止了冷空气从机柜底部开口直接进入热通道造成冷量浪费,并提升空调的回风温度,提高空调运行效率。通过加装地板下导流装置使气流组织更有序化,将冷空气送到指定区域,从而消除各列机柜底部风量波动[12],同时也减少了特定区域的温度不均匀现象,改善前后如图7。
　　
　　三、优化后数据结果分析
　　
　　1.现场空调参数调整
　　
　　根据热负荷模拟,空调运行模式可以从5+2优化为4+3,同时提升2台空调回风设定温度,降低4台开启空调的风机转速,现场根据模拟结果进行了实际调整,更改后如表4所示
　　
　　2.现场导流板安置
　　
　　根据模拟,现场对A-C列功耗较高区域进行导流板安置,在每列头部1#2#机柜及尾部18#19#各安置一块导流板。安置挡板对于对应机柜的散热有着显著的帮助,将机柜内温度降低3.7度,散热温度降低3.3度,改善效果如表5前后对比所示:
　　
　　通过挡板安置前后的数据对比，可以发现气流导流对改善下进风机柜具有针对性效果，同时该方案有很强的可调配性，可以根据现场需求，调整挡板间夹角和位置，调整挡板下挖去部分的大小等。
　　
　　3.局部热区、冷区消除
　　
　　通过空调的温度设定、风量设定的优化,同时辅以导流装置,再次对每个机架封闭冷通道1.2m的高度总计152个温度测点进行了测量,温度分布情况如图8所示,对比优化前,22℃以下数据点下降43.48%,温度主要分布在23℃-26℃的合理区间中,温度仍大于27℃的测点经过排查,为服务器安装方式问题,风扇排风在冷通道中,
　　
　　4.优化后制冷负载系数CLF计算
　　
　　结合一周的现场采集综合数据,CLF计算结果如下:
　　
　　(1)IT设备的用电量:从列头柜机房现场采集的IT设备功耗表我们可以得出该机房的IT设备总用电量为22939.2kWh。
　　
　　(2)空调部分:空调系统为风冷型精密空调。根据对应空调配电柜电量统计,空调机组能耗为9679.6kWh。优化后CLF=PCooling/PIT=9679.6/22939.2≈0.4219,对比优化前提升提升10.7%优化后的热点分布如图8所示。
　　
　　四、结论
　　
　　气流优化是实现风冷数据中心能耗优化的一项重要措施,本文通过对机房现场问题的分析,以机房CFD建模作为主要分析工具,通过模型的校验、数据对比中发现造成机房实际能耗偏高的问题原因,针对性进行优化策略的制订,同时在现场部署前,通过对优化策略进行模拟,验证策略的有效性,也验证策略的安全性,确保机房运行的安全。通过在典型机房的试点,该优化方法取得了良好效果,可为类似情况提供借鉴。
　　
　　作者简介
　　
　　杨灵泉,1990年,男,上海,硕士,工程师,运营中心副经理,多年从事数据中心运营维护工作,历经上海电信多个超大型数据中心的交付验收,带领团队获得漕盈数据中心uptime M&O认证,参与真如数据中心uptimeT4设计认证等,具有丰富的数据中心基础设施规划设计、运行维护经验。
　　
　　编辑：Harris