随着数字经济进一步高质量加速发展，数字产业集群优势愈发明显。根据《中国数字经济发展研究报告》：2022年我国数字经济实现了更高质量发展，数字经济规模达到50.2万亿元，同比名义增长10.3%。内蒙古自治区作为承接国家“东数西算”战略的八大枢纽节点之一，其存量大型和超大型数据中心也面临新业务的持续增长。IDC数据中心作为数字经济重要基础设施和载体，其运行稳定性、系统冗余性、保障重要性更加凸显。伴随业务增长而来的需求，是对基础设施的扩容和优化，其中冷源的扩容至关重要，制约冷源扩容的，包含电力、群控等多重因素。
　　
　　1 研究基础
　　
　　针对数据中心空调系统的扩容，高萌等[1]进行过相关研究，但其研究是对数据中心现有空调系统技术的分析对比，包括直接新风技术、间接蒸发冷却技术、空调热管技术等，未针对高压离心式冷水机组扩容的实际案例进行剖析，也未对具体冷源扩容的制约因素进行探讨。本研究主要从制约既有数据中心冷源扩容的适配性、配套电力容量、冷源群控等关键问题进行论述。
　　
　　2冷源扩容
　　
　　根据GB50174－2017《数据中心设计规范》[2]关于各级数据中心技术要求中对冷源的规定，以及《中国电信绿色数据中心建设技术要求（暂行）》5.1.5章空调系统配置原则中A级和B级机房的冷水机组配置原则，冷水机组应采用N+1的配置方式。
　　
　　某大型数据中心位于内蒙古呼和浩特，当前冷源配置为3台制冷量为7032kW（2000RT）的10kV高压离心式冷水机组；2用1备。终期可提供14064kW的冷量。得益于当地干燥低温的气象条件，现状冷源采取水侧自然冷却模式，利用全变频水冷冷水机组+板式换热器+开式冷却塔（冬季采用冷却塔做为冷源、过渡季节作为预冷）的制冷系统实现最大限度节能和降低PUE。
　　
　　根据现场实际运行记录，随着该大型数据中心业务能力提升和IT负载的增加，预测不增加冷机的情况下，在2023年8月～9月份两台主用冷机白夜平均负载率将达到86.7%。其中白天冷机最高负载率预计90%以上，冷机存在停机风险。如启用备用机组，则数据中心将无可用备用冷源。从运维安全和冷源冗余的角度，需要对冷机进行扩容。
　　
　　2.1设计与实际IT负载
　　
　　设计IT负载：某大型数据中心当前满配可布置共计127列、2477台标准机柜。根据前期设计原则，该数据中心配套一期建设平均功率5kW服务器机柜904个；配套二期建设1573个服务器机柜，其中7kW机柜1411个，4.5kW机柜162个。合计设计IT负载为15334kW。实际IT负载：当前数据中心实际建设共计2477个机柜，当前已加电2274个，加电率92%；已加电机柜额定总功率14045kW，占设计总功率的91.6%；已加电机柜中当前已使用8963kW，使用率63.8%。根据运行数据，自2021年4月至2023年4月，数据中心机柜总功率呈现不断增长的趋势，年度增长率接近15.4%。
　　
　　2.2冷源容量与实际负载
　　
　　该数据中心在建设初期，即考虑土建一次建设、机电分期建设的原则。根据实际机柜上架率逐步完善机电配套和冷源系统。
　　
　　当前冷源建设于2015年，在制冷站配置3台制冷量为7032kW（2000RT）的10kV高压离心式冷水机组；2用1备。终期可提供14064kW的冷量。同时在制冷站预留1台冷水机组的设备基础，并预留屋面冷却水管道接口。
　　
　　调取2021年4月至2023年4月的运行数据，实际IT负荷呈现不断上升的趋势，在冷机数量不变的情况下，冷机的负载率逐年升高，且负载率在冬夏典型季节增长率不同，夏季负载率增长较高。预测2023年8月将超过90%，不利于冷水机组的长时间运行。
　　
　　同时，设计IT负载的需求制冷量可按照实际负载的0.9考虑；考虑供配电设备发热，按照发热系数10%考虑，同时考虑建筑冷负荷要求，按照100W/㎡计算，全楼约18400㎡，可得制冷量总需求为Q冷=15334×0.9×1.1+18400×0.1=17020kW。综合考虑建筑负荷、UPS/变压器负荷、新风负荷等，空调系统终期制冷负荷为17020kW，终期制冷负荷＞现状冷源容量。
　　
　　综合考虑2021~2023年实际运行中冷机的负载率增长情况和终期制冷负荷需求，结合冷源群控和运维的便利性，扩容冷源宜和既有冷源的制冷量保持一致；且考虑现状3台冷机已投产8年，其制冷效率产生了一定的衰减，后续可将新扩容冷机作为主用冷机使用，扩容后，4台冷机3用1备，交替轮换备用。
　　
　　2.3冷源扩容方案
　　
　　根据T/CECS1012－2022《高效制冷机房技术规程》[3]等相关规定，冷水机组台数及单台制冷量的选择，应符合空调负荷变化规律及部分负荷高效运行调节的要求。数据中心对制冷的要求为365d×24h全年运行，且显热负荷远大于其他负荷，对冷源的要求较为稳定。
　　
　　根据前述2021～2023年的实测运行数据，IT负载逐年增加，且伴随新型数字经济的高速增长，原设计的IT总容量和单机柜功率均呈现增加的趋势。现状2477个机柜中，仅有1411个7kW机柜，其余机柜为4.5和5kW机柜。根据业务动态调整和实际带载业务的变化，未来3~5年计划将所有机柜均改造为7kW机柜；局部机房考虑采用水氟换热器和热管背板末端，将单机柜功率提升至12kW（约400个机柜）。整栋数据中心预测2028年IT负载将达到19339kW，总制冷量需求约20990kW。
　　
　　对现状3台制冷机组的负载情况进行分析，在高IT负载的情况下，具体分析如下。
　　
　　1）如使用两台（2用1备）冷机制冷，冷机将高负荷运行（负载率＞90%），随时面临超载停机风险，同时冷机能效比COP降低，能耗增加。
　　
　　2）如将现状3台（3用0备）冷机均作为主用冷机制冷，在运行冷机负载率可下降至60%～85%，但现场将无备用冷机、无冗余。冷源配置将不满足企业B级建设标准：N用1备的要求。
　　
　　为满足企业B级标准，同时实现数据中心生产运行安全可靠，且满足3~5年数据中心业务负载变化需求，需增加1套水冷机组及相关配套设备，同时完成相关设备的安装调试。
　　
　　按照3用1备考虑，则单台冷机制冷量不小于6997kW。结合市面通用型号，可选用的制冷机组为制冷量2000RT（7032kW）的离心式冷水机组。满足总装机容量峰值冷负荷不作附加的要求，且总装机容量和峰值冷负荷的比值不超过1.1，符合高效制冷机房的技术要求。
　　
　　扩容冷源制冷系统主要设备表如表2所示。
　　
　　表2某大型数据中心扩容冷源制冷系统主要设备表
　　
　　从表2可看出，制冷系统主要设备中冷水机组的能耗对PUE影响最大、水泵次之、冷却塔最小，砂滤等辅助设备对PUE的影响几乎可忽略。全年冷水机组能耗占比最高，夏季冷机运行，能效比仅4.45；当冬季在完全自然冷却模式下运行时，制冷系统能效比可达14.8；过渡季节利用冷却塔预冷，也可实现COP值7.23，节能效果显著。上述结果与娄小军等[4]对数据中心水冷冷冻水系统能效分析的研究结果不谋而合，具有普遍性适用意义。
　　
　　3 电源改造
　　
　　3.1数据中心配电现状
　　
　　生产配套一期规划设计外市电容量15035.4kVA，并设计从动力中心引入32000KVA的10kV高压配电容量，主、备各16000kVA，共配置8台主用功率1800kW、备用功率2000kW柴油发电机。变压器装机容量为14台2000kVA，其中T1～T12是IT变压器，并带有冷冻水泵和空调末端等需要UPS电保障的动力负载，T13/T14是动力变压器。
　　
　　生产配套二期重新规划后将IT总负载增加，在2022年实施的改造工程中新建了2台2000kVA容量IT变压器T15/T16，可解决个别变压器超负载运行的问题。
　　
　　目前，该数据中心各相关变压器实际运行负载如表3所示。
　　
　　表3数据中心各相关变压器实际运行负载统计表
　　
　　3.2冷源扩容配电需求
　　
　　本期冷机扩容工程，数据中心综合系数取0.855（同时系数0.95、需用系数0.9），15334kW的IT负载折算后为13110.57kW，相较市电引入时增加=13110.5710806.4≈2304kW。
　　
　　1台2000冷吨（RT）10kV高压型离心式变频水冷冷水机组，配电需求为10kV/1100kW，取电自10kV配电段；1台1400m³/h逆流开式低噪音冷却塔，配电需求为380V/210kW，取电自T13/T14，双路市电电源末端切换；1台1150m³/h卧式双吸离心冷冻水循环泵，配电需求为380V/161kW，取电自T3（U17）/T4，一路UPS、一路市电末端切换；1台1350m³/h卧式双吸离心冷却水循环泵，配电需求为380V/192kW，取电自T13/T14，双路市电电源末端切换；砂滤配电需求380V/7kW，加药配电需求220V/1.5kW，管道电伴热预估需求380V/10kW，取电自T13/T14，双路市电电源末端切换。
　　
　　相较于市电引入规划时的设计，柴油发电机总新增保障负载3986kW，变压器新增负载2886kW，U17新增负载161kW，需要新增3个ATS双电源切换柜。
　　
　　3.3冷源扩容配电方案
　　
　　3.3.1建需匹配分析
　　
　　柴油发电机：本期冷机扩容涉及新增1682kW空调系统设备负载，现有柴发系统可用容量约2625kW，满足需求；
　　
　　变压器：本期冷机扩容涉及新增1100kW空调系统设备负载，现有变压器系统可用容量约4700kVA，满足需求；
　　
　　T3/T4：新增冷冻水泵161kW负载，现有T3/T4系统可用容量约588kVA，满足需求；
　　
　　T13/T14：新增冷却水泵、冷却塔等421kW负载，现有T13/T14系统可用容量约1627kVA，满足需求；
　　
　　UPS：新增冷冻水泵161kW负载，现有U17可用容量约975kW，满足需求。
　　
　　3.3.2配电建设方案
　　
　　在一楼空调配电间新建1台冷冻水泵ATS双电源切换柜，取电自T3（U17）/T4变压器；新建1台冷却水泵ATS双电源切换柜，同时为砂滤、加药等负载供电，取电自T13/T14变压器。10kV冷机的10kV取电，取自高压配电室AH211柜。冷机的变频启动柜、电抗柜、电容柜，水泵的变频柜等，同步建设。
　　
　　在屋面配电间新建1台冷却塔ATS双电源切换柜，同时为屋面管道电伴热等负载供电，取电自T13/T14变压器。冷却塔的变频控制柜等同步建设，冷却塔积水盘电加热取电自配套控制柜。
　　
　　本期新增扩容的冷机自带二次控制综保系统。
　　
　　4 冷源群控改造
　　
　　数据中心的制冷需求为全年冷负荷，一年四季均需连续供冷。为保证冷冻水系统的供冷可靠性，防止突然停电或机器故障引起制冷中断事故，实现突然停电冷水机组再启动间断期对机房的连续供冷。
　　
　　4.1当前群控系统存在问题
　　
　　目前数据中心采用DDC架构制冷控制系统，现场群控存在问题：群控系统半自动运行，无法实现冷站一键启停；系统架构从服务器到控制器为单路架构，存在安全隐患；群控DDC控制为单DO模式，存在设备启动指令失效问题；蓄冷罐无法实现自动充放冷；冷站附属设备如定压补水等设备未接入群控；变频器频率控制及反馈存在偏差；设备离线；部分温湿度传感器偏差较大。上述问题严重制约了制冷系统的高效运行和节能运转。
　　
　　4.2冷源群控改造需求
　　
　　冷源群控系统应当具有可靠性、先进性、开放性、兼容性和灵活性等特点，对不同设备的运行、安全状况、能源使用状况进行监控，能够完成制冷系统各设备的顺序启停、选择启停，通过执行优化程序，达到最大限度的节能。集中的监控和报警能够及时发现设备的问题，减少设备损耗，对预防性维修提出建议，从而降低系统风险。
　　
　　本数据中心冷源扩容后，将实现4套2000RT离心式水冷冷水机组3用1备的运行模式，各套冷机可独立运行，系统设计冷冻水供回水温度14/20℃。BA系统服务器采用2N双机热备冗余，当一台服务器断开时，切换至另一台服务器。
　　
　　通过群控控制器检测室外温湿度、主管道各传感器参数，并通过逻辑计算控制逻辑、优化输出，向各制冷单元发送模式、启停、加减载、故障切换、轮循等信号，并接受来自各单元控制柜的各类状态故障信号，且在上位机实时显示、报警，在满足安全第一的条件下实现冷水系统运作的最高效率，实现节能的目的。当主用群控控制器出现故障时，备用群控控制器自动同步接管，制冷单元维持当前运行状态，继续运算，保证正常供冷。
　　
　　4.3 冷源群控改造方案
　　
　　冷机自控系统采用“分布式”结构，满足全天24h时运行，自动故障报警监测。通过TCP/IP协议对冷冻机房设备进行实时的监测和控制。
　　
　　在满足制冷系统的各种运行模式（机械制冷模式、预冷模式、完全自然冷却模式）的前提下，建立可扩充的整体平台，在满足现有需求的同时，可实现不断增长的需求的匹配，方便实现新设备、新系统的在线接入。自控系统按照集散原则进行，上位机故障时不得影响下位机，下位机故障时不得影响所控制设备的正常运行。
　　
　　制冷站群控系统主要设备包含BA服务器、工作站、服务器操作系统、双机热备软件、楼层交换机、核心交换机、冷冻站群控冗余控制柜、冷却塔阀门柜、传感器及变送器以及相关管线桥架等。
　　
　　上述设备应根据制冷站、冷冻配电室、屋面配电室等实际位置进行合理布设，避免设置于弱电井、消控室等不便于维护的位置。
　　
　　本冷源扩容后的群控改造拓扑图如图3所示。主要新增控制设备为：2台群控控制器，1主1备，采用热备方式；4套冷冻单元设置4台单元控制器；群控制器与其余控制器的信号传输方式采用硬接线；所有控制器、电动阀的控制柜上口均采用UPS供电，保证控制的连续稳定。
　　　　
　　5 结语
　　
　　本文结合某大型数据中心实际IT负载现状，从业务负载分析、冷机运行现状、冷源扩容特性、电源改造适配性、冷源群控改造等方面对冷源扩容的必要性、可行性、适配性进行了分析，解决了机柜功率扩展下的冷源负载过高、电力容量不足、既有群控无法精确控制等问题，为该数据中心的安全、稳定、高效节能运行提供了依据，同时为类似项目的实施提供了参考
　　
　　编辑：Harris