传统数据中心行业一直采用UPS系统供电或低压直流系统(48V)供电。随着互联网数据中心业务的持续快速发展,传统的UPS供电模式在很多实际应用中不断暴露其自身的缺陷,如:
　　
　　①系统效率较低;
　　
　　②系统灵活性和可扩展性不高;
　　
　　③系统复杂、可靠性较差;
　　
　　④系统维护难度大。
　　
　　为了提高运行效率及可维护性、提高系统部署的灵活性、降低成本以应付高速增长的海量数据中心服务器规模,我们大部分项目均采用了高压直流(240VDC)供电系统向IT设备供电。在项目实践中,高压直流系统对模块化数据中心的架构匹配更是明显优于过去的UPS系统。
　　
　　1 数据中心电源系统方案
　　
　　传统交流UPS系统由整流器、逆变器、蓄电池和静态开关等组成。在市电正常时,市电交流电经整流器变换为直流电供给逆变器,同时给蓄电池充电,逆变器将直流电变换为50Hz交流电供给负载。在市电异常时,蓄电池放出电能,通过逆变器变换为交流电,供给负载。
　　
　　高压直流系统(HVDC)主要由交流配电单元、整流模块、蓄电池、直流配电单元、电池管理单元、绝缘监测单元及监控模块组成。在市电正常时,整流模块将交流配电单元输出的380V交流转换成240V高压直流,高压直流经直流配电单元给通讯设备供电,同时也给蓄电池充电。在市电异常时,由蓄电池给通讯设备供电,其原理图如图1所示。
　　
　　在早期数据中心的项目中,多采用交流UPS的供电方案。但是,逐渐地在设计和大量数据中心运营过程中,我们发现采用交流UPS供电存在较多的问题,如:
　　
　　①系统工作效率较低。采用AC/DC整流、DC/AC逆变的双变换,从UPS输入到通信设备的电力变换次数多,每次变换都有能量损耗,降低了系统供电效率;
　　
　　②系统稳定性不高。不同于HVDC电池直挂输出母线,因为UPS输出的是交流电,其蓄电池不能直接供电给负载,必须通过逆变模块变成交流电输出。所以如果逆变模块出现故障,即使此时蓄电池正常,也无法供电负载;
　　
　　③并机复杂以及负载率较低。为了提高可用度,一般UPS采用“N+1”并联冗余或“2N”或2“N+1”架构。而由于并机复杂,正常情况下只有2～3台并机。假设N=1,理论上每台UPS的最大负载率为:2N系统为50%,2“N+1”系统为25%。而实际负载率为:2N系统为30%～50%,2“N+1”系统为15%～25%。在如此低的负载率下,UPS的系统效率将会进一步下降(模块化UPS可以采用节能休眠技术,来提高低负载率下的效率);
　　
　　④可维护性较差。交流UPS并机系统比较复杂,如果出现故障,往往需要厂家的维护人员进行操作,不间断割接困难。而高压直流系统结构简单,维护工作容易开展,高压直流模块支持带电热插拔,可快速更换。
　　
　　从成本以及可靠性的优化角度,高压直流系统应运而生。1999年,21届INTELEC99(哥本哈根)会议,法国电信首次提出了高压直流概念。2007年,国内江苏电信开始试点240V(工作电压204～288V)高压直流通信电源产品。目前,以腾讯为代表的互联网行业的大部分数据中心均采用了240V高压直流供电系统。240V高压直流技术和传统的UPS技术相比起来,其主要的优点为:
　　
　　①系统功率较高。采用功率MOS高频软开关技术的240V高压直流有≥96%的效率,比采用晶闸管或IGBT的传统UPS效率更高,体积更小。高压直流的输入功率因数高、谐波小,且输出负载率可以比UPS高,可降低柴发容量等。节能休眠技术可以大大提升轻载下的系统效率,减少机房初期的运行能耗;
　　
　　②系统稳定性高。电池直接挂在输出母线上,可靠性更高,且可在线扩容、不掉电割接等。拓扑简单,可靠性高;
　　
　　③可维护性高。模块化设计,按需配置、边成长边投资。模块热插拔维护,像更换硬盘一样更换故障模块,减少依赖厂家维保服务;
　　
　　④安全性高。高压直流比传统UPS要更安全,因为输出浮地,即便误碰到单极母排电压,触电电压也只有135V,比交流要低近1倍,且交流220Vac的正弦波峰值电压高达314V,也高于高压直流270V的电压。
　　
　　另外,240V高压直流可以直接使用在绝大多数的标准交流设备上(380V高压直流等其他电压等级则不行),IT设备不用定制电源及设备改造,也较容易推广。
　　
　　2 数据中心高压直流系统的设计对比
　　
　　在高压直流供电系统的设计中,我们会遇到如何选取系统架构的问题,我们需要在系统的安全性、可靠性与工程建设的经济性之间做出取舍。
　　
　　这里对几种主流的供电系统结构做一个说明,供工程人员根据现场实际情况及负荷重要性等诸多因素灵活选取。
　　
　　(1)方案一:高压直流单电源系统双路供电(如图2所示)
　　
　　这种方式系统结构简单,建设投资小。缺点是由于服务器双路输入均来自于同一套高压直流电源系统,系统在电源侧存在单点故障瓶颈。
　　
　　(2)方案二:高压直流双电源系统双路供电(如图3所示)
　　
　　与高压直流单电源系统双路供电相比,高压直流双电源系统双路供电中每台列头柜配置的输入电源分别来自两套电源系统,消除了系统的单点故障风险,提高了供电的可靠性,缺点是系统配置采用2N方式,系统的冗余度较大,建设投资大。
　　
　　(3)方案三:市电+高压直流双路供电(如图4所示)
　　
　　这种方式采用一路市电电源,一路高压直流电源的双路供电形式,该方式该供电方式消除了系统的单点故障瓶颈,提高了供电的可靠性,且在每个机架内提供了交直流两路电源,且市电路无需电能的转换,可最大程度的提高系统效率。
　　
　　3 “市电+高压直流”与传统UPS供电架构的对比
　　
　　目前新建的互联网数据中心,综合成本和可靠性,大量采用方案三,即市电+高压直流双路供电。那么下面我们将从设备占地空间+用电效率两个角度,将“市电+高压直流”与传统UPS供电架构进行进一步的对比。
　　
　　图5是“2NUPS”和“市电+240VHVDC”从低压侧到服务器的供电拓扑。目前数据中心应用最为广泛的容量等级约为400kVA、UPS负载功率因数典型值为0.8～0.9,折算成360kW,相当于同样功率的单套1200A的高压直流系统。即两套400kVA的“2NUPS”和一路360kW市电+另外一路360kW的”240VHVDC“混合供电架构做对比,两者容量基本一样,供电可靠性也基本处于一个等级,具备可比性。
　　
　　由于变压器及其输入前级基本一样不再比较,这里分别从变压器输出柜、不间断电源系统、电源输出配电柜、末端列头柜等多级配电路由来进行对比,定量分析配电柜的造价成本及配电柜数量,后者会影响到机房空间占用面积及场地租金等成本。
　　
　　(1)低压配电侧
　　
　　对于400kVA的UPS,变压器输出侧给到UPS需要两个800A左右的框架断路器,一个给到主路,另外一个给旁路,占用整个低压配电柜。因此两套UPS占用两个整低压配电柜。而对于“市电+240VHVDC”供电架构,市电直供支路直接由低压母线排直联的一个低压配电柜直接输出多路到各个列头柜,比如该低压配电柜内有5个250A的抽屉式塑壳开关,输出五路直接直联到五个市电直供的列头柜。而高压直流系统只需要一个800A的框架断路器,占用半个低压配电柜,剩余一个800A框架开关预留给另外一套高压直流系统用。所以,在低压侧2N的UPS系统需要2个整低压配电柜,共四个800A的框架断路器;而“市电+240VHVDC”系统在低压配电部分会占用半个低压配电柜,即一个800A框架断路器,以及一整个低压配电柜,带5个250A的塑壳断路器。
　　
　　(2)不间断电源系统
　　
　　考虑同样大小的负载及同样15到30min时长的后备电池时间,理论上电池的安时数应该是基本一样的,这里不再深入比较。再考虑不间断电源系统本身,对于400kVA的UPS通常都有一个输入配电柜、两个主机柜及一个主输出开关共四个配电柜。对于1200A的“240VHVDC”也类似有一个输入配电柜、两个整流柜及一个输出熔丝配电柜,共四面柜子。可见,不管是电池还是不间断电源系统的机柜数量及占地面积两者差异不大,各占用了四个不间断电源系统柜。但这个配电层,市电直供支路无需任何开关及配电柜。因此,对于2N的UPS架构占用了八个机柜位,而“市电+240VHVDC”架构只占用四个机柜位。
　　
　　(3)输出配电柜
　　
　　每套400kVA的UPS输出通常都需要一个800A或者630A的框架断路器,以及五个左右的250A抽屉柜到每个列头,所以每套UPS的输出配电柜部分会占用两个配电柜位,即一个800A的框架断路器及五个250A的塑壳断路器。因此,两套2N的UPS系统共需要四个配电柜位、两个800A框架断路器及十个250A的塑壳断路器。而对于“市电+240VHVDC”系统,市电直供支路无需配电柜及开关,同样对于“240V HVDC”系统,由于其输出配电部分已经包含在电源系统的输出熔丝柜内了,所以也不需要额外输出配电柜及输出开关等。
　　
　　(4)列头柜层级
　　
　　基于同样总功率及单机柜功率密度来测算,2N的UPS和“市电+240VHVDC”两个方案在列头柜数量及配电开关数量方面可以认为基本一样,只是会在微断及线缆方面会有些差异,造价有所不同。直流微断比交流微断贵,因此配电空开造价“市电+240V”架构会贵一些。在线缆投资方面,UPS系统因为增加两套输出配电柜及线缆,以及手动维修旁路线缆等;而240V的HVDC因为是单相供电,高压直流输出到列头柜的单相线缆成本会比2N的UPS的三相传输线缆成本稍高些,但总功率一样,耗铜量差别不会很大。可以认为“市电+240VHVDC”的线缆总投资不会超过2N的UPS的线缆总投资。
　　
　　综上所述,供电能力均为360kW的市电+240V高压直流相比2N的UPS,减少配电柜数量。按项目经验估算降低一次性投资42万左右,约节省37.5%的投资成本,并节省占地面积六个配电柜以上。前面分析了很多一次性投资成本CAPEX及占地面积的比较。对于数据中心而言,更长的生命周期处于运营阶段,而运营成本构成中很大一块是电费。下面继续分析OPEX中的用电成本,对于360kW的系统,这里按320kW的实际负载来估算,分别比较2NUPS和市电+240VHVDC在8年生命周期内的总电费差异。
　　
　　UPS系统的效率往往随着负载率的提升而增加,如果UPS系统长期处于轻载状态,那么运行的实测效率并没有达到宣称的最高效率点。对于2NUPS架构,每套UPS的负载率往往只有30%～40%之间,虽然选用了最高效率为94%的UPS,但实际的运行效率很可能只有90%左右。而对于“240VHVDC”系统,由于有电池直接挂接母线,那么高压直流系统是允许节能休眠的,监控会自动开启需要工作的电源模块数量,并使电源系统在任何负载情况下都可以工作在最高效率点附近,即高压直流可以在全负载范围内都达到94%以上效率,而市电直供支路基本是100%供电效率,因此市电+240V HVDC综合供电效率为97%。
　　
　　由于每kWIT都需要经过不间断电源系统供电,因此320kW的IT负荷经过90%效率的2NUPS架构每年损耗的电费(按每度电0.8元估算)高达22.43万元,而“市电+240VHVDC”损耗6.73万元。此外,电力室内的不间断电源设备产生的热量需要额外的空调系统带走,还需考虑这部分空调能耗产生的电费,为简化分析按电力空调的散热能效COP为4估算。这样320kW的IT负荷在数据中心8年的生命周期内,仅仅计算不间断电源系统效率损耗及电力室空调能耗,2NUPS供电架构损耗电费224.32万元,而“市电+240VHVDC”损耗电费67.28万元,节省了157万元的运营电费。
　　
　　综上所述,在类似可靠性及输出能力的2N配置400kVAUPS和容量为360kW的“市电+240VHVDC”供电架构,在带320kW负载的模型下,市电+240VHVDC供电架构比传统的2NUPS架构减少投资42万,并节省6个配电柜。还在机房运营的8年生命周期内,节省运营电费157万。折算成TCO,仅仅在CAPEX及OPEX的电费部分就节省投资200万。
　　
　　4 数据中心高压直流系统的实践
　　
　　腾讯第三代数据中心供电系统,采用“市电+240VHVDC”系统架构,该架构开启ECO模式后的供电效率高达近98%,比双路高压直流系统节能2%以上,比传统UPS节能6%以上。且节能效果在轻载下尤为明显,开启ECO模式后的高压直流系统在负载为30%及以下时,总系统节能高达10%以上,这还未算电源系统散热能耗带来的额外节能收益。
　　
　　在对腾讯数据中心过去两、三年的基础设施事故统计后,我们发现UPS故障发生的次数较多,总发生次数占比达9%,基本上每年都会发生四、五起UPS故障导致的服务器掉电恶性事故发生。但采用高压直流供电的数据中心,虽然偶尔会有整流模块故障发生,但从来没有过因高压直流电源系统故障而导致的服务器掉电事故发生过(腾讯从2010年开始采用高压直流技术,目前存量在用的高压直流系统数量占多数),所以从基础设施测故障次数上看,采用高压直流供电的数据中心可靠性要高于采用UPS供电的数据中心。
　　
　　我们继续从基础设施故障导致服务器掉电总数量的层面来分析,高达41%的服务器掉电原因是UPS故障,虽然UPS故障发生次数占比仅仅9%,但其中某次UPS故障就影响到了上千台服务器掉电,故障波及面非常大;同样的,因为高压直流供电机房没有出现过因为高压直流电源系统问题导致的服务器掉电事故发生,所以从这个层面上看,受高压直流系统故障影响的服务器数量为零,采用高压直流的数据中心供电可靠性方面有了非常大的提升。
　　
　　5 结束语
　　
　　通过回顾和总结大量的项目设计及运营经验,高压直流供电系统在数据中心工程实践中的优势非常明显。尤其是对于大型互联网数据中心,综合建设灵活度、成本、可靠性、可维护性等多方面因素考虑,采用高压直流供电系统成为了数据中心供电方案的首选。
　　
　　作者简介
　　
　　朱华,腾讯数据中心技术发展中心总监,中国工程建设标准化协会数据中心技术委员会副主任委员,中国通信标准化协会开放数据中心委员会数据中心工作组组长。
　　
　　编辑：Harris