由于海量数据和巨大算力的需求驱动,近年来数据中心在数量、规模上迅速扩大,机柜功率密度与实际承载率也急剧提升,巨大的电耗使与碳排放、PUE、TCO密切相关的供电制式变革成为国家、行业和数据中心三级体系关注的焦点。本文将基于中国电网供电品质现状和IT设备电源技术的发展,讨论与分析当前中国数据中心行业几种主要供电制式的应用局限性,提出基于“零级变换”概念的数据中心交流直供供电新制式。
1 数据中心供电制式发展的前提与必要条件
(1)中国电网的发展与供电稳定性
根据国家能源局2019年的数据:中国的年发电量为71118亿千瓦时,占全球的1/4,比美国多50%以上,大约是欧盟的2倍,相当于美国、日本、俄罗斯三国的总和;其次,中国电网规模全球第一,拥有35kV及以上输电线路回路长度189万千米,相当于绕赤道47圈,并在全球唯一拥有11/22/33/50/75/100/110万伏各种供电电压等级的国家;第三,中国电网的供电能源的多样化与规模全球第一,目前水电、核电、太阳能、风能等绿色清洁能源已经占到了30%;中国城市客户380V等级的供电可靠率达99.955%(数据来源:国家电网报)。
对大型A/B级数据中心来说,如果采用来自两路不同源110kV变电站的10kV 2N供配电架构,即使基于单路380V电网99.955%的供电可靠率,可近似算得2N冗余架构的电网供电可靠率为99.998%,一年最大也仅有约631s的累加停电时间。外部电网供电的稳定性是数据中心可靠供电的前提,也是驱动数据中心供电制式变革的保证。
(2)IT负载电源的发展与供电适应性
传统的观点认为IT类设备对供电质量非常敏感,但事实上包括普遍使用的X86服务器在内的现代IT设备对供电质量并不敏感,参数指标比想象中要宽泛得多。
典型的IT设备内嵌电源PSU工作原理如图1所示(最新的IT设备电源已经采用了LLC电路和输出同步整流技术,使效率更高)。当220V/50Hz的外部交流电源进入IT设备后,首先进入IT设备的PSU电源模块,经EMI、AC/DC整流、PFC、带高频隔离变压器的DC-DC变换器、输出滤波等环节变成DC12V后(部分IT还有5V和3V),才向IT设备的芯片、电路板及风扇等供电。这一过程通常有高达±20%以上的输入电压/频率运行范围(目前很多此类电源还兼容直流输入)、近0.95的输入PFC和小于3%的THDi(参数来源Intel Server System H2000WPfamily),并会过滤掉输入电压中存在的诸如电压失真、噪声干扰、冲击电压等供电质量问题。同时IT设备电源还有一定的输入断电耐受时间,如ATX标准要求当输入断电时,12V输出Hold-up时间最小为17ms,而SSI标准则要求超过20ms,而IntelServer标准要求这一时间为13ms。IT设备对输入电压、频率、电流的宽泛要求,为数据中心供电制式的变革提供了第二个必要的前提。
2 当前国内数据中心供电制式的现状与问题
(1)UPS双级变换供电制式
早期的IT负载对供电品质要求较高,是UPS双变换供电制式成为目前数据中心使用时间最长、应用最广、认知最深的供电制式的价值所在。其供电系统图及工作路径如图2所示。
·正常路径:在市电供电正常时,UPS经过AC/DC和DC/AC的“两级变换”给数据设备负载供电,提供净化供电功能,也因此得名“双变换供电”;
·后备路径:在市电供电中断时,蓄电池经UPS的DC/AC逆变器给数据设备负载供电,提供后备供电功能;
·应急路径:当UPS故障时,UPS将不间断地转静态旁路,市电经由UPS内置的旁路电子开关给数据设备供电,提供应急供电功能。
这一供电制式的优势是具有可不间断相互切换的三条供电路径来保证IT负载的安全供电;其次是采用全交流供电,可适应数据中心全域负载的供电需求且输配电结构简单。不足之处是,正常运行时能量需要经过两级变换输出,对于目前的电网供电品质和IT负载适应力来看,这一双变换导致的能效损失在99.998%的时段内是完全没有必要的。但令人庆幸的是,随着UPS高频化技术的发展,多电平变换技术及SiC等新器件的采用,目前UPS双变换的最高效率已经达到97.5%;其次,早期的UPS因为都采用非模组化架构,其维修服务响应长也是广受非议的问题之一。
(2)HVDC高压直流供电制式
①HVDC供电制式的应用背景
2010年左右,由于当时中国通信行业机房的负载率普遍较低,又大都采用效率较低的工频UPS供电,导致UPS的运行效率低下(大约在80%左右),这与当时国家已经开始倡导的节能减排政策相悖;其次是工频UPS几乎全是分立功率器件的塔式一体机,其故障定位与维修时间都较长,这也给数据机房的实际运行带来了一定的负面影响。
为此,通信行业的电源专家开始探索是否可以采用240V的直流来给IT设备供电,经实验测试发现,绝大部分之前由AC220V供电的数据设备可以直接用直流240V供电,而无需改变IT设备的内部结构。这一发现诞生了中国数据中心的第二种供电制式,即HVDC(高压直流)供电制式。这是国内电源专家第一次对数据中心供电制式的有益探索,值得尊重。
②HVDC供电制式的定义及其工作原理
由于相对于通信电源的DC24V/48V制式,DC240V(或336V)电压较高,所以被定义为HVDC(与电网的100万伏HVDC同名,但没有关联),如图3,其供电路径分述如下:
·正常路径:在市电供电正常时,HVDC经过AC/DC及DC/DC变换输出直流电(276V或380V)给数据设备负载供电,提供净化电源功能;
·后备路径:在市电供电中断时,蓄电池经直接给IT负载供电,提供后备电源功能;
·应急路径:无(因为交直流无法不间断切换而无法设置。当直流系统故障后,无法提供旁路供电路径)。
③HVDC供电制式的早期应用优势与现状
HVDC的成功推出相比于早期的工频UPS,确实提高了电源的运行效率大约10%以上,简化了故障定位并缩短了维修时间,电池放电也不再受UPS逆变器故障的影响。同时,很多数据中心早期通过一路市电、一路HVDC的“准2N”架构,也确实节省了建设投资。
这些都有益地推动了数据中心的发展,尤其是在得到BAT的“创新应用”青睐后,HVDC供电制式安装数量得到较快增长,成为仅次于UPS双变换的第二大供电制式。
但是,随着高频模组化和模块化UPS的应用普及,目前HVDC相对于UPS的应用优势如运行效率、故障定位、维修时间等的传统优势开始丧失,但其直流供电带来的应用缺陷却开始显现;其次,在数据中心建设与改造中,由于其显而易见的问题与隐患,原先的“准2N”架构正在普遍被“真2N”HVDC架构所淘汰,原先的节省投资功能也随之消失。
④HVDC供电制式的数据中心应用局限
·HVDC“三级变换”的节能问题
HVDC在初期推广宣传时非常强调其“一级变换”理论,宣称比UPS效率高的原因是只需要AC/DC的一级变换,而不象UPS需要AC/DC和DC/AC的两级变换,所以具有更高的运行效率,其常用的比较拓扑如图4和图5所示。
事实上,HVDC的DC240V并不能通过一级变换来得到。根据YD/T2378—2011《通信用240V直流供电系统》通信行业标准的要求“交流输入应与直流输出电气隔离”。这意味着在HVDC电源中还必须有隔离变压器,而这一变压器又不可能采用体积庞大的工频变压器,所以采用如图6所示的“AC/DC、DC/AC、高频变压器、DC/AC”的三级变换拓扑,便是HVDC电源必然的选择。如果与UPS等同的变换级来比较,那HVDC应该是“三级变换”。公开资料显示,最新的HVDC典型模块效率仅达94%~96%,而当前高频UPS普遍已将整机效率做到了97%以上;在实际运行时,HVDC与模块架构的高频UPS,都可以通过模块休眠技术来提高低负载率时的运行效率。所以与现代高频UPS相比,HVDC已经不再是节能产品了。
HVDC正常运行时能量需要经过“三级变换”输出,对于目前的电网供电品质和IT负载适应力来看,与双变换UPS供电制式一样,不仅没有必要,反而造成更大的能源浪费。
·多元化客户数据中心的供电局限
很多大型Colo数据中心都是多用户群租的,由于用户的多元化带来了其IT机柜内服务器与通信设备品类的复杂化,HVDC的直流供电很难保证能适应所有各类用户IT服务器供电需求,所以,通常这样的数据中心都无法采用HVDC来供电。
原先采用HVDC供电的客户迁移退租后的数据中心设备改造问题
原先采用HVDC供电的数据中心,3~5年租约满后原客户迁移退租更换新用户,而新用户又不接受或无法采用HVDC供电,导致需要更换原先整条供电链路的所有设备,如HVDC电源、直流配电系统、列头柜、PDU、蓄电池和电缆,导致巨大的Capex损失。
无法带数据中心全域负载的问题
数据中心负载不仅有服务器、网络设备、通信设备等IT负载,更有保障IT设备制冷需求的水泵、风机等动力负载,所有这些设备都是不能停电的。目前HVDC还不能保证能给所有的IT负载供电,更无法给动力系统负载。这意味着以HVDC供电为主的数据中心,同时需要配置交流UPS来供电,这导致交流、直流供电系统在数据中心供电和IT端供电的混用,使电源品类管理与运维复杂化。
无应急供电路径的局限
受制于交流电和直流电不能并存来实现不间断切换的现实,HVDC无法提供象UPS静态旁路这样的第三条应急供电路径。当主输入配电线路或电源柜系统故障时,后备电池(通常15min)放电截止后,负载将直接面临断电风险又束手无策的尴尬境地。
电池直挂负载母线问题
电池直挂母线是把双刃剑,既有好处也有坏处。好处是没有如UPS的逆变器故障无法供电的问题,其坏处是HVDC的电池直挂负载母线,电池放电电流不可控,无UPS所具备的共享放电测试功能,蓄电池的健康状况难以判断;其次是当电池出现故障(如漏液或短路)或电池系统性失效时,与电池直接相连的负载供电必然受到影响,甚至于出现断电事故,这在国内数据中心已经有惨痛的教训。
配电开关、按钮、PDU等的选型操作及拉弧问题
实验表明,HVDC的240V直流供电系统在开关、按钮、插拔等操作分断电流时,出现拉弧、起火或烧毁等现象的严重程度及概率会远高于交流220V系统;其次,目前直流配电开关单极分段的额定电压等级只有250V,HVDC的276V应用已经超过了其安全范围。
(3)10kV交流输入的直流供电制式
为了进一步提高数据中心的运行效率,业界对HVDC在效率与可交付性上进行了创新发展,推出了10kV交流输入的直流供电不间断电源系统(MVDC电源),下文简称巴拿马电源。
巴拿马电源供电制式的主要创新可总结为三点:首次把10kV中压变压器、HVDC组合成一体的供电系统;通过采用36脉冲中压移相变压器,优化了HVDC的拓扑,将HVDC模块的变换级从原先的三级变为两级,使AC10kV输入端到DC276V输出端的多级变换电源系统效率提升至97%(99%变压器效率*97%优化的HVDC效率);同时将单系统的交付能力从原先HVDC的1200A提升到1.2MW。
巴拿马电源稍显复杂的是使原先单绕组的变压器变成了六绕组如图7所示,使变压器设计、制造与维护工作量增大;其次,MVDC电源的输出直流电压制式与原HVDC一致,HVDC所面临的直流供电困惑同样会体现在MVDC供电制式上。
3 交流直供供电制式
(1)数据中心交流直供供电制式及其优势
综合前面的分析可见,当前数据中心供电制式最大的问题是,在电网的供电品质完全超越IT负载安全供电需求的时段内,依然采用能耗浪费严重又导致电源设备自身故障率升高的“多级变换”交流或直流供电制式,来实现对IT负载的供电是否仍有必要的问题。正是基于对这一问题的正视,本文提出了基于“零级变换”理论的交流直供供电制式。
在市电供电良好的99.955%时间内,UPS通过静态旁路运行在交流市电直接向IT负载供电的状态下,来实现高达99%的效率,因此得名为“交流直供”,以凸显它的交流供电架构和与HVDC直流供电的区别;其次,由于它同时还具有不间断的双变换和电池逆变两种后备电源供电路径,所以它与无后备电源的“市电直供”完全不同。
交流直供供电制式采用具有“单机或并机系统双变换回路在线休眠功能、逆变器无间断启动与切换功能、旁路快速锁止功能功能、雷暴侦测与锁止功能、逆变器的反向有源滤波功能、负载短路设部与锁止功能、交直流滤波器的实时接入功能”的特定UPS来实现,其主电路拓扑与双变换UPS完全相同,如图8所示。其工作原理说明如下:
在市电供电良好的99.955%时间内,单机或并机系统的整流器和逆变器处于在线休眠状态,系统效率可达99%。此时,整流器与市电接通、逆变器与输出接通但保持在线休眠,能量通过整流器/逆变器IGBT反向二极管构成的双全桥整流电路维持直流母线电压,UPS的控制系统及同步跟踪功能保持运行,确保市电不正常时能实现逆变器的“不间断”投入;逆变器前后的EMI电路、交直流滤波电路参与对市电谐波、高频干扰和瞬时过压脉冲的吸收与滤波处理,以改良交流直供模式下的供电品质。
当市电超限(±10%、±15%可设定)或断电时转到逆变模式,快速切换专利技术确保短时间内由市电经双变换或电池逆变放电向负载供电,这一切换的典型时间不到2ms(如果不考虑波形畸变,实际可为0ms),充分满足负载“不间断”的供电要求。在市电回复后,根据预先设定的时间和滞回值,不间断返回交流直供模式。
交流直供模式下控制电路的主控DSP实时产生追踪旁路市电的PWM驱动信号,但在最后施加到IGBT时被锁止;当需要提供逆变输出时PWM驱动信号可以在极短时间内驱动IGBT实现输出带载。相关控制单元及检测电路(如面板显示,电压检测,电流检测、同步信号等)保持实时运行,确保系统能快速切换。
(2)交流直供供电制式下电网适应性和IT负载适应性评估
交流直供供电制式下的供电品质是否能满足IT负载的输入电源需求,是交流直供制式能否作为数据中心标准供电制式来推广的前提,为此,本文基于当前IT负载的相关标准做了下列比较(综合ATX/SSI/Intel标准为例),详见表1。
从表1可见,在正常市电供电及交流直供相关功能的支持下,交流直供完全可以满足数据中心IT负载的全时域供电需求。
(3)交流直供制式的技术优势
①运行效率(PUE)与可靠性优势
相对于前文提到的其它供电制式,交流直供制式在保IT负载安全供电的前提下,革命性地采用高效的“零级变换技术”,使99.955%的时间内电源系统的效率高达99%,即使与几种供电制式中效率最高的巴拿马电源中HVDC的98%效率相比,也要高1%的效率(假设两者的10kV变压器效率相同);基于变换级的供电制式,效率通常随负载率的升高而升高,而交流直供模式的效率基本不受负载率的影响,实现了全生命周期、全时态的99%效率。对于20MW的数据中心来说,相对于传统HVDC供电模式,预估10年节省电费在7000万以上。
由于交流直供电源基本处于在线休眠模式状态,相比于其它运行在多级变换供电制式的电源而言,由于关键的器件如IGBT、电容、电感都在静态休眠状态,减少了发热和电磁作用,其工作寿命与实时可靠性都大幅提高。
②全交流供电输配电架构优势
相对于前文提到的数据中心直流供电局限与问题,交流直供采用交流输配电架构,完全适应数据中心全域负载的供电需求。
(4)交流直供运行安全性保证
①切换安全性及其实践验证
采用UPS交流直供制式供电,用户最大的担心是,能否在市电停电时快速切换到逆变输出以保证负载供电的连续性,而且这一切换安全性是否得到了长期运行实践的验证。
要实现快速转换需满足两个条件:UPS开启逆变器的速度足够快、关闭旁路静态开关的速度足够快。以伊顿公司的9395产品的技术为例来说明:伊顿9395内置的交流直供技术可以保证逆变器快速启动并达到满载输出条件;续流二极管组成的整流电路维持着直流母线电压,所消耗的输入功率很小,都包含在1%的损耗内;直流电压恒定存在,为逆变器的瞬时启动创造了条件;因逆变输出保持闭合,逆变器始终处于“就绪状态”;PWM脉冲宽度调制信号与市电始终保持同步;逆变器退出“就绪状态”并正常输出所需的唯一步骤是对IGBT进行驱动导通,该过程640µs左右就能完成。
交流直供模式下旁路静态开关处于闭合状态,市电异常时必须将其快速断开以确保将负载从电网脱离,从而隔离来自电网的干扰等不利因素。伊顿专利的静态旁路快速切换技术(SCR反向电压激励技术)可以确保静态开关在600µs内的快速关断,而无需等待传统关机技术需要下一次过零点的8ms时间。
交流直供运行模式下市电出现断电或异常时UPS系统需要一定的检测时间,该检测过程在320µs内能够完成;从旁路带载到逆变输出的切换过程还需要约320µs的反馈时间,加上前述的逆变器启动时间(640µs)及静态旁路的关断时间(600µs),伊顿交流直供技术在旁路市电出现断电等极端情况时切换到逆变满载输出的理论时间为1880µs(1.8ms),极端情况下的实测转换时间小于2ms(如果不考虑波形畸变,这一时间为0ms)。根据前述,IT设备允许断电时间为不超过13ms,这充分保证了切换期间的IT设备运行安全。
目前,伊顿的交流直供技术已经在全球7~12nm等级芯片产线上得到了5年以上的大规模运行验证(目前也用在5nm产线),也在中国许多大型数据中心的动力系统得到了近5年以上的大规模实践验证,证明了切换的高安全性和高可靠性。
②对恶劣供电环境下敏感负载的保护
交流直供技术具备智能的雷暴侦测功能,当UPS侦测到在一定时间内(默认1h,可设定)持续出现3次市电异常,UPS将会推断可能正遭遇雷暴等异常状况,系统退出交流直供模式,并将负载锁定在双变换运行状态1h。若市电不再出现异常,UPS会解除锁定,并再次自动进入交流直供模式。
③具备对上下游故障的智能判断能力
交流直供技术能智能判断电源问题是来自输入电源还是由负载短路引起。若电压和电流急剧下降,则UPS上游进线故障,UPS快速转换为逆变器供电,以确保负载供电的连续;若电压急剧下降,但电流急剧增加,则UPS下游(负载侧)故障,UPS将保持在交流直供模式,通过旁路市电提供的足够大的电流促使下游断路器或熔断器保护动作以分断故障回路。
④与传统ECO方式在安全性方面质的差异
出于对安全供电的担心,ECO自推出几十年来,少有人问津。传统ECO模式下,市电正常时整流器和逆变器始终处于空载待机状态,整流器和逆变器的持续运行不仅导致运行效率的低下(一般仅为97%),而且长期运行也抬高了系统的故障率,降低了系统寿命;ECO模式下的逆变器与输出回路断开,交直流滤波器都无法发挥净化电网的作用,供电品质变差;最为关键的是,市电中断时需要在旁路彻底关断后才接通逆变器回路,切换安全性变差。
交流直供模式下的逆变输出始终保持联通,解决了客户最担心的动态切换安全性问题,其工作原理见前面介绍。与传统ECO模式相比,交流直供模式在效率、供电品质、运行可靠性、切换安全性方面都存在质的不同。
4 结论
在保证数据中心IT负载供电安全与电源品质的前提下,采用近乎无损的“零级变换”技术来实现数据中心的供电,一直是数据中心供电制式变革的目标。通过采用零级变换的交流直供供电制式来代替当前数据中心普遍采用的多级变换供电制式,不仅可以显著降低数据中心的运行PUE,呼应国家的碳中和、碳达峰战略,还可以提高电源系统自身的可靠性。与目前部分数据中心采用的直流供电制式相比,全交流供电架构在保证数据中心客户的连续性、供电负载的全域性方面具有得天独厚的优势。后续将会提供数据中心在交流直供模式下的安全运行与PUE实测数据,推动数据中心加速迈入更绿色的“交流直供”时代。
作者简介
王伟:伊顿电能质量业务大中华区应用技术总监,电力电子学硕士,在数据中心动力系统行业有近三十年的技术与工程经验,在中国最早发现和纠正了“零地电压概念”的巨大误区与危害。CDCC《数据中心备用电源白皮书》主编,中国勘测设计协会电气分会常务理事,本刊编委。
张健:天津江天数据科技有限公司总经理。
叶向阳:华信咨询设计研究院有限公司,技术总监、副总工程师兼能效研究院院长,高级工程师,在数据中心总体架构、动力、节能技术咨询、规划、设计等方面有丰富项目经验,负责超过数十个国内大型数据中心园区、项目的规划、咨询、设计,主编完成多项国家工程标准、规范的编制工作。
编辑:Harris