随着云计算和OTT的技术发展,互联网对数据的需求呈现爆炸式的增长,这极大地促进了云数据中心的市场需求,近年来国内外几乎同步兴起了建设云数据中心的热潮。大规模的建设也引发了业界对数据中心基础架构的重新思考,作为数据中心基础设施重要组成部分的供电架构自然也不例外。
基于对投资规划、高效低碳、安全可用、快速部署、按需扩展等因素的不同解读和引入互联网思维的创新激情,产生了各种各样的数据中心供电架构。从传统UPS到HVDC,从240VHVDC到336VHVDC,从集中式电源到分布式电源,从微软的LES架、Facebook的OCP架构到中国的天蝎机柜供电架构,从电源供电到市电直供等等,这让沉肃了几十年的电源行业出现了空前的“繁荣”,那些打着“高安全、高节能、易规划、易部署、易扩容”旗号的新方案、新架构多得有点让人眼花缭乱、应接不暇。但是,无论供电架构怎样千变万化,供电架构用来为服务器提供“供电、备电”服务的核心思想始终不变。“供电”意味着“怎么把外部市电最有效地传递到服务器”,“备电”意味着“在外部市电中断时怎么接入第二路市电和蓄电池等广义的备电系统”。为此,本文希望通过对这两个概念的重新解读,从构成的逻辑上来梳理数据中心供电架构变化的脉络。本文不讨论供电架构的技术细节,后续图中的示意也仅表示数据中心供电架构的逻辑关系,并不是配电结构的实际反映。
1 基于“供电”的数据中心供电架构的变化模式
数据中心“供电”的概念就是把外部市电以最安全、最有效地途径传递到数据中心内部最底层的IT设备,从目前供电架构的发展看,这些IT设备可能是服务器,也可能仅仅是服务器去除电源部件PSU后的“板卡/芯片”部件。所以,所谓的数据中心供电架构模式,实际上无非是怎样把电能送到这些“板卡/芯片”的途径,从逻辑上看,可能的途径无非是从集中到分散或从分散到集中的不同程度而已。
(1)数据中心电源集中供电模式
数据中心电源集中供电模式如图1所示,采用集中的电源室将变配电室送来的外部市电经变换后送到数据机房,在数据机房内经列头柜将电能分配到每一个机柜,由机柜内的PDU将电能再分送到每一台服务器。就目前的数据中心应用来看,这一模式是行业的主流,占比至少超过95%。其主要的优点是实现了动力设备与数据设备的物理隔离,实现了强、弱电专业管理的自然分区,安全性高。缺点是需要单独设立动力室,并需要专业人员来负责维护。
(2)数据中心微模块的分区供电模式
微模块也是近年来数据中心行业的热点,该模式如图2所示,将变配电室送来的外部市电直接分区送到每一个微模块机房的输入配电模块,由微模块内的机柜式电源设备将变换后的电能送到输出配电模块,经分配后送到每一机柜的PDU,由机柜内的PDU将电能分送到每一台服务器。该方案的供电架构特点是实现了从大电源设备到分区小电源设备的转变,对于1000个机柜的数据中心来说,大约需要50~100套这样的电源系统,节省的动力室空间,被拆分到每一个微模块里。其主要优点是可以工厂定制化,把不可控的工程时间转换为工厂化生产的可控时间。主要缺点是数据设备与动力设备,包括电池等化学能设备混装在一个封闭的物理空间,如果动力系统发生炸机起火事故,可能危及数据系统。
(3)数据中心的机柜级分布式供电模式
数据中心的机柜级分布式供电模式如图3所示,该模式直接将变换电源置于每个服务器机柜的底部,一般视电源大小和后备时间长短(一般10kVA/10min内),约占4~6U左右的机柜空间。来自变配电室的电能直接送到列头柜进行二次配电,二次配电后的电能经机柜内的机架式电源、PDU或汇流铜排向服务器供电。该模式既是最古老的供电方案又是最新的应用方式,上世纪90年代,因为大功率UPS电源设备价格奇高,很多数据机房都不得不采用这种方式,但是近年这一模式又被赋予新的技术内涵,比如电源模块可以采用机架式HVDC代替机架式UPS、采用锂电池模块代替铅酸电池、采用市电+电源的双路供电等。与微模块供电架构相比,这一方案的电源分散性更大,对于1000个机柜的数据中心来说,就需要配置1000套这样的电源,后续运行时的日常电源管理是很大的问题,尽管故障时可以热插拔,但是电源系统偶发的短路起火、电池漏液等将是很大的安全威胁。当然,该方案也有可快速部署、没有承重问题等优势。
(4)数据中心的服务器级直接供电模式
从上面三种供电模式的推演,我们完全有理由相信,肯定还有最后一种供电模式,那就是由外部市电直接向服务器供电的供电架构模式,目前该模式只有微软、Google试验过,如图4所示。如果锂电池在服务器等高热环境下的安全性、工作寿命、容积比及低压工作下的自身损耗都能得到充分的保证,这无疑是供电架构的终极目标,不仅实现了外部电能向服务器最有效地直接供电,也实现了最短路径的备电。所以将来数据中心的供电是否能象笔记本电脑那样的直接,完全取决于未来电池技术的发展,最近报道的石墨烯电池的技术进展给这一应用创造了希望,但目前这一技术也还仅仅停留在实验室阶段。
2 基于“备电”的数据中心供电架构的变化模式
“备电”的概念就是储能设备怎样接入“供电”系统,来保证外部市电中断时对数据负载的继续供电。关键的指标是切换时间必须小于数据负载能承受的间断时间。对于云数据中心来说,“备电”有两层意义,第一层是外部市电中断,怎样接入储能等“备电”设备;第二层是在一路供电系统完全中断,怎样接入“热备、冷备或均载”的第二路供电系统。
图5展示了数据中心的基本供电环节,我们可以设想将传统UPS的储能设备接入点以图5中的1-2-3-4顺序一步一步后移,即从电源设备内部、电源设备输出端、机柜内部移到服务器内部,这不仅产生了全新的电源设备,还涵盖了当前提出过的所有供电模式。
(1)传统UPS供电模式
UPS供电模式采用在AC-DC-AC的两级变换器中间点接入储能设备,如图6所示。目前,传统UPS还是数据中心内应用最广泛的供电模式,UPS在数据中心最初有两大作用,一是净化电源,二是后备电源。但是随着电网供电品质的持续改善和服务器电源性能的不断提高,UPS的净化电源作用已经完全失去意义。目前数据中心用UPS,基本上就是用它的后备电源的功能。近年来,以效率高达99%的UPS交流直供运行模式来代替效率为95%或更低的传统双变换运行模式正在成为国外许多大型数据中心的选择。UPS不仅可以实现单机、并机、2N供电,还可以实现如图6所示的UPS工作在双变换或交流直供模式下与市电直供模式组成的2N供电系统。
(2)HVDC电源供电模式
将储能的接入点移到电源设备的输出端,自然就诞生了基于直流输出的HVDC电源供电模式。当然,这一供电模式要求后续的负载能接受直流供电,但令人庆幸的是绝大部分的数据负载电源如服务器等,虽然是交流输入设计,但是交流输入后还是通过半波或全波整流器把AC变换到DC来完成能量输入的,所以240V的DC直接输入,从能量供给的角度看,基本与交流一样,这就是HVDC能作为数据中心电源的理论基础。图7为HVDC供电模式与市电直供模式组成的2N供电系统(注意:这一市电直供途径并不是HVDC电源的“旁路”,它不会实现不间断的自动切换)。
HVDC电源与UPS一样,都不是什么新的供电系统。就设备本身来说,一直就广泛使用的电力系统变电站的二次电源就是“220V的HVDC电源”,最早代替UPS供电的HVDC设备基本都是这一电源的简单翻版。
但是将它大规模应用在数据中心领域,确实是国内电源界的一大应用创新,为后续供电模式的讨论注入了新的活力。为了与通信用DC48V区别,加了“HV”来加以区分。早期的过度宣传中,说HVDC“只有一级变换”、“高效节能”等,这纯粹是误导用户,既不科学也不符合实际。就数据中心的应用来看,传统UPS与HVDC应该各有千秋,两者的结构特点见表1,选用什么电源取决于用户的维护水平与利益权衡。
(3)天蝎服务器机柜供电模式把一个机柜内的所有服务器内置电源模块PSU取出,整合在一起构成机柜级的DC12V电源输出,同时把储能后移到这一电源的输出端,通过汇流铜排向不带PSU的服务器集中供电,这就是发布的天蝎服务器机柜2.5的供电模式(目前的2.0是一路市电,一路HVDC向整合的12V输出电源供电,储能设备依然在HVDC的输出端)。这样的供电模式,就可省略原先的UPS或HVDC供电系统,实现了市电向服务器机柜直接供电的供电模式转变,图8为采用两路市电直接供电的天蝎2.5机柜的供电架构。
单从电源供电和节能的角度看,如果前端的电源效率已经达到了99%,采用这样的电源架构是否还真的有必要,是一个需要全面评估的问题。其它诸如储能设备移到机柜内的安全性问题,汇流排的低压大电流问题,分布到机柜的海量集中式机柜电源的管理维护问题,将是后续应用需要认真关注的问题。
(4)FacebookOCP架构供电模式
从DC电源的电压等级看,48V是DC电源中应用最广的电压等级之一,Facebook就采用这一电压来构成它的OCP电源架构。这一架构的本质同样也是将储能移到临近服务器机柜的专用电源柜内,消除了上一级的集中式电源设备,直接在机柜里设置48V充电器给储能设备(铅酸电池)充电。产生的DC48V作为备用电向服务器的PSU供电,而市电AC277V(美国制式的标准单相电压,相当于中国的220V)作为服务器电源的主供电,如图9所示。OCP架构需要定制服务器的PSU。据了解,这一模式仅仅作为Facebook对服务器供电架构的一种有益探索,并没有形成大范围的推广,Facebook主流的数据中心依然采用传统的UPS模式供电。
(5)微软OCS服务器的LES架构供电模式和Google服务器
微软的OCS服务器的LES架构与Facebook不同,它是把储能设备(采用锂电池)再向后端移动到服务器内部PSU的380V直流母线上,实现了更短距离对服务器板卡的供电,消除了上一级的电源设备,如图10所示。储能设备及其外加的变换电路直接并接在标准PSU的直流母线上,采用Buck/Boost双向变换电路从直流母线直接引入DC380V电压来实现电池的充放电,电压选为DC380V可以达到更高的变换与传输效率。但是电池的备电时间不长,据报道小于1min,这与国内动则10几分钟的后备时间相差巨大。
作为互联网时代的巨头,Google当然也不甘落后,也推出过自己的内置电池服务器,不同的是这种定制化服务器的电池为12V,直接并接在PSU的输出端,如图11所示。正常情况由市电通过内部PSU转换成12V进行供电,如果停电或主路供电遇到问题时,则由电池放电给服务器供电。相比于LES架构,Google服务器电池的位置又往后移动了一小段,更贴近“板/芯片”。
从目前了解的信息看,无论是微软的LES架构还是Google服务器,虽然理论上在供电架构上实现了市电向服务器的直接供电,消除了中间变换环节的能源浪费和变换过程中诸多不可控的安全因素,但是实际上把锂电池引入到服务器内部在目前的技术条件下可能导致的隐患更多,毕竟高强度的服务器运行环境不同于日常“休闲式”的笔记本电脑。猜测这可能也是为什么这些运行模式并没有在微软和Google自身的数据中心大规模应用推广的原因吧。
3 结束语
数据中心供电架构的本质还是解决“供电”和“备电”的问题,对“更直接供电—市电直接向服务器供电”和“更有效备电—储能设备更靠近服务器板/芯片”的不断追求,产生了各种各样看起来有点神秘的供电方式,但是归结起来看,供电架构发展的轨迹无非是集中供电和分散供电的不同表现形式而已,从上世纪90年代的分散供电,到2000年后的集中供电,再到现在业界对新的分散供电的追捧,历史总是在惊人地轮回。至于实际建设中,选择高度集中、微模块集中、机柜集中还是完全服务器级分散的供电方式,需要数据中心建设者根据自己的设计定位、资金投入、近远期规划、运行管理等来综合衡量,尤其是对建设成本与运行成本予以重点关注。
作者简介
王伟,伊顿电气集团电能质量业务部技术总监,本刊编委。
编辑:Harris