2018年12月19日至21日,中央经济工作会议在北京举行。会议重新定义了基础设施建设,把5G、人工智能、工业互联网、物联网定义为“新型基础设施建设”,并将基础设施列为2019年重点工作任务之一。会议指出,新型基础设施建设,发展新型基础设施,支撑数据驱动的新科技产业化落地,是未来一段时间的我国经济内生增长的逻辑。
　　
　　云计算、大数据、工业互联网、物联网、人工智能等现代信息化技术的产业化,已逐渐成为国民经济的重要支柱。信息化的基础是数据中心,可以说,没有数据中心,就没有信息化的发展。数据中心的建设,是当前最热门的工程建设领域之一。
　　
　　数据中心工艺要求是数据中心工程和配套方案确定的基础,与数据中心的建设规模,产品方案互为条件,也是数据中心投资估算和经济分析的重要基础,是影响数据中心环境、节能、安全等以及经济合理性的重要因素。
　　
　　数据中心行业目前正处于高速增长的阶段,各种新理念、新技术、新设备层出不穷。尤其数据中心的工艺要求也在经历较大的转变,这对数据中心整体架构、建设形式和实现方式都提出了新的挑战,因此需要对过去几年数据中心工艺要求的演进做一个分析和总结,并对未来数据中心的演进做一些探讨。
　　
　　1 数据中心工艺要求的内涵
　　
　　首先需要明确数据中心设计中“工艺”、“设备”、“工艺设备”、“工艺设计”的含义和工作范围。
　　
　　马克思在《资本论》中指出:“工艺学会揭示出人对自然的能动关系,人的生活的直接生产过程,以及人的社会生活条件和由此产生的精神观念的直接生产过程。”
　　
　　“工艺”是劳动者利用生产工具对各种原材料、半成品进行增值加工或处理,最终使之成为制成品的方法与过程。
　　
　　“设备”是可供企业在生产中长期使用,并在反复使用中基本保持原有实物形态和功能的劳动资料和物质资料的总称。
　　
　　“工艺设备”是企业用来生产产品的主要机器设备，能反映企业的生产能力及生产水平的高低。
　　
　　将这些概念融入到数据中心中,可以直观的理解为,“工艺设备”是用来发挥功能作用、产生价值和效益、可直观地反映为收入的主要设备。结合数据中心的全生命周期,我们将“工艺设备”从狭义上理解为数据中心内的主要设备,即主机房内部的IT设备、配套机房内为IT设备服务并使IT设备运行产生效益的配套设备。
　　
　　数据中心内的各类主要设备包括服务器、存储设备、网络设备、机柜(架)、供配电设备、空调设备、给排水设备、消防设备、监控设备等。
　　
　　“工艺设计”是为数据中心内的主要设备服务,为不同的设备及设备组合提供安装空间和发挥功能效益而做的总体布局规划、功能单元分区规划、机房平面布局规划、主要设备布局规划、管线配套设施布局规划等。
　　
　　数据中心的建设涵盖了机房工艺、网络通信、建筑结构、电源系统、空调系统、消防系统、综合布线、监控系统、传输管线等各个方面。
　　
　　围绕着工艺设计,与数据中心设计相关的专业还包括结构、建筑、规划、装饰、供配电、照明、监控、通信、消防、给排水、动力、空调等多个专业。数据中心的工艺设计和配套设计需要从技术经济、空间管理等2个维度相互配合,形成全专业的数据中心设计。
　　
　　数据中心的工艺要求,从用户角度和规划角度来说,可以分为用户类型、ICT设备类型、规模要求、可靠性要求、环境要求、节能要求等6个方面,下面分别予以论述。
　　
　　2 数据中心工艺要求的要点
　　
　　(1)数据中心用户类型
　　
　　数据中心讲究“按需定制”,其工艺要求的要点是明确目标用户。
　　
　　不同用户对数据中心的可靠性和可用性的要求不同,比如金融行业对可靠性要求很高,数据中心一旦出现故障,将造成重大的经济损失。严重的数据丢失,将造成公共场所秩序严重混乱。因此金融等行业应按照高可靠性的要求建设数据中心。
　　
　　但不是所有单位或行业都要求高可靠性,高可靠性意味着高投入。当用户不需要很高的可靠性,数据中心故障造成的损失可承担时,如果也按照金融行业的要求建设数据中心,将造成资金和资源的严重浪费。
　　
　　数据中心用户分类有以下几种:
　　
　　①按用户归属分类:EDC(用户主要是内部用户)、IDC(用户主要是外部用户);
　　
　　②按用户行业分类:政府、金融、科研、公共服务、企业、互联网、运营商;
　　
　　③按单机柜容量分:超算、高密度、中密度、低密度;
　　
　　④按运营方式分类:自用性、外包型;
　　
　　⑤按交付模式分类:传统数据中心、云计算数据中心。
　　
　　明确目标用户的重点是对机柜功率密度进行分析。不同行业对数据中心单机柜常用功率密度范围均不相同。政府、金融、公共服务约2～5kW,企业、运营商约3～6kW,互联网约5～12kW(参照《天蝎整机柜服务器技术规范V2.0》),科研、云计算约5～10kW,超算约30～100kW(参照曙光全浸没式液冷服务器机柜最大功耗)。
　　
　　(2)数据中心的ICT设备类型
　　
　　信息通信技术(Information Communications Technology,简称ICT)设备是数据中心内最核心的设备,是数据中心所有配套基础设施所服务的对象,也是数据中心形成生产能力的关键。所谓数据中心工艺要求,主要来自于数据中心内规划安装的ICT设备的技术要求。
　　
　　数据中心ICT设备主要分为三大类:
　　
　　①计算类设备,包括各类PCServer、刀片机、小型机等;
　　
　　②存储类设备,包括各类磁带机、磁盘阵列等;
　　
　　③通信类设备,包括各类路由器、交换机、传输设备等。
　　
　　从数量上来看,计算类设备的数量最多,存储类和通信类设备的数量较少,从功能和架构上来看都属于一个从属的地位。
　　
　　服务器在万维网兴起以前,处于小型机、中型机、大型机的年代,采用“主机——终端(Host-Terminal)”模式来运行。现代服务器起源于互联网大潮的兴起,互联网的发展需要大量的服务器提供支持。从2000年左右流行的塔式服务器(Tower Server),到2005年左右流行的机架式服务器(Rackmount Server),到2010年左右流行的刀片式服务器(Blade Server),到2015年左右流行的整机柜服务器(Full Cabinet Server),可以看到服务器的形态逐步与数据中心的形态更加匹配起来,也就是在适合的空间和供电制冷环境下,其利用率逐步上升的一个过程。
　　
　　(3)数据中心的规模要求
　　
　　数据中心讲究“量体裁衣”,其工艺要求的要点是确定建设规模。
　　
　　数据中心的规模要求,通常可以由以下几个量化指标来综合确定:
　　
　　①拟投入的服务器类型与数量;
　　
　　②拟建建筑面积与机房面积;
　　
　　③拟建机柜数量及密度;
　　
　　④总体电力容量等。
　　
　　根据数据中心业务的运维特点,数据中心的生命周期主要是由房屋建筑物和主要设备本身的折旧年限、IT设备及新技术发展、客户需求和经济性等综合因素所决定的。
　　
　　数据中心的规模要求,应考虑近期需求与远期规划协调一致。数据中心近期的建设规模,要满足当前用户的运行要求;数据中心远期的发展规划应考虑整个生命周期里的扩建、改建、拆除等,可考虑通过模块化的布局,实现生命周期内灵活更新,保证相对独立布局互不影响。
　　
　　(4)数据中心的可靠性要求
　　
　　数据中心讲究“铜墙铁壁”,其工艺要求的要点是确定可靠性要求。
　　
　　《数据中心设计规范》GB50174-2017第3.1条从数据中心的使用性质和数据丢失或网络中断在经济或社会上造成的损失或影响程度,将数据中心划分为A、B、C三级,A级为“容错”系统,可靠性和可用性等级最高;B级为“冗余”系统,可靠性和可用性等级居中;C级为满足基本需要,可靠性和可用性等级最低。
　　
　　确定可靠性要求的重点,是对用户需求的等级要求进行分析。
　　
　　值得一提的是:高的可靠性意味着高的投资支出和配套空间,超出需求能力的可靠性要求往往会造成浪费,并使得数据中心的生产能力不能充分发挥其应有的效益。数据中心工艺要求需要讲求可靠性、投资、总成本的平衡,应避免过分强调安全或过分强调低价。最合适的、最贴近实际需求的配置才是最合理的工艺要求。
　　
　　(5)数据中心的环境要求
　　
　　数据中心讲究“恒温恒湿”、“一尘不染”,其工艺要求的要点是确定环境要求。
　　
　　从数据中心的内部环境的角度来看,环境要求主要包括以下几个方面:
　　
　　①机房温湿度;
　　
　　②机房空气质量;
　　
　　③空气含尘量;
　　
　　④环境噪声;
　　
　　⑤电磁干扰场强;
　　
　　⑥环境振动加速度;
　　
　　⑦环境绝缘体静电电压。
　　
　　从数据中心外部环境的角度来看,环境要求可以和选址要求相结合来给定,例如周边交通条件,电力条件,供水条件,自然条件等等,这部分要求的内容详见《数据中心设计规范》GB50174-2017中第4.1条“选址”、第5.1条“温度、露点温度及空气粒子浓度”、第5.2条“噪声、电磁干扰、振动及静电”。
　　
　　(6)数据中心的节能要求
　　
　　数据中心讲究“绿色环保”、“低碳节能”,其工艺要求的要点是确定节能要求。
　　
　　数据中心的节能,需实施节能最佳实践方案,从主设备选型、机房建设等方面降低能耗。
　　
　　节能关注的最重要的指标是电能使用效率(Power Usage Effectiveness,简称PUE),PUE是表征数据中心电能利用效率的参数,其数值为数据中心内所有用电设备消耗的总电能与所有电子信息设备消耗的总电能之比。
　　
　　为贯彻落实国家节能减排战略,促进数据中心的健康有序发展,加快绿色数据中心体系建设,提升数据中心节能环保水平,国家工业和信息化部(简称“工信部”)和各地政府部门针对数据中心均制定了以PUE为主要考核指标的节能管理政策。
　　
　　3 数据中心工艺要求的演进
　　
　　(1)数据中心建设规模的演进
　　
　　随着信息化需求的爆发,就建设规模而言,数据中心的演进在向两个方向发展。
　　
　　第一个方向是超大型数据中心的建设犹如“劳动竞赛”,不断打破原有记录。
　　
　　以上海地区某运营商的新数据中心园区为例,其建设规模等于其竞争对手十多年建设的总体量。数据中心建设规模的增加,虽然是所有行业观察者最容易发现的事实,但是,数据中心规模的量变产生的架构的质变,却是需要进一步研究分析的。众所周知,数据中心是资源消耗大户,俗称电老虎,大型数据中心往往还是吃水怪兽。当数据中心的规模大到一定程度,如果还要硬搬现有的针对单体的建筑的建设标准,往往会得出比较夸张的方案来,例如,普通的数据中心往往采用柴油发电机组作为后备电源,A级数据中心柴油发电机还需要N+1的配置。但如果试着计算某个2万机柜的数据中心油机配置要求,将需要近百台油机,其储油量是多少,其冷却水补水量又是多少。达到这种级别的数据中心,已经不宜将其作为某个单一项目来论证评估了,更应该将其放入城市规划或者区域规划来考虑,考虑将其放在最适合的空间,选择最合理的实现方式。
　　
　　第二个方向是边缘型的中小数据中心也在发力增长。根据国际数据公司的统计和预测,到2020年将有超过500亿的终端与设备联网,未来超过50%的数据需要在网络边缘侧分析、处理与储存,边缘计算所面对的市场规模非常巨大。2016年,亚马逊、微软、华为、英特尔、ARM等公司已公开宣布进入边缘计算领域。
　　
　　(2)数据中心环境要求的演进
　　
　　近年来的数据中心的行业实践发现,数据中心内的IT设备与网络设备并没有想象中的娇贵,因此,对于数据中心环境要求而言,其演进变化的方向主要是根据设备的实际耐受程度和行业绿色节能的要求,逐步放松其控制范围。具体而言,数据中心机房温度的工艺要求变化体现在近年来规范更新上,如表1。
　　
　　数据中心环境温湿度要求,ASHRAE,2004版、2008版、2011版规范表格如表2、表3、表4。
　　

　　从表2～表4可以看到,数据中心对机房环境温度的工艺要求从2004版到2008版到2011版在逐渐放宽,不难想象,温度范围越宽,可以实现自由冷却的时间越长,数据中心的PUE值也会越小。
　　
　　随着IT设备厂家的新产品的不断研发,将会有越来越多的IT产品适应更宽泛的工作环境,对于某些选址条件较好,IT设备要求不高的数据中心来说,甚至可以实现全年无压缩制冷,大大改变了数据中心的建设约束和制冷系统的建设方案。
　　
　　(3)数据中心节能要求的演进
　　
　　近年来,随着节能政策导向的趋紧,数据中心的节能越来越得到主管部门和规划、建设、运营单位的重视。
　　
　　工信部近年来关于数据中心节能减排的发文,对PUE指标都有具体的数值要求,发文分“指导意见”、“统计数据”、“申报通知”三类,如表5。
　　
　　从工信部的指导意见可以看出,在全国范围内,对新建大型数据中心的PUE要求,逐渐严格,当前的PUE值要求达到1.5以下,到2020年要求PUE值达到1.4以下。从工信部的统计数据可以看出,2018年度,在用超大型数据中心平均PUE值为1.63,大型数据中心平均PUE值为1.54,均高于当前的要求值1.5,有待通过各种节能改造手段进一步降低。
　　
　　北京市、上海市、广东省、深圳市等一线城市或发达地区,均制定了地方节能管理政策,从多个方面对数据中心能源管理、节能减排、绿色化发展予以监督和促进,如表6。
　　
　　北京市、上海市发布的政策,对新建、扩建、改建数据中心,均制定了具体的、严格的PUE指标值和新建数据中心选址区域的要求,相比工信部指导意见更为苛刻。广东省通过组织开展节能监察,对节能技术、产品和新机制进行推广,推进数据中心节能减排。深圳市发布的政策,主要发力点在于对现有数据中心进行改造,使之符合绿色的标准;
　　
　　在对待新建数据中心的态度上,深圳市是通过市场和政策调节的方法,逐步淘汰老旧数据中心。
　　
　　《固定资产投资项目节能审查办法》(国家发展和改革委员会令第44号)中规定“年综合能源消费量5000吨标准煤以上的固定资产投资项目,其节能审查由省级节能审查机关负责”。依据《固定资产投资项目节能审查办法》,北京市、上海市、广东省及其他地区,均相应制定了各省市的“固定资产投资项目节能审查实施办法”,在数据中心项目报批立项过程中,利用碳排放配额管理、能源消费指标等多种手段,在数据中心的规划阶段,从源头上要求降低数据中心能耗水平。
　　
　　(4)数据中心工艺对土建要求的演进
　　
　　工艺和土建是数据中心相辅相成的两大建设要素。通常，工艺是数据中心土建的需求来源，土建是数据中心工艺的承载基础，一个设计良好的数据中心的工艺和土建必然是互相搭配，衔接吻合的。
　　
　　数据中心工艺对土建要求的演进,主要体现在两大方面:
　　
　　①数据中心的工艺正在努力与土建解耦。由于数据中心的工艺种类日益增多,技术路线日益复杂,技术升级越来越频繁,以至于对数据中心未来的发展趋势的精确把握越来越困难,在这种情况下,业界的选择是努力不让先期已建的土建成为工艺演进的桎梏,工艺正在努力与土建解耦,具体的方式是,让工艺仅仅在空间,层高,承重上对土建提出标准化的要求,简化对具体的房间分割,大小,形状,孔洞等方面的要求。
　　
　　②数据中心的土建标准正在提高。这里的土建标准即上文中工艺对土建的标准化需求,主要体现在三大方面:空间,层高,承重。
　　
　　数据中心的空间标准其实是规模指标的一部分,已经在上一节中做过具体论述。
　　
　　数据中心的层高标准提高的原因,主要是数据中心环境要求演进的结果。为了建设更加绿色节能的数据中心,必然要对气流组织进行更加有针对性的规划设计。为了实现有组织的送风,有组织的回风,并且风速适中压力均匀,则需要分配足量的层高空间作为送风和回风使用。另一方面,随着数据中心设备密度的提高,单位空间内的布线密度也随之提高,加上A、B路的线缆布防物理隔离的原则,导致为数据中心走线所分配的层高空间也需要考虑的更加充分。
　　
　　数据中心承重标准提高的原因主要是两方面:一方面是工艺密度的提高,举例来说,数据中心的单机柜密度,从平均2kW逐步上升到现在平均6～8kW,极端的超算等应用甚至可达100kW以上。与此对应的单机柜的重量,也从500kg上升到1500kg。密度的上升导致承重标准的提高。另一方面是为了实现工艺与土建解耦,必须考虑空间用途的可调整性，例如，原来规划为主设备机房的空间，是否可调整为电力电池室，是否可满足蓄电池的承重要求。如果要为这样的变化预留条件，就需要按工艺最大的承重要求来作为普遍的承重标准。
　　
　　(5)数据中心到数据中心群的演进
　　
　　以前对数据中心进行规划设计时,往往将数据中心作为一个独立的个体来分析和研究,数据中心运行则业务通畅,数据中心故障则业务中断。而随着云计算技术的发展完善,业务应急切换能力的加强,以及越来越多的灾备数据中心投入使用,越来越多的业务开始部署在多个数据中心上,从而形成了主备或者互备的数据中心群的概念。
　　
　　《数据中心设计规范》GB50174-2017第3.2.3条中也对这种情况做出了规定:“当两个或两个以上地处不同区域的数据中心同时建设,互为备份,且数据实时传输、业务满足连续性要求时,数据中心的基础设施宜按容错系统配置,也可按冗余系统配置。”这是A级数据中心的一种情况,主要适用于云计算数据中心、互联网数据中心等。
　　
　　也就是说,从工艺要求的角度来看,数据中心群的出现,使得单个数据中心的故障不会导致业务完全中断,从而解放了单体数据中心苛刻的可靠性要求。所以,即使数据中心群中的单体数据中心是按B级的可靠性(冗余级)配置的,其整体仍被认可为A级(容错级)。
　　
　　根据目前的观察,数据中心群的应用相对而言还比较稀少,只有少数几个国际级互联网公司的业务系统才庞大到需要使用一个数据中心群来承载,也只有这类公司才有足够的资金和技术能力部署数据中心级的灾备切换。但可以设想,随着行业的进一步发展,相关技术进一步成熟,以及数据中心整体资源的进一步充实,未来使用数据中心群的业务将会快速的增加。当数据中心群的组成由现在数个数据中心增加到数十个甚至数百个数据中心,这对数据中心的工艺要求,以及建设形式都会产生颠覆性的改变。
　　
　　4 结束语--结论与展望
　　
　　回顾历史,数据中心的建设形态已经从第一代发展到现在的第四代,并正在向第五代演进。而演进背后的源动力,正是来自数据中心工艺要求的升级变化——服务器的形态从大型机～小型机～PC机～刀片机~整机柜服务器的演进,配套技术从各自独立到模块化智能化的演进,业务从孤岛式服务到云计算服务的演进等等。
　　
　　通过观察数据中心工艺要求的演进,可以更加清晰地把握数据中心行业进化方向,更加准确地把握数据中心规划设计的关键点,建设出更加贴进未来需求的数据中心。
　　
　　作者简介
　　
　　丁聪,工程硕士,高级工程师,数据中心设计师技术组(DDO)副主任委员、上海绿色数据中心专委会常务副主任、国家互联网数据中心产业技术创新战略联盟技术专家委员会专家、数据中心节能技术委员会专家组专家、中国勘察设计协会建筑电气工程设计分会杰出青年工作组委员、注册咨询工程师(投资)、注册监理工程师、高级项目经理,长期从事数据中心咨询、规划、设计、评估工作。
　　
　　沈巍,工程硕士,高级工程师,数据中心设计师技术组(DDO)委员、注册咨询工程师(投资)、注册监理工程师,长期从事数据中心咨询、规划、设计、评估工作。
　　
　　编辑：Harris