挖深地基—数据中心基础设施建设区分

木桶原理告诉我们，木桶盛水的多少取决于长度最短的木板。建筑装修、供配电、制冷、集中监控、消防、布线等系统共同组成了数据中心基础设施的“木桶”，这一木桶的盛水能力（整体生命周期的高可用性）并不决定于哪一部分多么出色，而取决于哪一部分做的最差。

苦尽甘来 用户的苦与甜

元·王实甫《西厢记》：“忘餐废寝舒心害，若不是真心耐，志诚捱，怎能勾这相思苦尽甘来。”苦尽甘来是指艰难的日子过完，美好的日子来到了。在越来越受到关注的数据中心基础设施建设中，希望广大用户同样能享受到“苦尽甘来”的美好。

暑期将至，在去年酷暑时期发生的多起因温度过高导致的服务器等关键设备中断的惨痛仍历历在目：新浪任你邮发出预警，由于北京地区持续高温，网通机房的温度已经达到……；北京网通ADSL设备出现的大规模故障；重庆电信服务器突然“瘫痪”；所有这些都是热量惹的祸，也由此引发了数据中心机房建设的大讨论。在以往的机房建设中普遍忽略了对隔热、通风的设计，也浪费了大量电力。

两年前，记者到中国石油集团东方地球物理公司研究院参观，机房中排列着非常多的装载着服务器和磁盘阵列的机柜，提供电力保护的UPS也同样显眼。这里并没有发生过温度过高而带来的宕机，但当记者和该院副总工程师赖能和交流机房中散热问题时，正是在国外的先进机房中采用了机柜“面对面、背靠背”的摆放方式代替了“队列式”的摆放方式，这样可以对散热有非常大的好处。赖总非常认可这一“改良”。但对于已经建好的机房，由“队列式”改变成“面对面、背靠背”并不容易，涉及到布线、地板等一些基础设施的改变，况且让服务器等设备全部停下来也不是件容易的事。可喜的是，目前这一“改良”已经在很多新建的机房中得到了采用。

再来看看布线，布线作为最底层的网络传输平台，同样具有着超长的生命周期，选型适当超前并没有错，正如故宫博物院资料信息中心主任胡锤所说，“如果当初我们的资金更富裕，在布线时更超前一些，后来的网络升级可以省去很多麻烦。”

上面几个实例的数据中心机房建设都是几年以前完成的，那时侯用户对数据中心基础设施的认识还有些缺乏，相应的技术、产品以及理念也一定程度上限制了用户的思维，不过在最近建设的很多数据中心中，用户已经品尝到对基础设施重视的甘甜。

平顶山煤业集团刚刚进行完数据中心的建设，集团计算机通讯中心张长松主任对基础设施的认识比较超前，“数据中心的建设是一个先导性的项目，只有这个项目先期完成，才有可靠的基础物理环境，所有网络、计算、存储设备才有良好的安装和运行条件。”因此该数据中心选择了英飞集成系统，包括机房输入配电柜、40K  N+1模块化电源、22套机柜、2台精密空调和英飞管理器，形成了一个整体机房的构架。这是记者见到的比较出色的机房，不但全部采用了模块化设备，为后期的扩容打好了基础，而且将制冷和管理放在了同样重要的位置。

当然，平顶山煤业集团在资金上对基础设施的建设提供了保证。对于很多用户来说，捉襟见肘的项目资金无力挖深机房的“地基”，湖南工程学院网络中心主任廖毅就面临这样的问题，但廖毅把这一问题处理得很好。记者在湖南工程学院机房参观时，明显感觉到这是一个重视基础设施、在超前理念指导下建立的机房。为了保证机房洁净度、温度等的要求，新机房在规格上有了新的提高，如精密空调的管道已经做好了，由于资金不足，还没有上马；布线系统选择了SYSTIMAX的6类产品，以满足对语音和视频等的传输。这也在为投资保护、延长生命周期方面发挥着作用。“即使在未来，如果需要再升级之时，机房本身是不落伍的，将核心交换机推向边缘就好了。”廖毅表示。

取长补短 用户的理想做法

《孟子·滕文公上》：“今滕绝长补短，将五十里也，犹可以为善国。” 取长补短泛指在同类事物中吸取这个的长处来弥补那个的短处。在数据中心基础设施的供配电、空调新风、集中监控、消防、布线等众多方面，用户最理想的做法是尽量把“短”的方面补“长”，而不应该一味地对“长”的方面再加“长”。

中国计算机用户协会机房设备应用分会副理事长沈卫东讲，用户给机房设施“随需应变”的要求，对机房的规划、设计、设备选型、运行维护等四个环节及电源、空气调节、防雷、机柜、监控等多个子系统提出了挑战。

从目前看来，对于很多用户来讲，制冷和空气调节的“木板”有点短，文章前面提到的服务器宕机也因此所致。据相关数据显示，我国有近33％的机房曾因为空调制冷问题出现过宕机现象。除了因制冷系统问题影响数据中心整体可用性外，耗电量大的问题也一直困扰着人们。在机房中，除了必不可少的IT负载，空调制冷设备的耗电量位列次席。

“传统的制冷系统是基于二三十年来陈旧的制冷科技而设计的，它们仅考虑到空调主机本身的制冷能力，而不考虑机柜内部IT设备的制冷需求，常常会出现机房的室温很低，但某些机柜内却超过了IT设备正常工作的温度。即使在整个机房内，这种制冷解决方案也没有考虑到冷热气流通道的问题，使得冷热气流混合无序，大大降低了制冷效率。而制冷效率降低除了可能降低系统可用性外，还可能导致运行成本大幅增加。”沈卫东讲。

42U的机柜通常所装载的设备为什么只占据10~20个U？这是机柜的散热能力以及配电能力有限所致。我们具体分析一下原因。

机柜内的设备需要温度、湿度适宜，并且风量充足的冷风（冷空气）。这些冷风被机柜内的IT设备吸入，从而为设备内的部件尤其是CPU降温。当机柜内设备增加到一定数量时，由地板出风口送出的冷风的风量将不能满足所有设备的需求，从而形成部分IT设备配风不足而过热。解决机柜内设备密度扩展时遇到的这种局部热点问题可以采用调配IT设备位置的方式来解决。例如，把热负荷最大的设备安装在机柜中部位置，以便获得最大的配风风量。另外，在机柜的上部或下部位置安装轴向水平的强排风扇，增强上部或下部的吸入能力（即减小IT设备的入口静压），从而增加配风风量。值得注意的是，早期机柜的顶部通常都安装有垂直轴向的、向上排风的强排风扇，但这种风扇对目前的标准IT机柜没有任何作用，因为现在所有的机架式IT设备均为前进风、后排风。

合理的布置机柜对于确保机柜拥有适当温度和足够的空气非常重要。采取“面对面、背靠背”的机柜摆放方式，这样在两排机柜的正面面对通道中间布置冷风出口，形成一个“冷通道”的冷空气区，冷空气流经设备后形成的热空气，排放到两排机柜背面中的“热通道”中，通过热通道上方布置的回风口回到空调系统，使整个机房气流、能量流流动通畅，提高了机房精密空调的利用率，进一步提高制冷效果。

目前，一些厂商也对此非常关注，并推出了相关方案。APC公司市场推广总监杨晓怡介绍，APC新推出一系列与InfraStruXure（英飞集成系统）兼容的模块制冷解决方案，包括InfraStruXure InRow RC（英飞 InRow 机柜制冷单元）、InfraStruXure Cooling Distribution Unit（CDU，英飞制冷分配单元）和Rack Air Containment System（RACS，围栏式机柜气流解决方案）。这些新的制冷产品是可扩展的、可升级的、模块化的，能够提供具有可预测性的准确效果。与传统的制冷方式相比，可提供可靠的、可预测的、足够的制冷能力。这些制冷产品是APC整体数据中心解决方案的组成部分，其安装非常简便。通过减少数据中心规划和建立的时间，可以为用户带来更多的效益。

艾默生网络能源有限公司信息机房设计总工朱利伟认为，该公司提供的动力机房一体化整体解决方案中包括机房气候调节解决方案部分，以解决机房设备对于制冷的需求。DataMate 3000系列空调是小型机房专用空调产品，包括7KW和12KW两种制冷量、并具有多种配置供选择; DataMate迷你型电信专用精密空调，具有完整的温湿度控制功能，是专为保障在通信机房及计算机房中使用的精密电子设备而设计的，制冷量范围从4.9KW~8.6KW；模块化精密空调系统Challenger M+系列，模块制冷量范围宽，从20KW~100KW，适用范围广；Deluxe System豪华系统精密空调专为精密电子设备提供全方位的环境控制。

科士达最近推出了一体化柜式机房正是整体机房理念的产物，在标准机柜内，整合了动力输入、智能配电、环境监控、温度调节、布线管理等功能在内的一体化方案。

步线行针 用户别忽略布线

元·康进之《李逵负荆》二折：“哪怕你指天画地能瞒鬼，步线行针待哄谁？”步线行针比喻周密布置。用户在进行数据中心布线时，同样要进行周密考虑，理想的方式是加上管理功能。

数据中心的电缆分为两大类：一类是动力电缆，比如为每个设备提供的供电电缆；另外一类为信号电缆。朱利伟表示，“对于动力电缆，要求对每个电缆的来向、去向进行详细而准确的标记，贴上标签等。信号电缆包括服务器的外设电缆、网络电缆以及光纤等。通过KVM或者远程控制系统可大大节省外设电缆。网络电缆或光纤要求标示清晰，捆扎整齐。此外在数据中心建设的时候，必须规划好足够使用的信息点，避免后期不断修改、不断增加电缆导致的混乱。”

机柜内的设备需要供电以及与机柜外部进行通信。当机柜内的IT设备数量增加时，这些线缆、连接端子同时成倍增加，如果要增加电源排插的数量，则需要考虑是否该留有空间、在配电柜上是否应留有接线位置。机柜内的布线空间也是需要提前考虑的，因为当机柜内的功率密度提高时，设备后部的线缆将明显增加风阻，所以必须考虑线缆管理及走线空间的问题。

哈尔滨商业大学进行了扩建，机房也重新进行了建设。该大学图书馆副馆长孙明先生介绍，“他们采用了InfraStruXure英飞系统，采取上走线方式，所有的连接线全部从机柜的顶端穿过。这样一来，在移动设备或维修时就不用像原来那样要翻开地板寻找各种连接线，减少了服务器、交换机等关键负载和UPS之间的故障点，提高了整个电力系统的可用性。”

SYSTIMAX中国区技术总监许向红表示，SYSTIMAX iPatch实时网络基础设施管理系统，为数据中心提供了铜缆和光缆连接交互式的实时控制。结果是网络管理的响应时间更快、安全性更好。系统提供了自动的路由管理，帮助技术人员正确完成工作指令并提供服务。

西蒙中国技术经理陈宇通认为，机房日常管理工作量最大的是线路维护和跳线管理，随着时间的累积，不正确的文档记录完全不能体现机房内线路的实际情况，等同虚设。西蒙公司最新推出的智能管理布线系统MapIT，在西蒙高端布线系统上融合了传感技术和以太网技术，将布线系统及其连接设备互动起来，以实现自动发现及实时监控网络端口连接。

泰科电子公司高级技术主管许楠则从另一个角度对问题进行了阐述。用户通常需要在有限的空间内最大限度地提高网络容量。泰科电子公司推出了铜缆MRJ21高密度的布线系统产品，以及光纤MPO高密度布线系统产品，同时与智能布线管理系统AMPTRAC相结合，满足了数据中心和存储区域网络的特殊要求。

舍近求远 用户远程管理于指尖

《后汉书·臧宫传》：“舍近谋远者，劳而无功；舍远谋近者，逸而有终。” 舍近求远是指舍去近处的，追求远处的。对于数据中心来讲，我们还真需要一种舍近求远的做法，在远程管理于指尖。

当今网络时代，如何提高竞争力，如何加强数据中心的建设和管理已迫在眉睫。面对机房不断扩容、迁址、改建、新建的变化，越来越多的用户已经不愿再被动应对。有什么办法能让用户在不断成长的数据中心面前游刃有余呢？

哈尔滨商业大学图书馆副馆长孙明先生讲: “中心机房放置的网络设备和服务器采用机架式安装。一般按每个机柜安装5个服务器配置，服务器采购时配备机架导轨，同时为每个机柜配置显示器、键盘、显示器隔板、键盘抽屉和8口显示器键盘共享器。”系统中各种功能模块、控制模块都可以通过内部的LAN进行监控，管理员可以在远程监控中心的监控PC上查看整个UPS系统内部各个模块和配电单元的状态，并可随时处理系统出现的问题和故障。对远程管理，孙先生深有体会，“我们图书馆在江北的新校区，而机房管理人员都住在江南，距离很远，正是远程管理功能帮了忙，因为管理员可以在远程通过Web方式实时监控设备的状态，在家里也能进行管理操作。”

美国Avocent公司中国战略合作伙伴总监张婷女士表示: “用户对整体系统的每个子项都需要一种管理工具，界面、账号、密码都不尽相同，但用户需要的是一个整合的统一管理平台。”Avocent新一代数据中心管理方案，通过“Over IP”远程集中式服务器管理、串口设备管理、电源设备管理、环境监控等，将机房所有IT资源全部整合到统一的系统架构中，并通过强大的统一管理界面，高效集中管理任何地点、任何分散的机房IT设施。

Raritan中国区技术经理周里功认为，Raritan的“无人机房”解决方案能实现管理者在任何时间、任何地点都可以集中管理机房的设备。该方案可以管理的设备有：跨平台的各种服务器、交换机、路由器、UPS等基于串口控制的设备，对设备的管理可以做到远程的电源开关机管理和BIOS一级的管理和维护。

相关链接一

·实例分析·

为了提高网络运行性能，吉林铁通决定对既有信息网络系统进行重新梳理，在吉林铁通现有的中心机房内，供配电、精密空调、防雷和环境监控等设备已经完成了一体化组合设计，无须进行重新整合，而供电系统和布线工程则是此次改造的“重头戏”。

在通信大楼中，数量众多的IT设备分布在不同的楼层。通信大楼中心机房原来用的都是小容量的逆变电源，供电系统已经不能满足网络通信运营。因此，采用大功率UPS系统成为吉林铁通所考虑的问题。此外，在选择UPS时考虑的另一个问题是，改变原来的分布式电源管理方式，通信大楼1楼中心机房的UPS系统将为1楼到6楼的所有IT通信设备和业务系统提供电力保障，因此从1楼到6楼都必须重新设计走线。科华三进三出并联型FR-UK/B33100（100KVA）工频机UPS系统应用于省级通信大楼的中心机房，为1楼到6楼的所有IT通信设备和业务系统提供电力保障，形成UPS、布线、网络监控等一体化整体解决方案。

从分布式管理向集中式管理转变不是一件容易的事，首先要解决通信楼庞杂的布线。如果在原来的布线基础上直接增加线路，只会让管理更加困难，而且对于系统维护及日后扩容都将是一项浩大的工程，要从根本上解决问题只有重新设计走线。方案实施时，对1楼到6楼全部线路进行调整，并重新配置交流配电柜，每层楼的交流输入、输出线走单独的线槽，从而为集中管理打下基础。方案还配置了KELONG UNMS-1网络智能管理系统，通过UPS的RS-232、RS-485通信接口和外配软件，可以方便地实现UPS的近程和远程的智能监控。

相关链接二

编看编想

留有余地

数据中心机房可以简单认为由两个层面组成——IT层面和机房设施层面。从目前国内的情况看，机房设施的建设有“一步到位”的方式与“逐步升级”的方式，对于很多用户来讲，更愿意选择后者。这就牵扯到扩容问题，所以要为将来的扩容“留有余地”。

在规划环节，首先需要在机房选址问题上考虑扩展性的要求，包括对面积、楼层位置、楼层净高、地面载荷等方面的要求。如果决定采用单一房间，显然要考虑未来扩容时的IT设备及机房设备的面积需求。扩容时如要占用其他房间，这就需要同时对欲占用的房间进行同样的结构评估。

沈卫东介绍说，空调室外机与机房的垂直距离不宜超过15米，所以机房的选址楼层多选在距离楼顶、底层或设备层较近的楼层，并预留足够的空间，以备未来机房空调系统扩容时安装空调室外机。如果未来扩容时希望增大机房内的设备密度，则必须考虑未来的设备重量与机房地板的承重力。

对于一般规模机房来讲，可以不考虑扩容对电力变压器的要求，但是需要考虑机房供电线路的容量问题。由于供电线路的扩容改造工程比较复杂，所以建议在机房初建时，应预留能够满足未来机房设备扩容需求的容量，其中应特别注意空调机等设备的负荷问题。