2005年,太平洋国家实验室(Pacific Northwest National Laboratory,简称PHHL)的数据中心已经到了最危急的时刻。
意外停电几乎每周就发生一次,每次都害得数据中心停电几小时。那时组织不断地买机架服务器,结果数量越来越多。因为计算资源数量暴增,机架服务器在那时比较便宜——按数据中心服务经理Ralph Wescott的话说是这样。结果到了2005年,机房的容量已经达到临界点了。
Wescott说:“组织买了服务器,就直接丢给我安装,但是机房已经没有空间了,电力和冷却的容量也不够用。如果再装一台服务器,恐怕机房得瘫痪。”
Wescott和PNNL开始着手进行一项计划:在不打破预算的前提下,好好翻新一下数据中心。以后三年的每个季度,数据中心小组会花上一个周末,把机房关掉,淘汰掉一批旧的服务器,扔掉地板下交缠的网线,然后换成更高效更强大的服务器,这些服务器都是用天花板上更加简洁的布线方式连接。这样的新配置释放了地板下的空间,以便进行更高效的制冷。
结果怎样?PNNL以前在500个服务器上运行500个应用,现在150个服务器就能带起800个应用。
分析公司IDC的程序主管Joseph Pucciarelli说,在经济紧张的士气,对付这样的IT计划需要勒紧钱包。“这种情况很常见,公司只会给你刚刚够用的资金,他们只想着问题能差不多解决就行。”
在这次PNNL从危机中脱险的事件中,我们学到了五点:
1、积极计划,不要消极应对。Wescott首先需要解决的问题是纠正数据中心小组的习惯,因为他们总是在各个小问题发生了之后才一个个做出反应,而不是观察系统的问题,然后做计划,构建一个耐用的设备系统。除了500个服务器,他们的数据中心还有33000条线缆来给这些服务器通电、连网,或者连接安全系统。
他说:“由我们决定数据中心的形态和容量该是怎么样。”
小组推断出,当前的轨道结构导致了3000个应用程序分别运行在各自服务器上,这种情况持续了十年。如今该数据中心81%的应用都虚拟化了(还有17%的">服务器虚拟化),Wescott计划向90%的应用程序虚拟化迈进。
Joseph Pucciarelli认为,公司若想增加容量,应当关注三个地方:减少物理服务器的数量;在虚拟系统运行应用来减少电力要求;使用更高效的制冷系统并改善配电。
“这是一个典型的三部曲,这样就能升级数据中心。”
Pucciarelli见过很多公司把大约50个服务器换成2到3个更大容量的系统,并且使用虚拟化来运行应用。
2、通过测量能耗来管理。Wescott建议管理者们需要想办法监控数据中心的状态,但是通常他们没有正确的工具。在作出计划改变之前,PNNL没有测量数据中心能效的方法,等到停电了之后,才发现这些能源问题。
“如果电源中的安培数太多了,那我只能靠触摸来感觉断路开关,如果热的话就有问题。所以还是得有监控工具。”
现在PNNL在每四个机柜的低、中、高处放上传感器,来创建一个3D的机房热量图。这样Wescott就能根据数据改变制冷方针,提升总体温度,对需要制冷的地方供冷。
“这下就能省下很多钱了,我的空调也会减少耗损。”Wescott说道,他还补充说,现在制冷方面能效估计比以前提升40%。
3、一小步一小步地进行。Wescott认为,首要的问题是从根本上重新配置数据中心,同时又不打断正常运行。公司的经理建议小步进行,减少停电的可能,但是同时又把问题抛给了手下。
“我给了管理层两种提议,”他说:“一种是我们把关掉数据中心,整顿七天,然后从头开始;另一种就是每个季度的某个周末,我们都停电整修一次。”
最后他们选了第二种提议,他们小组打算先替换一排服务器。在第一个周末三天的时间内,一个30人的团队花了14个小时,把数据中心里面的一排服务器机架都替换完了,并测试了新的配置。Wescott发现数据中心的可靠性和稳定性马上提升了。
如果管理层不同意这样做,放弃了计划暂停这样的正确方法,恐怕就会带来突发的故障事件。Wescott打比方说:“你不能在船航行的时候修理底部,但如果不修的话船就要沉。”
所以答案显而易见。
4、为了长远利益,做好暂时损失的准备。管理层不能因为一时的花费而放弃长远的利益。
Wescott的小组为了减少制冷系统的能源要求,于是估计了waterside economizer(利用水和外面的温度来冷却服务器的机架的仪器)。他们发现使用环绕制冷系统在长久上看要更加省电,而waterside economizer的制冷花费要比预算多10%。Wescott只好和供应商沟通,把花费减少到预算以内。
5、找到你不知道的地方。在翻新数据中心的过程中,管理员需要知道哪些地方能源没有消耗或者很少。其中常见的问题是数据中心里存在“流氓服务器”和“幽灵服务器”。
所谓幽灵服务器,就是配置好了但是一直没使用的服务器。他们仍然吃能源,却不为数据中心工作。而流氓服务器则是一些人私下放在自己办公室里的服务器,绕开了数据中心人员的约束。
Wescott说,这样的服务器会浪费能源预算。
“本来得在晚上关掉的空调,却被流氓服务器利用而彻夜开着。”
经过整顿,数据中心的能效有了较大进步。自从Wescott开始翻新设备之后,在数据中心只发生过一次意外断电,那是因为天气极热,冷却系统故障。Wescott知道,他的任务还将继续。
(作者:来源:TT博客责任编辑:许京杨)