9月8日,阳光明媚,采用湖水制冷的阿里浙江千岛湖数据中心正式启用。不过在现场,记者先听到了阿里内部另外一个小故事“2013年因杭州夏季高温,需要企业拉闸限电,为了保证数据中心平稳运行,阿里办公区空调和电风扇都停了。办公区全部是用工业冰......”。数据中心能不能摆脱对电力的严重依赖?事实上,各类数据中心正在充分利用自然资源,空气冷却、水冷、油浴,冰山下,北极圈,防空洞,创意无处不在。
湖水冷却数据中心技术细节
如果单从规模来看,阿里云千岛湖数据中心不算最大,其建筑面积30000平方米,共11层,可容纳至少5万台设备。但从创新技术的采用上,作为水冷驱动的工业数据中心建设的模板,很有带代表性。
工业设计层面:
90%时间不需要电制冷,深层湖水通过完全密闭的管道流经数据中心,帮助服务器降温,再流经2.5公里的青溪新城中轴溪,作为城市景观呈现,自然冷却后回到千岛湖;
设计和建设等级接近最高Tier4等级。如双盘管空调系统,是2(N+1)的标准,分为湖水和冷冻水的双路N+1系统;2个不同的110KW变电站引入3路10KW市电,保证2N标准;多组高压柴油发电机作为应急电力设备等;
采用光伏太阳能、水力发电等可再生能源,服务器余热也被回收用作办公区采暖;
预计可实现年平均PUE1.3(在亚热带环境中,数值已经极低),最低时PUE1.17,设计年平均WUE(水分利用率)可达到0.197;
华通云数据是数据中心的承建商,并提供后续基础服务。
硬件和软件等技术层面:
按需制冷技术纳入动态环境管理,通过智能算法模型综合判断,监测服务器的功率与温度变化,实时调整冷量输出,把制冷所需的能耗降到最低;
自主研发的数据中心微模块、整机柜服务器、PCIe 固态硬盘。
其中,数据中心微模块(ADCM),从工厂生产到现场交付仅需45天,独创的铝合金预制框架,实现精密的契合结构,进一步精简了现场的安装工作;整机柜服务器(AliRack)2.0版本,服务器上架密度和传统机柜相比提升了30%,同样的服务器空间硬盘容量增加了一倍。AliRack支持即插即用,服务器交付方便;PCIe固态硬盘(AliFlash),打破接口瓶颈绕,过控制器开销,使吞吐量、IOPS提升5-10倍,延迟下降70%以上。以及自主掌控的驱动逻辑,进一步提升性能表现。
据阿里估计,由于千岛湖地区年平均气温17度,其常年恒定的深层湖水水温,可以让数据中心90%的时间都不依赖湖水之外的制冷能源,制冷能耗节省超过8成。换算成数据就是,千岛湖数据中心可以比普通数据中心全年节电约数千万度,减少碳排放量一万多吨标煤。
数据中心参观中,有几处细节值得关注:
数据中心外部有两台湖水处理器,通过密封管道从湖中取水,技术讲解人员表示:“取水口完全符合环保标准,选择的是中间层,既不会太深避免泥沙等问题,也不会太浅有较多浮游生物。取水层基本无杂质,水温基本在13度左右,虽然不同天气略有变化,但基本浮动也就在1度左右。”由于水质极好,经过缓冲池进入湖水处理器,但从实际情况看,基本不需要进行水处理。
高压柴油发电机作为应急电力设备。即使发生突发情况,常规油管储备可以保证8-10小时供电,而后将通过直供油管由资源企业直接提供,1小时到位。“得益于双十一保障预案,阿里会人为断电+监控的方式,实现负载状态的实时柴油发电机的电力切换测试。阿里是很少几家能够做到这一点的企业之一。”
监测大屏是必不可少的参观之一。一面墙的屏幕上,分别是10KV自动化控制综合管理系统,电力监控系统,群控系统,光伏发电系统,综合监控系统等。据悉,目前刚刚投入使用的千岛湖书中心,IT运维人员5名,而后续还将继续加速扩容。
除了上述技术之外,阿里巴巴集团技术保障事业部总经理周明还特别补充了一点:数据中心机房布满了传感器,用以检测温度和分布情况,不是追求最冷,而是追求最适合,以保证最节能的目标。
真实验证:双十一10%流量放到阿里云
扩容的目标是为了2015年的“双十一”。阿里巴巴集团首席风险官刘振飞表示:“2012年开始建设的千岛湖数据中心,将在今年双十一中承担重要数据运算任务(如离线数据,而随着业务负荷加大,服务器会加快上架,并最终承担大数据相关业务,比如电商、金融、云计算等。”
事实上,阿里云今年在数据中心建设方面频频发力。周明向记者介绍:“北京、青岛、杭州、上海、广州、深圳等地的数据中心之外,还有新加坡数据中心、美国第二个数据中心,德国法兰克福数据中心,迪拜数据中心等在建设中。这些数据中心都是服务于全球云计算业务和国际跨境电子商务的。而千岛湖数据中心会承载了云计算和阿里部分的交易任务。”
对于一个备受业内挑战的问题——“阿里的核心应用,比如电商和支付,是否已经跑到阿里云上?”这次有了更为明确的答案。刘振飞对CSDN云计算表示:“从2012年的聚石塔(服务淘宝和天猫的商家的业务系统)到余额宝,再到金融云,都是架设在阿里云上的。今年计划双十一10%的流量,即淘宝核心交易链条和支付宝核心支付链条中对计算冲击压力最大部分的10%的流量会打到阿里云上。以后淘宝、天猫、支付宝都是跑到阿里云上的,今年双十一来做真实的验证。 ”
CSDN云计算的读者应该都对去年双十一直播(详见【观察】阿里11.11第六年,用我们的视角直播技术与数据)有印象,当时达到了每秒8万笔的交易量,支付能力突破每秒3.8亿。以此为基础,10%的数字是什么,应该比较好算了。
技术积累来自脚踏实地的实践
不止是阿里云。从全球来看,Google、Facebook、Amazon、Apple等都在进行超大数据中心建设,且所有的数据中心都被冠以“云数据中心”的称号。对此,阿里巴巴集团CTO王坚认为:“数据中心建设的旺盛正是因为数据的驱动,本质是对大数据对计算的需求。正如工业发展较快用电量一定会起来一样。而数据中心本身是上个时代留下来的名词,而云计算数据中心和数据中心本质是不同的。后者多少空间租赁,是卖格子,而前者代表产生计算能力的地方,是服务能力的输出,是行业的进步。”
对比之下,千岛湖数据中心规模并不大。阿里云更加看中的是技术方面挑战与积累。王坚博士对CSDN云计算表示:“除了湖水冷却之外,数据中心建设是复杂的系统工程,这是阿里真正意义上深度介入数据中心选址和设计中。这不是传统数据中心,甚至和中国绝大多数数据中心都不同,其中的新技术、新尝试很多。举个例子,将湖水从35米的地方抽取上来并不简单。因为一旦出现抽水一半断电,就如同一个20层的电梯突然掉下来一样的危险。这不是传统数据中心会遇到的问题,但要构建水冷数据中心,这是必须要过的关卡。为此,特别找到一家拥有特殊专利的企业来解决这个问题。千岛湖数据中心的建设是工程上的技术突破。这样细节地方的积累下来的工程能力,一旦爆发,将会有多大的成长空间,这都是可以期待的。”
在阿里云看来,数据中心成本低,耗电少这只是基本要求,他们更加看中的是要建一个计算效率最高的数据中心,即单台服务器能产生的效益最高。千岛湖数据中心的探索只是开始而不是结束。
再剧透一下,阿里云的张北数据中心将达到30万台规模,并利用风能和太阳能发电,不止用到千岛湖数据中心很多技术,还有更多的创新技术,又是另一番实践积累了。
最后,数据中心不能现场拍照的规则还是生效了。只好放些特别拍摄好的千岛湖数据中心的美图欣赏下。满满的工业设计之美!
采用湖水制冷,冷却水经净化后回流供市政景观用水
多路市政供电与柴油发电机应急备用,确保数据中心持续可用
综合供电效率达到97%以上,供电可靠性接近Tier4最高等级
温度比较低的季节或湖水不可用时,可用自然冷技术制冷
阿里巴巴自研定制阿里巴巴微模块ADM,可实现更快的交付效率,制冷节能20%以上