Facebook开源技术CTO John Kenevey:Facebook开源数据中心

第六届中国云计算大会于2014年5月20-23日在北京国家会议中心拉开帷幕。本次大会立足实践,以国际化的视野,帮助与会者了解全球云计算技术的发展趋势;从应用出发,探讨交通、医疗、教育、金融、制造、数字娱乐等行业领域的实践经验;并通过技术专场、产品发布和培训课程等方式,深度剖析云计算大数据的核心技术。

Facebook公司开源技术CTO John Kenevey

在第六届中国云计算大会主体会议,最后一个演讲来自Facebook公司开源技术CTO John Kenevey,他为大家分享的主题是“Facebook开源数据中心”,John重点介绍了Facebook开源数据中心,尤其是Facebook主导的“开放计算项目”(Open Compute Project,OCP)。他回忆道:2010年,Facebook数据中心的PUE是1.9,而通过OCP,现在PUE已经降到了1.07。自从2011年Facebook启动OCP,并通过基金会和社区来运营之后,发展十分迅猛,伙伴众多,开源向硬件方向来转移,形成了包含服务器、存储、数据中心设计、网络、硬件管理、Open Rack、方案提供商在内的全生态。

以下为现场实录:

大家好!我的名字叫做John Kenevey,我是Facebook开源技术CTO,讲一下开源数据中心的工作,以及如何在数据中心工作当中接触开源,以及我们几百年的创新。我们叫做Open的项目,这里给大家介绍一下背景,它是怎么起源的,以及我们项目的发展程度,以及接下来几年的发展方向。回到2010年,我们在美国完成了第一个数据中心的建设,到后来我们做了一些基准测试,当时的PPP标准,我们是1.9。我们基准测试数据中心里的工程师比较少,经过一起努力后的结果是1.07。意识到在PUE巨大的差距,结合32%能源效率的提高,以及44%降低,我们决定采取开源的设计。所以说2011年4月份Facebook开始将数据中心的技术放到公众云里面去。在2011年6月份我们看到整个产业里面的响应非常大,技术转向非盈利式,所以看到了我们现在的趋势。我们在老的Facebook总部举行一个峰会,有200多人出席,我们讲到了我们的一些设计。这个也为我们未来发展做了一个架构的基础,我们能效增高了38%。到了2011年的10月份的时候我们已经开始有一个新基础,我们一共有五个中心,与英特尔、高盛等一起合作。而且我给他们提供了一些种子资金,让他们开始进行这个项目的开发。我们在纽约也已经开发了一些不同的产品和技术,这些我们都希望是根据云提升的一个基础。实际上我们在金融服务的技术方面是最早采取路径的公司,我们后来进行金融服务的社区建筑。在2012年5月份召开了第二次的峰会,我们在这里把我们所有的机制(包括技术与非营利的机制)都列出来,我们获得六个相关项目的开发,有很多是非Facebook员工参加的,我们建立一个团队让人们更好采用开源产品。后来,我们召开了第三个峰会,也是在Facebook总部,有500人参加,我们建立一个管道使我们基金会有更多的融资。我们做了更多努力,比如说计算机功能方向获得一些更多的自主,让社区进行自治和发展,所以我们把自主权给了基金会。我们在2013年4月份召开第四次峰会,有600多人,300多人专家和300多其他参会者,我们有六个来自公司高层的代表,我们看到有一些公众方对会议的贡献非常多。

我们最近一次峰会是在今年一月份召开的,我们有两千一百人参加,很多来自亚太地区,我们进一步看到来自供应方的意见和建议,从社区这样一个概念变成这样一个品牌,最后全球化了。我们下一次的峰会也是明年1月份左右,我们希望能够有更多的赞助或者参与等。目前,相关的发展预期是很好的,现在有九个正在进行当中的项目发展。我讲一下Networking的项目。这样一个基准和其他产品进行对比我们看到20%到30%的这种产品效率的提高。从我们看到产品在实现加速的情况下我们就能够继续往前发展。

这里只是列出我们现在一些成员的名称,你可能看到其中一些比较熟悉的品牌,我们与很多中国的一些公司合作,比如说百度、阿里巴巴和腾讯等都是我们的成员,然后腾讯和阿里巴巴以及Facebook也都参与了我们的技术专场,我们也给他们很多关于数据中心技术分享的机会。消费者引领重点放在拓展性可持续性方面的系统,而且设计通过开放的方式进行提供的,它是采用软件开源的概念然后把它应用到硬件当中,具体针对于云的拓展性,Facebook把技术转型以开源向硬件的方式进行转移,同时加快创新进一步提供空间的商品化,消费者引导所有的特性不断加快我们在这方面的创新。我给大家介绍一下它影响力有哪些,如何对这些影响力进行衡量。

这有两部分,一部分是贡献,第二部分采用,这两个管道都是比较成功的。从贡献的角度来说很多的供应商都是把自己想法贡献到开源里面去。最大贡献是来自于英特尔公司。这是非常重大的一个贡献,你想想云在当前的发展过程当中的互联性会改变整个的系统设计。所以说这种互联的技术将为此铺平道路。现在如果我们看一下技术的这种组合,其中70%是来自于Facebook,然后有30%是供应商贡献的,我们看到逐渐的增长,就是说在供应方方面的增加产生了非常大的数字,我觉得我们很快达到一半对一半的情况。然后我们将会看到这种贡献越来越多来自于供应方,不断的将基金会获得的基础资源进行拓展。

从采用的角度来讲我们看到非常多的采用情况,我们觉得基金会的学习在不断的增加,这是非常难的事情,不像软件采购这么简单,对于硬件来讲是更多物理化实际化的东西。我们知道这个组织可能不是工程学科的范畴,实际上执行部署需要更好的理解这个设计,所以这是设计可以实现帮助的地方,可以实现跨学科的建设,从IT部门到实现更多设计层面的一个拓展。所以我们认为刚才说的两点贡献和采用都是非常重要的,我们将会更多的用在发展当中。我们运营的状况怎么样?我们基金会运作怎么样?刚才提到几大支柱,第一个支柱就是社区,我们在峰会和其他会议当中都会聚集一些参与者。第二点创造经济价值,很早之前我们意识到我们必须在供应链还有客户的领域都要创造价值。比如说我们从供应方和客户这边都要得到相应的贡献,他们需要价值我们就必须为他们创造经济价值。还有一点非常重要就是机构性的支持,比如说我们要有学校和高等院校研究机构的支持,这一点非常重要。我们在欧洲与院校有大量的合作,我们在台湾也跟高等院校有合作,这是在技术层面等等方面展开的合作。我们在中国、北美、欧洲、俄罗斯、韩国、台湾地区也都有我们的足迹,可以说Operational是一个全球性的平台,Facebook以我们工程式的分化自豪,而且它是全球平台,我们吸引越来越多的人参与到这个社区当中。当我们谈到社区的时候我们知道Facebook一直以来都非常依赖于社区,而且都是大大推广社区的发展,我们到底怎么推动社区发展?我觉得无论是软件、硬件方面都要去推动社区发展,需要我们推动一些工具可以支持社区发展,还有推广一些自建型的社区,我们推广的一系列的工具给工程师提供非常有效的帮助,可以利用这些工具进行电子和机械方面的设计。

在2013年的时候我们每六周会有一个社区的研讨会,在2013年年底的时候我们发现这样活动吸引很多工程师的参与,帮助他们进一步的研究技术,而且把项目不断的扩大,有受益于我们研究学习。我们还有一些自发组织的社区,比如说在台湾的OCP,还有OCP在日本的分会,所以通过这些组织,对我们整个Operational项目都起到重要的作用。他们也在不同的领域建立他们感兴趣的规格和研发的项目。

我们所说区域性分会是什么,我们知道Operational是位于美国的一个基金会一个组织,我们分会现在在全球的领域都在不断的壮大着,在过去18个月都是如此,我们看到在亚太地区其实有越来越多的人希望可以参与进来,他们希望采用Operational。在日本之前有地震相关的问题,他们设计上会有独特的地方,你看到有些地区有自发组织的社区,他们可以开发一些有针对性符合当地特色的设计和产品。

最后我想再强调一下亚太地区其实面临巨大的机遇,刚才提到我们有日本分会,还有一些非正式网络的自发组织和社区,这里我邀请大家加入进来。另外还有在台湾不到五个月的时间之内,从零成员增加到了六十多个,台湾分会是非常有意思的例子。我们刚开始在电子商务方面进行合作,后来他们建立了关于电子商务的实验,接着他们从技术层面验证一些电子商务的产品。我们这样一个社区是自发组建的,而且是自由组织的一个组织。所以我们可以从这个角度来看。

Operational现在在蓬勃的发展,现在我们这个里程刚刚完成2%,我刚加入公司的时候刚刚完成1%,这是一条非常漫长的道路,我们要在很短时间内打造一个强大品牌,我们创造出价值,并创造出一个为客户带来价值的渠道。随着规模和速度的不断增加会有越来越多的人加入我们,这个旅途会一直继续下去。我受邀做演讲的时候非常兴奋,我邀请越来越多的人与我们一起,共同打造一个完美的生态系统。

下面我再次感谢各位,这个是我整个的发言,谢谢!

原文发布时间为:2014年05月26日

本文作者:仲浩

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-09-29 08:04:04

Facebook开源技术CTO John Kenevey:Facebook开源数据中心的相关文章

Facebook公司在其普赖恩维尔数据中心构建移动测试实验室

日前据悉,Facebook公司已经在其俄勒冈州普赖恩维尔的数据中心创建了一个独特的移动设备测试实验室.该公司采用了60个定制服务器机架,基础设施的自动化工具Chef,数据中心的布线技术,以及近2000部平板电脑和智能手机,旨在提高第三方硬件与自己的软件之间的兼容性. Facebook公司在普赖恩维尔数据中心的移动设备实验室 第一代移动设备机架metalsleds 第二代移动设备机架godola 第三代移动设备机架slatwall 第四代-移动设备机架 Facebook公司曾在实验室对部署手机设备

传Facebook将在台湾建亚洲最大云数据中心

11月8日消息,据台湾媒体报道,Facebook将赴台兴建亚洲最大云端数据中心,落脚中科,不仅带来数十亿元的服务器采购商机,也让台湾成为全球云端重镇. Facebook在美国北卡罗来纳州已拥有大型资料中心.据了解,Facebook台湾云端数据中心,占地逾6.6万平,相当于180个篮球场的大小.在采购方式上,采软硬件分开采购,软件由Facebook自行负责,服务器等硬件跳过品牌厂,直接向台湾代工厂采购,免除品牌厂"赚一手"成本,目前以纬创拿下标案呼声最高,技嘉.广达也积极争取,预期明年元

CIO评审团:100%的技术领袖将继续运行本地数据中心

TechRepublic最近的调研显示尽管云业务的迅猛成长,但所有受访技术决策者依然在运行本地数据中心. 来自ZDNet的Charles McLellan报道说,许多企业正在移向在混合云架构运行的原生云(cloud-native)应用,传统本地数据中心保持其基准.而TechRepublic的论坛上各位专家也纷纷表示赞同:当问及"你们公司是否仍然运行自己的数据中心?"所有的十二位CIO评审团成员均回答"是的". "我们仍旧运行自己的数据中心,但是我们已经通过

开源项目Marathon:让你的数据中心像谷歌一样运行

最近,有一个叫 Marathon的项目进行了开源,它的设计宗旨就是让用户在同一组服务器之上,更智能地运行多种应用程序和服务--Hadoop.Storm,甚至一个标准的Web应用.Marathon出自于一家初创公司 Mesosphere之手,这家公司主要就是想构建一个数据中心操作系统,不过这个系统是运行在 Mesos集群管理软件之上,这也是 Twitter基础设施的重要组成部分.该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias K

Facebook将在台湾建造亚太首个数据中心

Facebook证实,公司当前确实在台湾地区寻找适当的位置来建立一座数据中心,但目前尚未做出最终的决定. 新浪科技讯 北京时间12月2日晚间消息,据台湾<电子时报>(Digitimes)网站报道,台湾地区政府官员今日表示,Facebook计划在台中彰化县"彰化高铁站"附近建立一座数据中心. 对此,Facebook也证实,公司当前确实在台湾地区寻找适当的位置来建立一座数据中心,但目前尚未做出最终的决定. 彰化县政府官员称,Facebook已聘请一家咨询服务公司,帮助评估6处候

Facebook贡献OCP设计 推新服务器改造数据中心

作为全球最大的网络公司之一,Facebook多年来一直被迫通过设计和构建自己的数据中心服务器集设备进行创新,以弥补传统硬件厂商无法满足自己需求这一事实.Facebook对此采用了一种新颖的方法,打破传统计算组件并将这些组件重构为"模块化分解系统",使其能够在出现更好的技术时更换硬件和软件.现在,下一代数据中心硬件已经到来,Facebook正在花时间采用它.   在加州圣克拉拉举行的Open Compute Project Summit 2017大会上,Facebook宣布开始新一轮的服

Facebook工程师在测试中主动干掉一个数据中心

摘要:在 @Scale 年度会议上,Facebook 工程副总裁 Jay Parikh 说,拆散一个数据中心比将其重新组装起来更容易,而该公司 SWAT(代表灾难特种武器和战术团队) 团队执行的定期压力测试正让该公司软件工程师在重新组装这部分变得更好. Jay Parikh将这项工作称为 Project Storm,始于2012年的 Sandy 飓风,Sandy 飓风威胁到了2个Facebook数据中心,虽然最终飓风没有对数据中心造成损害,但这一事件促使该公司的工程团队考虑突然损失一个或多个数据

艾特网能创新节能技术再获大奖 引领绿色数据中心最佳实践

由中国电子节能技术协会主办,数据中心节能技术委员会和香港雅式展览集团联合承办的"2016中国数据中心节能技术大会"于2016年11月16日在北京新世纪日航饭店圆满举办.会议展示了国内数据中心行业节能技术创新成果,并邀请业内顶级专家解读国家政策.新标准.新技术.新应用.节能改造新思路等方面的内容,分享数据中心的节能技术趋势和实践经验. 艾特网能多项数据中心创新节能技术亮相 深圳市艾特网能技术有限公司(以下简称:艾特网能),作为数据中心基础设施完整解决方案的优秀民族品牌专业厂商,受邀参加此

《策略驱动型数据中心——ACI技术详解》——1.3 数据中心设计

1.3 数据中心设计 数据中心网络基础架构设计,还包括定义交换机如何互联和如何保证网络中的数据通信.在包含接入.汇聚和核心的三层设计方法中,思科vPC是数据中心最常用的部署技术.还有一种被称之为"主干-叶节点"的新型两层矩阵的设计方法.这两种方法都会在本章后面的"采用主干-叶节点的ACI基础架构的逻辑数据中心设计"小节中介绍. 物理数据中心有3种基本的设计方法:列端式(EoR).列中式(MoR)和架顶式(ToR).该命名约定表示网络交换机在数据中心列中的位置. 这些