Facebook数据中心开源起因和哲学

  今年4月份,Facebook发布Open Compute Project,意在加速数据中心和服务器创新。但是,实施一个开源项目不只是发布数据那么简单。Facebook还需要获得其他社区成员的支持。除此之外,Facebook开源硬件团队还要更为严峻的挑战。

  Open Compute的始端

  米迦勒此前曾效力于Google公司,他告诉VentureBeat,当他第一次来到Facebook时,"我对服务器和数据中心非常了解"。他不仅了解服务器网络架构,甚至可以作为数据中心维护人员亲自动手。在数据中心里,他经常参与服务器维护工作。

  米迦勒表示,初到Facebook时,Facebook的业务范围非常大。我们向惠普和戴尔购置服务器,然后将服务器托管在Data Realty Trust。

  但米迦勒暗示,十年间多数大型公司都无法以最智能、最有效的方式处理自己的数据。他表示:"我做过一些分析。我登陆过电子商务网站NewEgg.com,发现拼装起来的服务器价格与整台服务器是一样的。可见,商业模式并未发生作用。"

  米迦勒意识到,Facebook不能盲目增加服务器的数量,而应该关注服务器的性能。他表示:"我意识到我们做了很多的无用功。我们开始思考如何改进我们的做法。通过优化数据中心和淡化服务器,你能取得一些效果。通过优化服务器和淡化数据中心,你也能取得一些效果。两者同时优化方可获得最大的利益。"

  简而言之,这就是Open Compute Project项目诞生的原因。

  最初,米迦勒和Facebook团队试图与硬件供应商合作。米迦勒表示:"供应商对我们的想法反应冷淡。他们计划做另外一些事情,但这些事对我们而言没有用处。他们想让我们购买其他客户使用的机器,但这些机器并不能满足我们的要求。"

  重新设计服务器

  从那时开始,Facebook硬件设计主管米迦勒便开始构思新一代服务器的设计。

  "我们注意到事物总是按照原有的方式发展,这就是因循守旧。挑战旧观念,一切从零开始,这就是该项目的创新所在,"米迦勒表示。

  例如,在Facebook新服务器中,电源传输到微处理器的方式就完全不同。Facebook硬件团队改变了服务器的布局和电源供应方式,甚至连电源线和电源插头都被重新设计,而且服务器的组装和维护无需任何工具。

  实际上,新式服务器的耐用性是Facebook硬件团队的最大创新之一。米迦勒表示:"当你拥有数万台服务器时,每小时都会出现宕机问题,例如硬盘损坏,内存损毁等。我们的数据中心技术人员负责维护服务器。有时,他们会用上一整天的时间安装服务器配件。我们希望让他们的工作尽可能地轻松,并且更有效率。无需任何工具我们便可组装服务器,多数组件的组装速度是一般服务器组件的2至10倍。"

  为了设计新服务器,Facebook每周六晚上会举行一次原型搭建聚会。

  米迦勒表示:"我们让一些工程师组装服务器,我们则在一旁吃皮萨喝啤酒,比赛的目的就是看谁能以最快的速度组装一台服务器。数据中心的技术人员在8分钟内便可完成。"

  革新的困境

  当米迦勒完成新服务器的基本模型时,最初他并没有得到人们的认可。米迦勒表示,Facebook工程师们"满腹狐疑地"与这种服务器打交道,甚至连供应商也对它表示了"怀疑"。

  米迦勒表示:"墨守成规和让人们接受新架构是我们遇到的最大挑战。让人们尝试一些新东西很难。"

  对 于硬件变革而言,情况尤为严重。相较之下,软件变革廉价且简单。米迦勒表示:"组织一项硬件开发,你需要一间实验室,新员工,以及设计原型。相关投资高达 数百万美元。值得赞扬的是,Facebook管理层选择了这个边缘项目,这证明了Facebook有能力冒大风险,并鼓励创新。"

  为了寻找新的硬件制造商,Facebook团队成员一次又一次地往返在美国与台湾之间。在招募一名机械工程师的同时,Facebook还起草了一份50多页的新服务器设计说明书。

  米迦勒表示:"在白纸上设计是一回事,而设计细节更需要慎重。我们要定制所有的组件,并且要重新设计服务器,这些尤其应当谨慎。"

  硬件开源

  最终,Facebook团队还是选择让Open Compute Project开源,以此接受硬件开发者社区的贡献。

  米迦勒表示:"很多工具尚未到位。如果有人想改变我们的电路板,他需要花费数十万美元来获得开发包。开发者一般无法负担得起。目前,多数贡献者都来自大公司。未来,我们有望进行改进,车库中的开发者也可以参与设计。"

  借助合适的软件,普通开发者的创新设计不会逊于惠普或戴尔实验室的成果。目前,设计软件的价格也相当昂贵。不过,既然这是一种看不见摸不着的代码,它没有理由不免费。

  Facebook希望与软件开发商合作,向Open Compute Project贡献者提供免费软件授权。Facebook也在考虑与其他公司和组织(如政府和大学)合作开发开源硬件设计软件。

  新服务器原型开发还包括另一项高昂的成本。传统原型服务器的组建成本是量产服务器成本的5到10倍,因此普通开发者还是需要获得资金上的支持。

  Facebook的开源哲学

  Venturebeat问米迦勒,身在一家专有软件公司,践行开源项目是否有思想上的顾虑。米迦勒表示:"与项目中的其他人员一样,我与Facebook软件开发部门是分开的。这不是我每天所顾虑的问题。"

  但 米迦勒认为:"如果一家公司能够保持盈利,那么公司自然会选择在某些方面进行创新。Facebook需要与社区用户分享信息,激励他们进行开发。鉴于我们 的商业模式,它就是向用户提供一种有价值的服务。我们使用的基础实施不是商业模式的核心部分。我们的优势是产品,不是服务器。"

  米迦勒也认为:"工程师也是社会人,他们愿意讨论他们所从事的领域。当你分享信息,你就获得利益。你从其他人那获得反馈信息,即事半功倍,又节约成本。"

  米迦勒称:"细究Facebook的相关开发,你会发现Facebook使用很多开源软件。我们为软件世界贡献了很多,但我们没有为硬件世界贡献什么。这也没有先例。但如果我们这样做,可能其他公司也会如此。他们无需浪费精力,他们也无需重复我们的开发过程。"

  就与大学分享信息一事,米迦勒表示:"他们拥有有趣的方案,但他们没有足够的有关现实问题的数据。他们不了解产业经营。因此,与他们分享信息很有意义。"

  米迦勒表示:"接着是环境影响问题。如果我们分享这些最佳的实践信息,我们希望其他人能接受它,并也能对行业环境产生影响。"

(作者:佚名责任编辑:王玉平)

时间: 2024-09-20 20:50:20

Facebook数据中心开源起因和哲学的相关文章

走进Facebook数据中心 看绿色计算风姿

http://www.aliyun.com/zixun/aggregation/1560.html">Facebook在北卡罗莱纳州森林镇(Forest City)有一个庞大的数据中心,其在节能设计方面是现今的大功率服务器群世界中的一盏明灯.日前,Facebook官员带着媒体人员参观了此数据中心,展现绿色计算的风姿.Facebook官员称数据中心的各项措施为公司节省了超过10亿美元. 数据中心的选址无需前卫 像许多硅谷公司一样,Facebook在办公环境和福利方面是赫赫有名的.但偏远的森林

苹果与Facebook数据中心是邻居

  1为Facebook的"双子"数据中心;2为苹果未来数据中心的地点 据国外媒体报道,美国知名IT杂志<连线>日前通过航拍,拍摄到了苹果正在俄勒冈州普赖恩维尔建设的新数据中心.苹果的新数据中心地处俄勒冈高原荒漠,距离Facebook新建成的"双子"数据中心距离很近. 众所周知,苹果一直对其数据中心严格保密.虽然谷歌(微博)和Facebook在过去的一年中已经向<连线>杂志的记者敞开了数据中心的大门,供采访与拍摄,但是苹果依然拒绝让数据中心向

数据中心开源网络现状及发展困惑

网络是数据中心里唯一一块未开放的处女地,网络协议实现具有私有属性,导致网络厂商之间的壁垒长期无法打破.早就有不少人看不惯这一点,尤其是数据中心用户,不同网络厂商的设备操作和配置风格不同,相同的协议实现上各有不同,很多还是自定义的私有协议,无法与其它厂商的设备互通,这给数据中心运维的工作带来了极大难度.一个网络工程师往往要学习几家网络设备的操作风格和配置特点,还要学习很多私有网络技术,网络运维起来难度很大,这使得只有网络这部分,数据中心需要购买一些服务,尤其是原厂的服务,以便可以在运维的过程中能够

Facebook数据中心机架和电源将采用新标准

2011年4月http://www.aliyun.com/zixun/aggregation/1560.html">Facebook公布了Open Compute项目,这对于信息产业而言无疑是一次强震.值得注意的是,Facebook不仅公开了技术文档,甚至连服务器和数据中心的CAD图纸设计也完全公开. 当时Facebook的举动也被认为与2004年Google陆续发表MapReduce等论文相提并论.Google当年的开放措施实际上直接启动了如今如火如荼的云计算运动.而Facebook今天

Facebook开源技术CTO John Kenevey:Facebook开源数据中心

第六届中国云计算大会于2014年5月20-23日在北京国家会议中心拉开帷幕.本次大会立足实践,以国际化的视野,帮助与会者了解全球云计算技术的发展趋势:从应用出发,探讨交通.医疗.教育.金融.制造.数字娱乐等行业领域的实践经验:并通过技术专场.产品发布和培训课程等方式,深度剖析云计算大数据的核心技术. Facebook公司开源技术CTO John Kenevey 在第六届中国云计算大会主体会议,最后一个演讲来自Facebook公司开源技术CTO John Kenevey,他为大家分享的主题是"Fa

苹果加入Facebook OCP 开源计划,协助打造开放硬件和数据中心架构

https://yqfile.alicdn.com/1250409cbad9d49e66c35f8c33f5432ff170e33c.png" > 苹果这几天新推出的Apple Watch的消息,俨然已成为消费市场众所嘱目的一大焦点,不过这几天在网通圈上也有另一个重要消息揭露,就在本周二(3/10)于美国举行的OCP Summit 2015高峰会上,苹果正式加入由 Facebook领军的开放运算平台计划(Open Compute Project, OCP)的团队成员,未来,不只是要运用开源

Facebook 公布其数据中心实时监控数据

Facebook 的开源计算项目(OCP),此前已经开源了其数据中心建筑和硬件设计.昨日,http://www.aliyun.com/zixun/aggregation/1560.html">Facebook 又公布了其数据中心实时监控数据. 所有能够翻墙的中国读者都可以在如下两个 Facebook 页面中看到几乎实时的 Facebook 数据中心监控数据-- Prineville, OR 和 Forest City, NC . 我们现在可以在这个面板中看到 24 小时内的详细数据以及一年

数据中心运营商为什么这么关注开源?

目前,软件开发者显然很喜欢开放源码.因为他们可以相互合作,在已经完成部分的基础上继续开发,而不是从头开始,并且可以添加他们所需现有的解决方案的功能.而开源社区的创新速度往往比企业的开发部门闭门造车的开发速度要快得多. 虽然软件运行在数据中心,数据中心管理人员的工作通常并不会扩展太多功能,以确保IT.电源和冷却系统有足够的能力,支持应用程序和工作负载的正常运行,并确保系统配置和安全.但它不会永远保持这种方式. 随着软件开发工具的发展,越来越多的企业将软件作为其价值增长的主要途径,而越来越多的软件继

揭秘Facebook成功的背后:开放式数据中心

接近10亿注册用户.每分钟数十亿交易的Facebook,早已意料到数据中心的重要性.为此,它们在去年就开始推动名为The Open Compute Project的数据中心计划. Facebook的第一个数据中心位于俄勒冈州中北部的Prineville镇哥伦比亚河以南和华盛顿边界约80公里的区域,在经历了2年半时间建造后该数据中心于今年5月正式启用.该数据中心专为Facebook定制而构建,并使用了该公司的开放式计算项目架构, 作为开放式计算项目的组成部分,Facebook公布了用来兴建的主板.