Twitter重建谷歌的秘密武器

近日,《连线》刊登了一篇署名为卡德梅茨(Cade Metz)的评论文章,该文章借助谷歌网络帝国最核心的软件系统伯格(Borg)来分析了Twitter是如何重建谷歌的。

原文如下:

约翰威尔克斯(John Wilkes)说就针对于Twitter重建谷歌这是说道,加入谷歌就象是《黑客帝国》中的尼欧(Neo)吞下红药丸一样,那就是选择了觉醒。

4年前,威尔克斯仅仅只是知道谷歌这家公司而已。跟大部分人一样,每天的生活都与谷歌的各种服务如谷歌搜索、Gmail、谷歌地图等息息相关。不过之后,他加入了谷歌网络帝国最核心的工程技术团队,那个技术团队就相当于谷歌的大脑,支持谷歌所有的网络服务所需的最基本的硬件和软件系统都是由他们设计的。

这些系统横跨在一个全球性的数据中心网络之上,每一秒处理的网络指令高达数十亿条。威尔克斯第一次看到那些系统工作时的场景时,他感觉自己就象是吞下了红药丸之后的尼欧一样,摆脱了矩阵(Matrix)创造的虚拟世界,突然就看到了一个由无数机器组成的庞大网络。

看着庞大的网络,他变得不知所措了。要知道,他可是一位在惠普试验室工作了25年的资深研究员,多年来一直在从事现代计算最先进技术的研究工作。

威尔克斯说:“我是过去时代的人,我认为兆级容量就已经很大了。但是等我到了谷歌之后,我必须在所有的数据后面都加上3个0。”他解释说,那种感觉就象是一个人从生活了很多年的小地方突然来到一个全新的广阔天地一样。在谷歌,某个存储数据的系统剩余的空间还剩几个PB(存储容量单位,1PB=1000GB=1000000MB)时,系统就会向管理员发出警报。换句话说,只要几个小时,谷歌数据中心里的一组设备就会被海量的数据填满。

当他还在绞尽脑汁地想象谷歌的数据中心帝国到底有多大时,威尔克斯接到任务,负责开发支持谷歌整个网络帝国的软件系统。

这个软件系统被称作“伯格”(Borg)系统,它也是谷歌之所以能够迅速成为互联网上最强大的力量背后的最隐秘的机密之一。威尔克斯甚至都不愿叫它“伯格”。他说:“我宁愿称之为不会被命名的系统。”但他透露,谷歌使用该系统已有9、10年的光景了。他和他的团队正在开发一个新版本的工具,产品代码为“欧米茄”(Omega)。

伯格系统可以非常高效地将任务分配到谷歌数量庞大的计算机服务器中去。威尔克斯称,这个系统的效率非常高,它可能帮谷歌省下了足以再多建一个数据中心的成本。没错,一个完整的数据中心。那也许看起来就象是天外来客一样,从某种角度来说,它确实是天外来客。但是,谷歌为了运行其庞大的网络帝国而开发的新时代硬件和软件通常会慢慢地渗透到互联网的各个角落。伯格系统也不例外。

在Twitter,有一个小规模的工程师团队利用加州伯克莱大学的研究员们开发出来的一个名为“Mesos”的软件平台开发出了一款类似的系统。由于“Mesos”平台是一款开源软件,因此任何人都可以免费使用它,这个平台也逐渐在向其他领域扩展。

伯格这个名称非常贴切。谷歌的这个系统就是一个中央大脑,可以控制谷歌所有数据中心上的全部任务。谷歌不用为每一个软件系统如谷歌搜索、Gmail、谷歌地图等各搭建一组独立的服务器,它只需搭建一组服务器来同时执行各种不同的任务就行了。所有的任务都会被分割成细小的任务,然后由伯格系统将那些任务发送到它能找到空闲计算资源的地方。

威尔克斯说,这就好像是一大堆积木一样,每块积木的外形和大小都是不同的。伯格系统的任务就是找到一种将所有的积木都装入木桶中的方法。这里所说的积木就好比是计算机任务,木桶就好比是服务器,关键是不能浪费木桶中的任何空间。

威尔克斯说:“如果你只是简单地将积木丢到木桶里,那么你要么会剩下很多积木装不进去,要么会造成有的木桶装得满,有的木桶装不满的情况,因为积木与积木之间贴合得并不紧密,那样就会浪费掉不少的空间。但是如果你细心去安排如何装积木的话,你就可以减少木桶的需用量。”

还有其他的方法可以做到这一点。你可以利用服务器虚拟化技术来达到相同的目的。但是虚拟化会额外增加不必要的复杂性,如果去掉这个因素,谷歌就可以将数据中心基础设施的规模减小几个百分点。考虑到谷歌数据中心网络的规模,那几个百分点对应的可能就是一个完整的数据中心。

威尔克斯说:“那就相当于另外再建一个数据中心,这里增加一点,那里增加一点,最后汇总起来,那就是一大笔开支。”

在Twitter,Mesos并不具备与伯格系统一样规模的影响力。Twitter的业务规模比谷歌的业务规模要小得多,但是Twitter的业务总是在不断的发展壮大,Mesos可以更好地控制业务规模的增长速度。伯格和Mesos并不只是从服务器群中提取计算能力。它们可以让谷歌和Twitter那样的公司将数据中心当做一台设备来对待。

谷歌和Twitter可以象你在你的台式机电脑上运行软件那样在这些计算设备上运行软件。这样就可以简化Gmail、谷歌地图和Twitter应用的开发人员的工作。

曾经在加州伯克莱大学创立Mesos项目、目前在Twitter担任Mesos项目总监的本海因德曼(Ben Hindman)称:“Mesos可以简化Twitter工程师的工作,他们只需考虑在一个数据中心的平台上运行他们开发的应用软件就行了。那真的是很棒。”

时间: 2024-07-30 04:31:44

Twitter重建谷歌的秘密武器的相关文章

玩转数据中心:Twitter复制谷歌成名秘密武器

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; Twitter的本海因德曼 <连线>周二刊登了一篇署名为卡德梅茨(Cade Metz)的评论文章,借谷歌网络帝国最核心的软件系统伯格(Borg)分析了Twitter如何重建谷歌的秘密武器. 原文如下: 约翰威尔克斯(John Wilkes)说,加入谷歌就象是<黑客帝国>中的尼欧(Neo)吞下红药丸一样,那就是选择了觉醒. 4年前,威尔克斯只是

DT科技评论第39期:谷歌正秘密开发Fuchsia操作系统

DT科技评论 Data Technology Review 第 39 期           阿里云研究中心,人民网研究院,DeepTech深科技 本期目录 谷歌正秘密开发Fuchsia操作系统 微软Build 2017开发者大会 PowerVR GT8525新架构GPU发布 亚马逊推出触屏智能音箱Echo Show Facebook研发AI翻译技术 谷歌移动页面更新支持直接搜索周边展览活动 微软获得存储系统侵权内容识别专利 AWS发布美国国防部云计算合规规范白皮书 云安全创业公司RedLock

一位来自印度的IT精英,能否成为微软复兴的秘密武器?

这是一个旋风席卷的秋日午后.突然涌现的云彩冷却了夕阳的红色光线,灰色的余晖照射进都柏林圣帕特里克学院的图书馆大厅,在几位正在那里慵懒地摆弄手机的学生的脸庞上投下一层层柔和的阴影.十几位孩子.教师和学院行政官员安静地坐在他们身后.他们正在等待微软公司首席执行官萨提亚·纳德拉的到来.这家总部位于西雅图地区的高科技巨头,曾经是这个星球上规模最大,最具权势的公司. 玻璃门旋转打开,纳德拉大步迈入,一群高级助手尾随其后.他径直走向正在等待的孩子们,一路上与几位学院官员握手致意.坐定后,他开始询问4位约莫1

产品经理秘密武器

文/金错刀(微信公众号ijincuodao) 这是10月18日我在2013互联网产品大会(IxDC)上的一个主题演讲,现场大概上千名产品经理,因为时间相对较短,重点讲两个关键词:1.毁三观;2.微创新. 微创新就是以用户为中心的应用创新,它有三个特征,微小硬需.微小聚焦.微小迭代.微创新不是互联网公司的专利,但是却是互联网做的最极致,因为互联网公司有个职业操刀群体,那就是:产品经理.很多时候面对问题,我们要先拷问一下:你的产品真的给力吗? ===微创新的分割线: 口述:金错刀 刚才李明顺讲的挺有

分析:视觉营销的秘密武器

当前,http://www.aliyun.com/zixun/aggregation/8257.html">视觉营销越来越受人们的欢迎.Pinterest网站最近发起了一个商业调查,Twitter公司正在做图片搜索,Facebook网站上,53%的用户亲睐图片胜于其他内容.如果你正在做线上营销,在大篇幅的文字内容中你会发现图片越来越将成为营销主流.传统意义上,你有两种选择: 图片 对于增加视觉吸引力,图片库是一种非常好的方式.但是要尽量避免使用那些人们握手镜头.看上去模糊不清的或者是电脑里

分析:视觉营销的秘密武器 图片成为营销主流

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 当前,视觉营销越来越受人们的欢迎.Pinterest网站最近发起了一个商业调查,Twitter公司正在做图片搜索,Facebook网站上,53%的用户亲睐图片胜于其他内容.如果你正在做线上营销,在大篇幅的文字内容中你会发现图片越来越将成为营销主流.传统意义上,你有两种选择: 图片 对于增加视觉吸引力,图片库是一种非常好的方式.但是要尽量避免使

网站标题优化直接获得排名的秘密武器

笔者星期八刚接触seo的时候,听到最多的就是"内容为王,外链为皇",实事证明这个不假,但是笔者星期八觉得这还是不最最重要的地方.星期八认为我们每一个需要做的地方就是标题,网站的标题优化绝对是重中之重,只有确定好了最精准最精简的标题,才能让我们在以后的优化工作中做到事半功倍的效果.笔者最近就亲手改过一个新站标题后,关键词排名直接上百度首页,三天后升到百度第二位的经历,在这里,星期八以刚接手的一个批发网站(知依服饰)为例,分享一下网站标题优化的功效,让网站关键词直接获得排名的秘密武器. 一

Windows2000秘密武器之浏览器状态诊断

Win2K"秘密武器"之浏览器状态诊断(Browstat.exe) BrowStat 是一个基于字符的用于对浏览器进行诊断的工具,因而没有用于GUI界面之下的版本.使用这个工具可以发现浏览器是否正在运行,在windows2000以及windowsNT的域中,探测处于Windows工作组中的浏览器状态.也可以提供关于浏览器在某个工作组中的状态,包括浏览器的名称等信息. 你也可以用这个工具来发现在一台计算机上所使用的传送命令(或者叫做"传送器")是Browstat Dumpnet 或 Br

专题头图的秘密武器

   ⊙前言 门户网站因为市场竞争日益激烈,各大门户竞相以谁家资讯更多.领域更广.内容更深等等策略来留住用户的芳心,由此近年来门户网站被称为网络世界的"百货商场"或"网络超市".即然是个百货商场或超市,那么商场与商场之间的竞争又能通过什么方式使自己处于优势呢? 除了扩大自己的规模.增加商品的种类.优惠折扣以外还可以通过发挥我商场的独特产品或特色服务(例如针对不同用户群体的特色店面,对重要节日商场做一些活动或特殊布置等),还有非常重要的一点就是对商场及内部店面的装修.