Facebook如何让200亿张照片悄悄搬家

Instagram 有 2 亿用户,上面保留有用户分享的 200 亿张照片。从 2010 年到今年春之前,这些照片一直存放在 Amazon 的 EC2(弹性计算云)上,但现在这些照片已经被Instagram的一只小型团队搬到了收购了他们的 Facebook 的数据中心上,但 2 亿用户对此却毫不知情,仿佛什么事情都没发生过一样。他们是怎么做到的呢?

Facebook 是在以 10 亿美元收购 Instagram 1 年后的 2013 年 4 月作出迁移决定的。整个迁移过程用时大约 1 年。尽管迁移工作量巨大,但实施迁移工作的却是一支非常小规模的团队,迁移开始时 Instagram 的维护团队只有 8 人,后来才逐步扩张到 20 人。实际的数据迁移工作只用的 1 个月时间,其余的时间完全都是用于迁移的准备工作。

搬迁工作的第一步,是要在 Facebook 的数据中心建立一套一模一样的软件。然后再把数据迁移过去。当然,这个过程要比你想象的要困难。在 Facebook 这一侧开通 Instagram 的照片共享服务之前,需要首先将 Instagram 搬迁至 Amazon 云的另一部分。换句话说,得搬两次。

第一次搬家是将服务从 Amazon EC2 搬迁至 Amazon 的虚拟私有云 VPC。通过 VPC,迁移小组可以建立起一个可拓展至 Amazon 以外地方(即 Facebook 数据中心)的逻辑网络。这一步很重要,因为 Facebook 可以对运行 Instagram 的机器的 IP 地址拥有完全控制权。而只有这样,在进行软件迁移时才不会出现无数的地址冲突问题。

但是,要想把 Instagram 从 EC2 搬到 VPC,首先还必须在两者之间搭建一个公用的网络。Amazon 本身没有提供这样的工具,因此为了暂时解决这个问题,Facebook 自己开发了一套网络工具 Neti。这一点说明了云计算的复杂性,对于任何想要跨云服务搭建自己应用的人来说,Facebook 的这一步都是一个最大的经验教训。


部分迁移团队成员,左起依次是Pedro Canahuati、Patrick Bozeman、Rick Branson、Nick Shortway、Chris Bray和Michael Gorven,照片:Ariel Zambelich/WIRED

Instagram 一开始没有用 VPC 是因为 2010 年的时候 VPC 还没有出来。因此,现在的初创企业要是一开始就未雨绸缪的话,可以考虑在 VPC 上做自己的应用,这样就能省下这一步迁移工作。而且对于只想把部分设施搬迁到私有数据中心的人来说,用 VPC 也是明智之选。

而接下来的软件迁移工作,他们得靠一款越来越火配置管理软件—Chef。Chef 可以为软件 / 应用在大规模机器上的加载和配置编写出自动化的“食谱(recipes 或 cookbooks)”。比方说这种食谱可以自动把适当的软件加载在运行于 Amazon VPC 的机器上。然后,团队可以利用类似的食谱在 Facebook 数据中心内部的机器上加载相同的软件。为此,迁移小组编写了专门用于在各种 Instragram 数据库服务器上安装软件的食谱,然后又制作了用于配置缓存服务器(缓存服务器的用途是加速热门照片的提供)的食谱。

如此,到了 2014 年的 4 月,最后一部分的软件和数据也迁移到 Facebook 的数据中心上了。迁移后的 Instagram 效率是原来的 3 倍,而且数据提取时间减少了 80%。

此次搬迁的意义,对于 Instagram 来说,可以使用 Facebook 的计算工具,对于运营数据中心的工程师来说,此次搬迁是一个模板,也为广大的在云服务至上搭建 app 的技术社区提供了一个从公有云向私有云迁移的范例。

当然,Facebook 的迁移动作说到底只是相对少数。因为,对于大多数的中小企业来说,向公有云迁移才是大势。像 Facebook 这样将服务从公有云搬迁到自己私有云的只有财大气粗者才会这么做。我们也相信,随着 Docker、Mesosphere等资源统一调度和部署管理工具的成熟,应用的迁移也会变得像即插即用一样的容易。

原文发布时间为:2014-07-06

时间: 2024-10-26 05:55:20

Facebook如何让200亿张照片悄悄搬家的相关文章

看看Facebook 如何管理150亿张照片

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 Facebook 的照片分享很受欢迎,迄今,Facebook 用户已经上传了150亿张照片,加上缩略图,总容量超过1.5PB,而每周新增的照片为2亿2000万张,约25TB,高峰期,Facebook 每秒处理55万张照片,这些数字让如何管理这些数据成为一个巨大的挑战.本文由 Facebook 工程师撰写,讲述了他们是如何管理这些照片的. 旧的

Facebook再创造富神话扎克伯格身价逾200亿

晚报记者 劳佳迪 保持着长达七年的租房生活的习惯,在加州帕洛阿尔托地区的一栋豪宅内,马克·扎克伯格坐在樱桃木铺成的餐桌边,依然灌下了一碗口味清淡的麦片作为早餐.从仍显稚嫩的脸庞上,没人能捕捉到他因即将成为全球最值钱年轻富翁而闪现的亢奋表情. 同样的,许多人至今难以想象这个腼腆的年轻人正是用户逾8亿的社交网站Facebook游戏规则的制定者.如果可以翻越虚拟与现实的藩篱,Facebook应该算是世界排名第三的"人口大国". 还有3个月,扎克伯格将满28岁.一份丰厚到极致的"生日

李嘉诚家族5个月内出售价值逾200亿的内地物业

李嘉诚 日前,李嘉诚之子李泽楷继父亲卖出广州.上海.南京三物业后,表示将出售旗下盈大地产.在短短5个月内,李氏家族已出售了价值超200亿元的中国内地物业. 对此,业内人士认为,在新的经济条件下,亚太区房地产投资市场的吸引力有下降的趋势,与此同时商业地产已出现明显的泡沫迹象,李嘉诚作为投资风向标,其频抛物业也正是来源于对未来市场的判断. 李氏家族再抛内地物业 13日,电讯盈科公告证实,旗下全资附属盈大地产就出售北京盈科中心股权正与独立第三方处于深入磋商阶段.电讯盈科表示,如果双方达成协议,预期这项

诊断腾讯开放:留给合作伙伴200亿 拉拢势力为制衡

不管是主动开放还是被动开放, 腾讯终究是开放了: 不管是谨慎开放还是大胆开放, 腾讯开放路径终究确定了. 马化腾的"绝不后退",显示着腾讯的决心:而留给合作伙伴的200亿元"大蛋糕",更是让开发者心驰神往. 从封闭到开放,从竞争到竞合,在中国互联网开放初期,腾讯将如何稳固自己的霸主地位? 互爱科技公司页面上的地址是北京希格玛大厦B区,这是栋商住两用楼,楼道狭小,布局拥挤,电梯噪音很大.当记者按照网站上的地址,赶往这家因开发<胡莱三国>社交游戏而在QQ空间

中国互联网营销市场规模近200亿

中介交易 SEO诊断 淘宝客 云主机 技术大厅 据赛迪发布的<2008-2009年中国网络营销市场评述>显示,2008年,在奥运会等重大活动的刺激下,中国互联网营销规模达到197.3亿元,实现53.0%的增长.可以看出,随着互联网普及率的进一步提升,互联网营销已经得到越来越多广告主的重视,因此,市场规模在最近两年保持了快速的增长,中国网络营销市场市场呈现以下3大特点: 1.网络营销已成为企业市场营销的重要选择 随着互联网的普及率日益提高,截至到2008年底,已经有超过2.9亿人群通过互联网来获

【热烈祝贺】双11落幕,EDAS支撑海外微服务调用超200亿次

2017年双11大促已经顺利落下帷幕,今年EDAS平台除了为国内客户稳定提供高性能的微服务PaaS服务外,平台上已经开始有国际客户构建的系统参与全球性的双11大促,仅东南亚印尼.菲律宾和新加坡等6国,双11期间(11月9日-11日),就累计成功发起微服务调用超200亿次,创造了EDAS平台海外微服务调用的历史新高,同时也恭贺国际客户创造业务佳绩.

联通未来3年在沪投资200亿

早报记者 周玲 中国联合网络通信集团有限公司(以下简称中国联通)昨天与上海市政府签约,中国联通承诺未来3年内将在上海投入200亿元,为上海城市建设和功能定位的落实提供优质可靠的综合信息服务,全力推进上海建设亚太信息通信枢纽. 中共上海市委副书记.市长韩正,中国联通董事长常小兵昨天共同为"中国联通国际通信枢纽中心上海局"揭牌.据悉,中国联通将在上海新建1万平方米国际通信枢纽中心,通过引入泛太平洋直达海缆系统(TPE).扩容数字交叉连接设备(DXC)等,进一步提升国际出口带宽,2011年国

中国电信拟200亿投资陕西

⊙本报记者 叶勇 继5月中旬50亿元投资内蒙古.6月初180亿元投资安徽之后,中国电信再度出手,砸200亿元投资陕西.6月17日,中国电信集团公司与陕西省政府签署长期战略合作协议,双方将在信息化领域展开广泛.深入的合作,全面提升陕西的信息化水平. 未来5年,中国电信在陕西投入不少于200亿元的资金,重点用来完善综合信息基础设施建设,强化综合信息服务能力,支持陕西业务发展.其中今年对陕西的投入将达到40亿元,全面提升陕西有线和无线宽带等信息服务质量. 根据战略合作框架协议,中国电信集团与陕西省政府

联通3年内在上海投资200亿

本报记者 张韬 7月6日,中国联通与上海市政府签署框架协议,双方将在信息化领域开展更为广泛的合作,包括三年内联通将在上海投入200亿元. 据介绍,上海市政府将加大服务央企力度,支持中国联通加快战略转型以及在上海的业务发展.中国联通把上海作为主要战略合作地区和业务发展的重点支持区域,三年内将在上海投入200亿元,为上海城市建设和功能定位的落实提供优质可靠的综合通信服务. 中国联通将在上海加大固定资产投入,提升上海城市信息化服务能力,促进上海经济增长,将上海打造为亚太重要的信息通信枢纽. 双方同意在