Facebook最伟大的技术成就有哪些?

我在Quora上看到一个热门提问:“What have been Facebook’s greatest technical accomplishments?”

前Facebook基础架构软件部门工程总监Robert Johnson给出的回答得到了大多数人的认同:“我们搭建了使用Memcached缓存的MySQL数据库集群”。在一年前他离开Facebook时,这个集群已能面向超过一万亿个对象,每秒处理超过十亿个响应。

他详细说明了在这个工作中克服的一些挑战:

数据中心在时间上的高度一致性。这使得用户对facebook的操作在全世界的服务器上都是没有时延的,例如不会出现在你删除了某些内容后,这些数据仍会在其他的服务器上存在一小段时间的情况。对这个话题感兴趣的同学可移步Wired上一篇名为《透视Google资料库全球同步的秘密》的文章,文中详细阐述了Google在这方面的举措。

流量控制。为防止高峰期数据传输拥堵和数据丢失而对请求发送端设计的流量控制体系。

如何设计分布式缓存?分布式设计能够让系统并行地读取缓存,提高效率。在这个基础上,Facebook的系统根据任务量的不同选择不同的缓存形式,以节省空间并进一步提高读取速度。

容灾措施。在少数服务器无法响应时,随机地向不同的服务器发送请求直到收到响应为止,是个不错的做法。但如果有大量的服务器无法响应,这种做法会令剩下的服务器承载巨大的负荷。所以系统设计者会让这些服务器在过载前就停止对用户请求的响应,这种做法虽然会让用户感到不适,但做对于保证数据中心的稳定是至关重要的。很多人在双十一遇到淘宝/支付宝/银行页面无法响应也是采用了这个机制。

调度与监控。当服务器并行协作处理某项事件时,服务器之间能相互监控彼此的状况。

他还提到了Facebook针对Memcached和MySQL的改进。

其他得票数较高的答案中提到的技术有:

HipHop for PHP。这个项目旨在加速和优化PHP。它目前已支撑了大部分Facebook的Web流量。由于HipHop,Facebook Web服务器上的CPU使用平均减少了50%,从而大大减少了服务器的需求。

HayStack。Fackbook用于存储照片的系统,其存储照片的数量在千亿数量级。

Scribe。Facebook开源的日志收集系统,它能够从各种日志源上收集日志,存储到一个中央存储系统上,以便于进行集中统计分析处理。

The Graph API。该API提供了对人员、相册、事件等Facebook对象以及这些对象之间诸如朋友、标签、分享内容等链接之间的访问,通过一个统一而稳定URI来访问其表象。

我们知道,得票最高的“使用Memcached缓存的MySQL数据库集群”不仅是Facebook的巨大成就,Google、Amazon等公司都耗费大量精力在为“数据库集群”寻找最高效的解决方案,它并不是一个看上去“酷”和“新”的技术理念,但在产品背后,它支撑着功能,影响着体验。

这也是PingWest所认同的,作为一个具备全球视野、有洞见的在线科技媒体,我们不仅报道科技创业资讯和趋势,同时着力挖掘最有价值的产品背后的技术、设计方法与思考。

(责任编辑:蒙遗善)

时间: 2024-09-26 21:05:20

Facebook最伟大的技术成就有哪些?的相关文章

Facebook正是Hadoop开源技术的使用者

据美国科技博客网站Silicon Alley Insider(SAI)报道,今年早些时候已从谷歌离职的技术开发人员德汉吉·普拉萨纳(Dhanji Prasanna)近日发表博文称,自己之所以决定离职,是觉得谷歌搜索及其他服务所使用的后台技术"已经过时". 普拉萨纳曾是谷歌协作通信服务谷歌波浪(Google Wave)技术团队成员之一.今年早些时候,在拿到自己2010年工作奖金后,普拉萨纳从谷歌离职.本周早些时候,他在一则博文中表示,自己之所以选择从谷歌离职,主要原因是觉得该公司所使用技

隐私安全新动向:Facebook采用OpenPGP加密技术

近期Facebook宣布将为其消息传递服务采用OpenPGP加密,同时允许用户在他们的Facebook配置文件中张贴公钥.这些改进如何改善Facebook的安全性?其他服务和消息传递应用是否也该依法效之呢? 斯诺登事件增加的人们对网络隐私的担忧,几家大型互联网公司都开始加强其安全控制以保障其用户在线数据和通信安全以防被窥探.举例来说,现在最受欢迎的网站使用数字证书,从而让用户能够查看跨HTTPS的页面,HTTPS加密服务器和浏览器之间的流量.Facebook也使用了这种安全控制,也采用了HTTP

Facebook推出高速光网络技术将共享

Facebook公司创建了一个高速,长距离的网络系统,它计划与其他公司进行分享,并在社交网络上进行宣传,来收集大家的意见从而来刺激技术的进步和降低硬件的价格. 该公司已经共享了设计,用于服务器系统和数据交换,周二透露,宗旨在通过连接光纤电缆在地理位置上分散的数据中心提供一个设备数据交换的通道. Facebook公司力求以改善互联网基础设施 Facebook,计划鼓励,被称为"旅行者"的硬件厂商卖设备,该公司自2011年以来一直试图通过推动制定和发布,让其他人在可以使用硬件规格的基础上,

Gartner曾劭清:云计算技术成就企业数字化转型之路

曾劭清现任Gartner公司数据中心研究团队的研究总监.作为一位"混合型"分析师,他一半时间专注于研究TSP厂商,另一半时间用来研究终端用户.其研究重点在于数据中心和云基础设施,以及云计算对企业数字化转型的作用. Gartner公司数据中心研究团队研究总监曾劭清 在中国工作20年后,曾劭清于2015年9月从北京调到澳大利亚悉尼工作,对比西方和中国市场的差异,研究国际和国内终端用户在企业数字化转型过程对云计算实践的差异性,以及为TSP厂商提供关于数据中心和云基础设施下一代产品规划和亚太市

校企联姻研发前瞻技术成就三赢!

我国校企合作起步较早,从五.六十年代起,在我国教育和科技方针的指引下,广大高校教学和科研人员就投身于生产实践,开始迈出了高校与企业合作的步伐,党的十一届三中全会后,随着改革开放开始,我国工作重点转移到经济建设上以来,高校与企业的合作,进入了一个新的阶段,创造了多种合作模式,包括:通过技术市场向企业转让科技成果.项目合作.建立国家或行业的技术研发推广中心.由高校出人力和设备,由企业提供经费,在高校建立"开发研究中心"等各类不同的方式.不管哪种模式,都加快了科技成果向生产转移,使企业新产品

F8 2017 | 技术负责人为你解析 Facebook 神经机器翻译

该讲座主题为 Facebook 机器翻译的两代架构以及技术挑战. 雷锋网消息:在昨日的 F8 会场,该讲座吸引了众多开发者到场,主讲者是 Facebook 语言翻译部门技术负责人 Necip Fazil Ayan. Necip Fazil Ayan 首先介绍了 Facebook 翻译业务的使命和愿景,以及对机器翻译的应用. 使命与愿景 Necip Fazil Ayan:Facebook 希望推动建立一个真正的全球社区,即"连接世界":每个人都能与全世界任意国家的人.任意语言内容自如交互

Facebook洽购面部识别技术公司Face.com

中介交易 SEO诊断 淘宝客 云主机 技术大厅 CNET科技资讯网 5月29日 国际报道:以色列财经类报纸Calcalist报道称,Facebook正在与面部识别技术公司Face.com洽谈收购事宜. 另据科技博客网站Newsgeek报道称,Facebook收购Face.com的出价为8000万至1亿美元之间. 2009年Face.com在Facebook平台上发布了利用面部识别技术自动标识人物照片的免费应用Photo Tagger,以及基于面部识别技术的提醒服务.2010年,Face.com发

Facebook利用毫米波技术实现20Gbps传输率

类似Google的同温层气球项目Project Loon,Facebook过去几年也一直致力于开发为通信基础设施缺乏的偏远地区提供互联网服务的技术.Facebook的Aquila的太阳能无人机能在6万英尺高度飞行数月,利用激光通信和毫米波为方圆30英里的区域提供可负担的互联网接入服务.社交巨人现在宣布,它利用毫米波技术在13公里距离上实现了20 Gbps数据传输率,创下了新的世界纪录,这一速率相当于可以同时传输1000部超高清视频流. 利用定制组件,发射机和接收机的总直流功耗仅为105瓦.Fac

《云计算:概念、技术与架构》一3.1 起源与影响

3.1 起源与影响 3.1.1 简要历史 "云"中计算的想法可以追溯到效用计算的起源,这个概念是计算机科学家John McCarthy在1961年公开提出的: "如果我倡导的计算机能在未来得到使用,那么有一天,计算也可能像电话一样成为公用设施.--计算机应用(computer utility)将成为一种全新的.重要的产业的基础." 1969年,ARPANET项目(Advanced Research Project Agency Network,APRANET,为In