在线视频王者YouTube的技术哲学

导读:许多团队都使得他们的基础架构越来越复杂,YouTube团队却尽量保持简单的风格。正是凭借简单的技术哲学,才成就了YouTube在线视频王者的盛名。

如果你想构建一个可以承载日访问量40亿次的网站,YouTube有许多值得借鉴的地方。本文是YouTube的工程师Mike Solomon在PyCon(PyCon是Python开源社区的开发者年度盛会)上关于YouTube扩展性演讲的摘要,相信会对大家有所启发。

许多团队都使得他们的基础架构越来越复杂,YouTube团队却尽量保持简单的风格。他们使用Python作为主要开发语言,使用MySQL开源数据库,并一直使用Apache作为Web服务器。对一个如此庞大的站点而言,许多重要特性都源于点点滴滴的Python代码。

这并不意味着YouTube不追求创新,他们更追求一种技术哲学,而非炒作。究竟是什么成就了世界上最大的视频网站?敬请阅读。

惊人的数字

——日访问量40亿次

——每分钟上传60小时的视频

——超过3.5亿终端访问

——利润是2010年收入的双倍

——视频的数量上升了9个数量级,开发人员却只上升了2个数量级

——一百万行Python代码

软件架构

——Python:Python是YouTube的主要编程语言。

——Apache:YouTube一直使用Apache,每次HTTP请求都经由Apache。

——Linux:Linux是构建YouTube的基石,它有许多强大的工具,如strace何tcpdump。

——MySQL:MySQL有庞大的用户群。YouTube使用它的关系数据库特性,也使用它存储BLOB数据。

——Vitess:Vitess是由YouTube发起的一个开源项目,旨在打造高性能的MySQL前端。

——Zookeeper:分布式的锁服务器。

——Wiseguy:一个CGI Servlet容器。

——Spitfire:一个模板系统。

——Serialization formats:YouTube重写了BSON实现,速度提升了10-15倍。

关于扩展性的思考

以下虽然都不是什么新思想,但希望对你有所助益。

——分而治之是扩展性技术的灵魂。考虑以层次化的方式完成所有的工作。这也是数据分片的症结所在。要知道如何将数据分区,以及如何将已分区的数据进行关联。总而言之,保持简单与松散的耦合非常必要。

——充分利用Python的动态特性,构建易于扩展的软件架构。

——近似的正确性。要相信监控系统所报告的系统运行状态。如果问题没有出现,就认为一切良好。

——不一致的数据模型。例如,阅读评论的人和写评论的人对你刷新页面的动作会有不同的反应,但也不必完全基于事务处理进行系统设计,这会显得矫枉过正。我们依然需要不一致的数据模型。

——分布式系统的随机性。分布式系统就如同气象系统一样,对分布式系统进行调试会存在更多的随机性。例如,缓存过期。一般情况下,服务器会将流行的视频缓存24小时。如果一旦出现缓存同时过期的情况,服务器将同时开始缓存,荷载如闻惊雷!

——最快的函数调用就是不做任何调用。合理设计事务处理发生的间隔和次数。

——仔细观察API,并做到心中有数。如何定义输入、输出?所有的函数调用本质上都是围绕数据发生的,那在函数调用之后,又会发生什么?

——在Python中运用RPC重定向。程序员是代码的构建者,因此要做好约定。如果代码不幸失败了,还可以从RPC输出中追查原因。

——没有完美的组件。一个组件的运行周期可能持续1-6个月,具体多久,谁也说不清。随着时间的推移,我们会用Python和C重写一些东西,这证明你正在淘汰旧的组件,当你观察到一个新组件出现的时候,它诞生了。

——没有人了解整个系统的运作机制。因此,我们需要定义组件。视频转码和视频搜索截然不同,建立良好的数据规范非常重要。

——效率与扩展性并重。最有效率的是用C实现进程,但这样的方式缺乏扩展性。

——着眼于宏观层面、组件及其失败的原因。使用RPC是否明智?内联如何?进行分解研究,也许会发现不同之处。

——重视算法。与其绞尽脑汁用Python来实现高效的算法,不如用它做些更有实用价值的事。在这方面,C语言有它的优势。

——我们很少从事面向对象设计。我们使用了大量的名称空间,使用类来组织数据,但极少面向对象。

——我乐意用下面的词汇来形容我们的代码树:简单、实用、优雅、正交、可组合,这是我们的追求。

总结

YouTube解决问题的哲学只有一个词:简单。许多YouTube的产品最初只是源于一个简单的Python脚本。这正是应了我们的一句老话,不积跬步,无以至千里;不积小流,无以成江海。(张志平/编译)

(责任编辑:蒙遗善)

时间: 2024-10-29 12:46:23

在线视频王者YouTube的技术哲学的相关文章

首次曝光!在线视频衣物精确检索技术,开启刷剧败明星同款时代

CVPR是由全球最大的非营利专业技术学会IEEE(电气和电子工程师协会)举办的计算机视觉领域的国际顶会,2017CVPR收到超过2500篇论文投递,最终收录不到800篇,阿里巴巴集团iDST和AI LAB 有多篇论文被收录. 今天为大家深入解读被CVPR 2017收录的论文之一.来自阿里巴巴iDST 视频分析团队的<从视频到电商:视频衣物精确检索>. <从视频到电商:视频衣物精确检索>围绕视频电商业务场景,提出了一个在线视频衣物精确检索系统.该系统能够满足用户在观看影视剧时想要同时

在线视频技术帮助企业轻松做营销

转载:  世界营销评论 ( 日期:2008-04-15 15:16)     作者:李银莲 转载地址:http://mkt.icxo.com/htmlnews/2008/04/15/1270874.htm 视频的作用能有多大?浏阳烟花销售商贺建武会告诉你,视频帮他把烟花卖到国外去了.要知道,湖南浏阳可是国内著名的烟花生产和集散地,要从众多企业中脱颖而出可不是件容易的事情,贺建武只不过在网站上添加了烟花燃放效果的视频,结果一下子从众多的网站中跳脱出来了,说视频"突击"了眼球并不过分. 视

易传媒技术数据产品助力在线视频和精准营销

2012年9月5日6日,由中国互联网协会指导,比特网.天极传媒主办,网络营销工作委员会承办的2012网络营销高峰论坛暨第四届"金网奖"盛典在北京召开.会议吸引了来自网络营销领域近千名专家.领导.广告主及第三方营销机构的参与.金网奖在网络营销行业有着广泛的影响力.易传媒为代表的服务于网络营销的互联网广告技术公司也参与其中,共同分享了网络营销典型案例及应用产品创新经验.值得关注的是,在2012网络营销高峰论坛暨第四届"金网奖"盛典上,易传媒为"东南汽车新V3菱

YouTube目前占据着在线视频的垄断地位

YouTube目前占据着在线视频的垄断地位,绝少有公司能向其发起挑战,这使其与内容商谈判时有着强大的议价权.以YouTube上最大的游戏视频提供商Machinima为例,该公司拥有3.21亿订户,每年为YouTube创造浏览480亿次,却因为近半收入被YouTube分走而长期在亏损线上挣扎.不过这一状况今年或许会有好转,因为雅虎要拼命杀入视频战局了. 据re/code引用知情人士的消息称,雅虎正在与YouTube上某些最受关注的明星和节目商接触,以吸引其入驻自己的视频站点(不知道指的是Yahoo

美国第一视频网站YouTube:视频让你讲故事

中介交易 SEO诊断 淘宝客 云主机 技术大厅 凯文·艾利森(Kevin Allison).理查德·沃特斯(Richard Waters) 查德·赫尔利(Chad Hurley)脸色憔悴,气色苍白.对于处在创业初期的互联网创业者而言,这几乎成了他们的荣誉标志.如果将此归咎于严重缺乏睡眠,似乎并不令人惊讶. 赫尔利与首席技术官陈士骏(Steve Chen) 于去年12月份,一起推出在线视频共享网站YouTube,刺激了流行文化的神经.对于大多数处在他这样位置上的人而言,这一切都只是梦想.在创办后不

六间房网站彻底抛弃影视剧 打造在线视频社区

中介交易 SEO诊断 淘宝客 云主机 技术大厅 "六间房全面砍掉影视剧,主要做视频社区,并非转型而是顺势而为,因为视频社区已是比较成熟的领域."六间房CEO刘岩近日在"六间房秀场"周年庆典上接受中国经济时报采访时如此表示. 经过多年酝酿,几家拷贝YouTube及Hulu模式的视频网站已经或即将完成蜕变,一向低调的六间房却在此时转身,全力打造在线视频社区. 对此,刘岩称,六间房和优酷.土豆已不在一个跑道上.今年11月中旬,六间房网站全面改版.新版页面中,六间房将秀场.

在线视频增长迅猛 Open2推出视频公关服务

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 近期,Open2Communications推出了25种不同语言的视频公关服务项目,针对其客户在各国不同的数字传媒战略,帮助他们巩固欧洲和北美市场的发展. 最近几年来,宽带的发展使因特网无可非议的成为一个巨大的信息资源媒介,更为企业提供了提升曝光率的绝佳平台.最新数据显示:95%的欧洲公司已联网,54%的家庭使用网络,其中45%的网民更是每周

Akamai:在线视频在2014年迎来爆发期

歌手 Pharrell Williams在2013年底举办了一场历时24小时的盛大舞会并将舞会视频用于他的歌曲<Happy>中,该视频历时24小时,堪称时间最长的音乐视频.观众可以自行选择实时观看或在特定时段观看. 如果你还记得9年前在YouTube播放的首个视频剪辑,亲历这种技术的突飞猛进,确实有点超现实主义意味. 在线视频的消费量现已成为速度最快.规模最大的移动数据流量.事实上,Akamai已经预测到视频流量将在短短三年内(2012-2015年)增加近五倍,传输速度超过50Tbps.同业思

在线视频网站中的长尾

中介交易 SEO诊断淘宝客 站长团购 云主机 技术大厅 今年,也就是08年对于在线视频而言是一个大年.eMarketer预测超过一半的美国人如今已经收看过或者使用过在线视频.估计到明年这一数字将会达到全美总人口的80%.但是总体而言在线视频仍旧是一个新鲜玩意儿.浏览者所浏览的以及他们所访问的网站如今还在不断的变化发展. 据Nielsen的调查数据显示,从去年1月至11月,许多大的视频网站都发现其拥有的用户正在发生明显的改变. eMarketer高级分析师David Hallerman认为那些顶尖