百度贴吧10亿量级LAMP架构分享

  贴吧是功能性产品,唯快不破是永恒的准则,这一特点决定了快速迭代是需要解决的关键性问题。快速迭代,分解开来有如下部分:开发阶段,快速开发;测试阶段,包含了环境快速搭建、自动化测试工具;运维阶段,包含了集群管理技术、自动化运维工具;同时,这三方面的工作需要一个整体性的解决方案衔接起来。

  早期的贴吧,作为一个高性能社区,功能相对单一,全部采用C语言开发,系统可重用程度低,开发、测试效率低,运维方面的积累也很少。为了提高效率,开始尝试LAMP架构,经过几年的发展,贴吧已全部迁移到了LAMP。随着产品规模急剧膨胀,30+子系统,150+模块,500+机器,10亿+流量,在LAMP架构方面积累了很多经验,逐渐形成了快速迭代的一体化方案。如下图所示:


  该解决方案由开发阶段、测试阶段、运维阶段组成。开发阶段又分成接入层、业务逻辑层、存储层。该解决方案支撑大规模的线上应用,同时保持了快速迭代的特性。基于该解决方案,开发人员能专注于业务逻辑开发,测试人员能专注于持续集成,运维成本能大大降低。

  开发

  开发方面分为接入层、业务逻辑层、存储层。

  接入层处于浏览器和后端服务之间,用来解析http协议并组织成相应的协议格式,完成客户端和服务器之间的通信,还包括攻击防范、页面缓存、负载均衡等多种功能。Web server是其核心组成部分。接入层的目标是通过统一的方案提供简单可依赖的接入层架构,经过全面调研nginx具有通用性强、效率高、功能全面、配置灵活等特点,是webserver未来发展的主力军,确定采用nginx统一接入层。

  业务逻辑层包含了PHP框架、业务逻辑、LIB库、交互层。业务逻辑层常常包含一些开发规范,这些规范就像法律一样,我们不仅要有法可依,还要有法必依。在我们的解决方案中,PHP框架=规范+库,规范比如目录部署规范、URL规范、配置规范等,这些规范通过相应的库实现,以达到有法必依的目的。 LIB库封装常用的功能。基于这个解决方案,开发者开发应用,只需完成业务逻辑部分。

  中间层,如下图所示,包含在业务逻辑层中,对于业务逻辑层的快速迭代非常重要。中间层对下做交互抽象,支持各种协议屏蔽协议细节;通过资源定位屏蔽部署细节;通过负载均衡提高系统稳定性。中间层对上做接口抽象,支持服务整合、接口适配、公共逻辑。中间层首先建立系统–子系统–模块的体系,进行服务整合,图中的API-LIB就是根据子系统划分,将各模块的接口(MIDL: Module IDL)转化为子系统接口(SIDL: Service IDL);接口适配,SERVICE的接口通过SIDL描述,让接口描述、接口文档、线上代码等自动同步,可维护性大大提高,同时通过元数据规范保证全系统的接口一致,易用性大大提高;收敛公共逻辑,对于公共逻辑,比如权限逻辑,收敛起来可维护性大大提高。


  存储层,提供各种通用服务、组件。其中的通用数据存储框架提供通用的数据存储和访问解决方案,以一种统一的设计模式来支持大多数数据存储模块的设计和实现;统一数据访问接口,对外部屏蔽数据拆分和存储的细节;做到数据存储的良好扩展性,通过通用的数据拆分模式来应对数据增长;将具有共性的需求抽象成通用服务或通用库,以简化设计和开发。

  基于该解决方案,开发一个应用只需要:在接入层配置相应的分流,在业务逻辑层开发业务逻辑,使用存储层合适的服务或基于框架完成数据模块开发。能大大的提高开发效率,支持快速迭代。

  测试

  测试方面,为了支持快速迭代,必须提高自动化程度。而影响自动化的首要因素就是环境自动构建,常见的问题有:环境复杂,比如关联关系复杂;环境搭建代价过大;环境功能不完整等。采用基准环境能解决这一问题,项目上线后自动从scmpf更新到基准环境;测试环境/开发环境从基准环境同步。基于基准环境,系统级别的持续集成也成为可能,同时可以集中大量测试工具。


  运维

  运维方面面临着很多问题:服务迁移成本高,环境不一致带来各种回滚,机器利用率不均衡,运维自动化程度低。为了解决这些问题,提出PHP系统运维方案。环境同步方面,主要是代码同步的问题,采用运维规范+监控的方案;性能监控方面,基于交互层完成请求状态、交互性能监控,基于调度中心获取机器状态; 机器调度方面,通过调度中心完成动态/半自动机器调度。如下图所示:


  展望

  通过该LAMP解决方案,在开发、测试、运维方面都能极大的提高效率。未来在LAMP架构方面,需要更多的在规范化、平台化上下功夫。规范之后才能开展这种自动化的工作提高效率;平台化可以把各种规范固化下来,提供自动化的支持。

时间: 2024-11-03 12:23:19

百度贴吧10亿量级LAMP架构分享的相关文章

陈年:凡客无线是10亿量级生意 给创业者开放平台

凡客CEO陈年(腾讯科技配图) 5月14日消息,移动互联网火热吸引越来越多开发者进入,移动电商也越来越成一门大生意.据凡客CEO陈年透露,凡客http://www.aliyun.com/zixun/aggregation/7791.html">手机客户端一天订单达到上万单,创造的收入接近300万. 陈年认为,凡客无线业务肯定是一个10亿元量级的生意,随着手机客户增长,无线业务将是凡客的新增长点.不过,对于移动互联网行业普遍存在的刷机现状,陈年说,不希望推广靠刷机. 据凡客公布数据显示,自2

李彦宏领衔的百度,连续五个季度的研发投入超过10亿元

摘要: 查看最新行情 18亿元――这是 百度 今年第三季度的技术研发投入,同比增幅高达68%.昨日发布的百度财报,除了移动流量超PC等于再造了一个移动百度以外,研发投入秒杀其他科技公司   查看最新行情 18亿元――这是 百度 今年第三季度的技术研发投入,同比增幅高达68%.昨日发布的百度财报,除了移动流量超PC等于再造了一个"移动百度"以外,研发投入秒杀其他科技公司.这是自去年三季度以来,李彦宏领衔的百度,连续五个季度的研发投入超过10亿元,占营收的比重逼近15%.这在全球的科技巨头

腾讯10亿布局搜索 后起之秀示威百度

谷歌中国的衰退,成就了百度的如日中天.但这并不意味着百度能安然就寝,因为来自国内的后起之秀正悄悄地对它发起冲击. 在马云声称让李彦宏睡不着觉时,来自深圳的马化腾以及百度的邻居张朝阳也从未放缓自己在搜索领域的脚步.日前,搜狗正式对外宣布,通过数年时间的运营,终于摆脱了长期不盈利的现状,实现了首次盈利. 搜狗的成功,让腾讯坚信自己旗下的搜索引擎搜搜也能达到甚至是超越搜狗,成为国内又一知名的搜索引擎.11月10日,腾讯对外宣布,将在北京.上海等全国9大城市展开营销活动,对搜搜进行大规模的商业推广,布局

百度云用户数达2000万 云存储文件总量破10亿

[http://www.aliyun.com/zixun/aggregation/6149.html">TechWeb报道]11月29日消息,百度公司今日宣布,百度云服务用户达2000万,百度云存储的文件总量突破10亿. 目前,百度云已经与百度相册.游戏等百度自有产品深度整合,同时还与美国高通技术公司达成合作,双方将联合推广基于Android终端的百度云服务. 4个月来,百度对个人云不断进行更新和优化,总计进行了30余次版本迭代,推出和更新了100余项特色功能.包括iPad版新增加了在线视

百度称春晚营销见效去年赚10亿

昨日,百度公布了2008年第四季度及全年业绩.报告显示,2008年第四季度,百度营业收入为9.021亿元,同比增长58.0%:营业利润约3.047亿元,同比增长72.9%.2008年全年净利润为10亿元,同比增长66.6%. 今年春节晚会上,之前遭央视曝光的百度频频亮相.对此,百度CEO李彦宏表示,新年期间的线下营销确实是百度一种新的尝试."我们只是为了扩大知名度并培养市场才采取此措施.但我们始终认为,点击率上升的最大驱动力仍然是高质量的搜索服务."他透露,百度今后将在判断广告效应的基

百度今年将向联盟成员分成10亿

本报讯 (记者李斌)昨天,百度高级副总裁沈皓瑜在2010百度联盟峰会上透露,百度联盟已经拥有30多万个客户,去年百度为联盟成员分成约6.97亿元,年 同比增长66.7%,今年分成比例将平均提高10-15个百分点,预计今年分成很可能将逼近10亿元.据悉,这是谷歌退出中国大陆后,百度举行的第一个联盟峰会. 百度创始人.董事长兼首席执行官李彦宏在会上表示,百度将更多地关注中小网站的生存状况,采取更多的措施扶持中小网站.百度联盟发布了促进伙伴发展的三项举措,其中在收益方面,百度联盟将在提升产品变现能力的

百度理财首次发售的百度理财销售已超过10亿元

10月28日消息,百度旗下百付宝官方微博透露,截止今日下午14:50,首次发售的百度理财销售已超过10亿元,参与购买用户超过12万户. 按照百度之前发布的信息,百度理财与华夏基金合作的首个理财产品,今日上午10点28分正式发售.不过百度理财平台开放不久,就出现反问困难等问题.百度方面解释说,故障是由于页面访问瞬间并发数量巨大,导致部分地区用户登录受到影响. 今日下午13点半左右,百度理财开始逐步恢复正常.官方微博发布的信息显示,截止下午14:50,百度理财销售已超过10亿元,参与购买用户超过12

百度“百发”首日:4小时卖了10亿元

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 昨日10点28分,百度旗下的互联网金融平台终于挑选了一个好时间如期上限.因为用户对其热情极高,一度导致百度百发的网站出现访问困难.下午14时左右,10亿元的理财额度全数被用户一抢而空."百度理财首款产品今日10时28分准时发售.由于页面访问瞬间并发数巨大,导致部分地区用户登录受到影响.我们将在最快时间内修复.请各位网友放心.感谢大家

褚达晨:百度联盟今年分成将超10亿

[TechWeb消息]8月22日消息,百度创业者俱乐部成立一周年,百度联盟总经理褚达晨表示,今年百度联盟分成收入将超10亿,其中超过一半分给了中小站长.去年8月份,百度发起成立互联网创业俱乐部,在沟通.成长.收益.融资等方面给创业者予支持.据介绍,过去一年,百度创业者俱乐部主要的工作有以下方面:一是联系 各地理事,举办了15场站长大会;二是发布<搜索引擎指南>,指导创业者更好的利用搜索引擎获得收入.三是提高分成比例.四是帮助优秀项目融资.百度副总裁向海龙表示,过去创业失败的例子很多,很多耳熟能