B站高性能微服务架构

编辑IT大咖说阅读字数: 2672用时:8分钟
本文内容来源于任伟【沪江技术沙龙】-漫谈微服务架构实践上的主题演讲,IT大咖说为沪江技术沙龙独家视频知识分享平台。

内容摘要
Bilibili作为一个大型弹幕视频网站,在竞争日益激烈的互联网行业中,开始重视技术生态的演进,探索寻求适合企业本身的一个微服务架构。本次分享主要讲述了B站高性能微服务架构的演进。

大家好,我是来自bilibili的任伟。今天的分享分为三个部分内容: 

  • 曾经的价格体系。 
  • 面临的一些痛点问题。 
  • 高性能微服务架构在B站的落地。

曾经的价格体系

B站从成立至今已经有将近八年的时间了,但是从前两年我们才开始重视整个的技术生态的演进。在整个B站的代码体系里面,我们曾经也把B站的老代码称之为全家桶。因为它是一套代码,涵盖了几乎所有bilibili里面的业务体系。我们现在的引进方向以科研为主,整个B站光是网站这一块,就有很多的分支,而整个的分支对应的域名也很多。

B站以前代码的体系从安全体系上来讲,我们进行了一系列的拆分。整个的代码仓库主要分为三个部分,一是主站的业务逻辑,还有一个是分发管理的逻辑,以及配置文件。配置文件整体的发布是一套非常繁杂的流程,它用脚本的方式把整个配置文件慢慢的生成,而这些跟本身主张的代码逻辑是隔离开来的。

我是一个工作很多年的PHP研发。在接触B站之前,我一直认为PHP的业务结构开发速度会非常快。但是了解了B站的代码就会发现,其实用PHP语言体系来做的事情非常多。就目前而言,整个B站的运维体系的工具都是由PHP来完成的。因为我们是一个视频类的网站,最重要的就是视频资源的管理,而这个调度其实一开始也是由PHP来完成的。

下面图片是一个我们的业务集群,主要分三大块,一块是面向移动端的服务集群,一个是面向PC端的服务集群,还有一个就是面向弹幕的。

面临的一些痛点问题

整个B站曾经的体系是非常庞杂的,这么大的一个系统面临着很多问题。

代码和文档问题

就代码来说,维护的难度非常大。对于研发而言,如果我们只是关注某一块的业务逻辑,就好像管中窥豹。而且最重要的是它文档缺失。虽说一个好的编码习惯就是一个好的文档,但在业务量或整个体系比较庞大的情况下,文档和代码还是有本质区别的。

B站是基于各种网站慢慢成长起来的一个企业,所以当时在做这块的时候没有特别重视,文档一直有比较大的缺失,导致代码维护非常麻烦。

基础架构

整个的基础架构是基于织梦CMS,是一个比较流行的开源的内容管理系统。绝大多数业务逻辑我们做了一些深度的定制,导致一般研发很难搞定前面底层里的一些逻辑。

业务机会聚合在一起,不易被扩展和拆分。B站在发展到前两年的时候,让运维独立去搭一套整个B站的扩展体系并不是那么容易,B站的运行环境基本上只能通过创始人来扩展我们的负载。

运维复杂

运维复杂,因为配置也是相当复杂。后来已经不允许在运维再增加业务上的一些重写逻辑,只有让代码这边自己去处理。所以重构优化,我们已经提上了日程。

我们公司成立的基础是一个天才型选手,以前在那套系统加入了一些黑科技的东西,但同时就限制了公司团队的发展。

基于这样的一些重点问题,我们在去年开始思考怎么来解决B站目前面临的这些问题。因为B站发展速度非常快,业务的发展导致团队也会不停的增长,我们需要考虑各方面的因素。我们需要有一部分的业务要参与进来,然后梳理出来,再进行一系列架构方面的重组。

高性能微服务如何在B站落地

通过整个的服务体系我们可以看到,基本上以命名规则可以看到service里面的一些内部服务。对于终端和PC端,我们都是以show和interface作为作为项目向外透露接口,他们的区别就在于show是一个单纯的业务,它有紧急预案和service。但是interface会做一些数据的聚合。服务间的依赖标准主要是RPC。

介绍完大体框架之后,我们先看一下为什么当时B站会选择go语言作为技术站。我们选择go主要是因为它的执行和开发效率非常的高效。相比其他语言,优势还是挺明显的。比如我们主站的首页的动态图,每五秒钟需要获取各个分区里面的最新稿件,订单访问量是非常大的。利用go服务可以明显地感觉到移动端的访问量占整个B站的访问量已经达到了60%以上,但是他那边基本上所有的服务接口都不走CDN,直接打到元,他们那边量也是非常大,但是也没有出过什么错。

B站go语言成长非常迅速,因为它的背景是google,生态也比较丰富,支持kafka、canel、hbase这些比较流行的风格式管理框架。鉴于此,我们就选择了go语言作为我们整个公司的在技术上的统一。而且相对而言,它的调用效率要比http比较高,就是我们不走apI接口接收内部的RPC。

为什么说B站微服务在整个经营效率上会这么高呢,除了它本身语言体系上没有其他语言那么臃肿之外,我们还做了一些努力。比如在整个的对外服务的这一层上,基本上没有任何的请求可以直接打到DB,全部是缓存。我们都是通过多层缓存机制来保障的。

我觉得微服务最重要的一点就是服务隔离。在实际项目中我们也遇到很多问题。因为公共资源,导致某一个服务和资源挂钩,会拖垮相应的服务,所以说服务隔离非常重要。

选择go的另外一个重要原因就是它本身跟docker的结合有天然的优势。因为go语言的运行环境非常的精良,它不需要依赖于任何的其他的环境。所以我们动态的管理相对于其他项目来讲的,是整个公司里面最干净的docker。我们的团队也会做服务巡查。某一个服务如果出现问题都能第一时间来反馈到我们的平台里。

go语言的几个基础

数据总线中间件

数据总线中间件,叫Databus。它是一个面向redis协议背靠kafka的消息中间件,它是基于内地市场放上的行为,主要目的就是用来deal。

数据库deal

我们主张直接更新缓存,并把消息推送到数据总线,然后由数据总线来更新数据库。

我们这边本身也有一些稿件的时候,比如说用户提交的一些视频,在我们这边的话会有一个基于canal的go服务,这个服务的主要作用就是在于监听数据库日志,来解析出数据库里面的更新和参数方程,来更新缓存。

我们自己魔改了twproxy,这是一个开源的想法。我们自己做了一些二次的开发。因为以前bilitw是单进程,我们这个是一个多进程的魔改负载均衡的组件。

配置中心disconf也是我们自己研发。基本上我们以自己造文字为主了。也做了一套自己的小文件存储系统BFS。这套系统跟当前比较流行的一些云存储还是很像的,它的吞吐量足够大,扩展性也足够好。

B站发展到现在,微服务还只是一个刚起步的阶段,我们也在微服务这条路上慢慢探索适合我们的一个微服务架构。我认为适合企业本身的微服务就是最好的。

我今天要分享的就这么多,谢谢!

原文地址:http://www.itdks.com/dakashuo/detail/1179

时间: 2024-08-03 10:29:56

B站高性能微服务架构的相关文章

基于Nginx搭建一个安全的、快速的微服务架构

本文讲的是基于Nginx搭建一个安全的.快速的微服务架构[编者的话]本文改编自Chris Stetson发表在nginx.conf 2016上的一个有关如今的微服务以及如何使用Nginx构建一个快速的.安全的网络系统的演讲,大家可以在YourTube上回看此次演讲. 0:00 - 自我介绍 Chris Stetson:Hi,我的名字是Chris Stetson,我在Nginx带领专业服务部门,同时也领导微服务实践. 今天我们要谈论微服务以及如何使用Nginx构建一个快速的.安全的网络系统.在我们

亿级流量电商详情页系统实战:缓存架构+高可用服务架构+微服务架构

<缓存架构+高可用服务架构+微服务架构>深入讲解了亿级流量电商详情页系统的完整大型架构.同时最重要的是,在完全真实的大型电商详情页系统架构下,全流程实战了整套微服务架构,包含了基于领域驱动设计进行微服务建模.Spring Cloud.基于DevOps的持续交付流水线与自动化测试套件.基于Docker的自动化部署.此外,还包含了大型电商详情页系统架构中的多种复杂架构设计的详细介绍. <亿级流量电商详情页系统实战(第一版)>的内容,主要是基于简化以后的大型电商详情页系统的背景,重点包含

12年互联网产品开发人眼中的微服务架构云端应用

微服务架构很热,讨论的文章非常多.但如果提到微服务架构的云端应用,可以深入分析的还比较少.本篇来自中生代技术群(FreshmanTechnology)第二期,好雨云创始人兼CEO刘凡的分享.其曾任澳客网 CTO和CEO职位.拥有超过12年互联网产品开发和管理经验,专注于互联网技术架构设计,对产品设计.敏捷开发.安全.OKRs.大数据等领域有深入研究.现推崇反应式编程(http://www.reactivemanifesto.org/),并在多个产品中成功应用. 下为正文: 微服务架构(Micro

学霸君基于Docker的微服务架构设计

以下内容根据演讲PPT以及现场分享整理而成. 今天主要分享的是我们在实践微服务架构或者容器架构过程中踩过的坑,对于致力在容器技术方面进行探索的同学会有很大帮助.本次将站在整体的角度,分享如何去运维整个线上系统,如何看待整个微服务的架构.微服务能带来什么帮助以及微服务又有哪些缺点,还有重要的一点就是微服务架构如何去落地实施.虽然阿里云这样的服务商为我们做了大量的工作,但是将微服务架构真正地落地实施还需要做很多的工作.而对于任何技术而言,都是存在优缺点的,微服务架构也不是救世的良药. 一.学霸君的发

从 Spring Cloud 开始,聊聊微服务架构实践之路

本文讲的是从 Spring Cloud 开始,聊聊微服务架构实践之路[编者的话]随着公司业务量的飞速发展,平台面临的挑战已经远远大于业务,需求量不断增加,技术人员数量增加,面临的复杂度也大大增加.在这个背景下,平台的技术架构也完成了从传统的单体应用到微服务化的演进. 系统架构的演进过程 单一应用架构(第一代架构) 这是平台最开始的情况,当时流量小,为了节约成本,并将所有应用都打包放到一个应用里面,采用的架构为 .NET SQL Server: 表示层:位于最外层(最上层),最接近用户.用于显示数

一个更好的可视化微服务架构的方式

本文讲的是一个更好的可视化微服务架构的方式[编者的话]如何快速地可视化一个微服务架构,本文作者有一个很酷的办法,赶紧来看看吧! [3 天烧脑式容器存储网络训练营 | 深圳站]本次培训以容器存储和网络为主题,包括:Docker Plugin.Docker storage driver.Docker Volume Pulgin.Kubernetes Storage机制.容器网络实现原理和模型.Docker网络实现.网络插件.Calico.Contiv Netplugin.开源企业级镜像仓库Harbo

老司机的微服务架构实现,照亮你的人生 | 朱攀

编者按:前2月,向朱攀兄弟约稿,畅聊甚欢,引为知己.今刊发以飨读者! 微服务为当今群雄混战局面,从dubbo问世数载,然业界尚未有完整打包结局方案,前有小剑之<老司机带你玩PPmoney微服务>,德比软件作为前驱,集数年研究与实战,搭建平台,填埋深坑,则业界之幸! 适逢1024程序员节,一并祝各位程序猿/媛节日快乐,早日步入老司机行列 前言 微服务概念被提出来后,短时间内就成了当前互联⽹圈的⼀个技术热点,有很多互联⽹公司计划或正在进⾏微服务化改造,那么,实施微服务我们应该怎么开始呢?需要哪些基

基于微服务架构,实解容器级DevOps平台的建设

导读:本文以"实践过程中问题与思考"为主体,与大家分享其中的过程和经验,希望大家在后续的工作中能够避免相关问题,形成更佳实践. 首先简单说下我们要做什么,不谈理念,不谈哲学,我们要做一款基于微服务架构,可以同时运行在公有云和私有云上的容器云平台,以DevOps为目标,提升协作效率,快速交付. 为什么选择阿里云 现在的公有云如雨后春笋,国外如AWS.Azure.Bluemix,国内如阿里云.腾讯云.DaoCloud.goodrain等,都可以给大家提供丰富的云基础设施和上层服务,那为什么

如何构建微服务架构

本文讲的是如何构建微服务架构[编者的话]"微服务"的概念兴起于四五年前,近几年尤其火热,各大厂都在进行微服务化改造和微服务建设.最近一年来我们也参与了微服务化的改造大军,这里写下一些做微服务系统设计和开发时的切身感受. [3 天烧脑式基于Docker的CI/CD实战训练营 | 北京站]本次培训围绕基于Docker的CI/CD实战展开,具体内容包括:持续集成与持续交付(CI/CD)概览:持续集成系统介绍:客户端与服务端的 CI/CD 实践:开发流程中引入 CI.CD:Gitlab 和 C