阿里云数据库掌门人褚霸:骑行与数据人生

本文主要从霸爷的骑行经历开始聊起,进而联系到数据库经历,从初识数据库谈及到云下转入云上,最后重点与大家分享了POLARDB 数据库。

 

今天的电梯访谈我们请来了褚霸和我们聊聊他的骑行与数据库人生。

以下是精彩内容整理:

骑行有很多乐趣,骑行给我无拘无束的感觉,骑行是一种激情,让我兴奋,享受着超越感。而数据库与骑行对我来说是相通的,坚持去做的事情一定是你有兴趣的事情,没有激情是很难做到极致,数据库与骑行一样,没有上限,投入精力越多,探索深度越深。

初识数据库

“我的梦想是做一个最牛X的数据库!”,尽管这是一句戏言,但也表露出我对数据库的热爱和野心。误打误撞或是机缘巧合,我从高性能服务器转做数据库,从最基础的MySQL代码开始学起,随着经验的积累,不断成长为如今的云数据库掌门人。

从仰望Orcale到现在和它做同样的事情,阿里云数据库实现了质的飞跃,阿里团队付出了很多。我们抓住了几个重要的机遇,比如历史的变革,2010年SSD出现,给我们很好的机会,在此场景下,原来系统不太适合,淘宝抓住了机会,淘宝的核心数据库都在这些硬件上跑,所以我们有很多场景,很多锤炼,双十一规模超大,每年都是七倍往上翻。

现在数据库团队的骨干都是和当年的我差不多资历的人,对于他们的执着我特别感动,因为许多事情看起来的确很枯燥,很佩服他们的工匠精神。我从他们身上学到了很多,看着他们的成长。

从云下到云上

传统的数据库厂商会上门谈生意,大多都是大客户或者是重要业务,业务的重要程度随着我国技术发展,对数据库的依赖程度会越来越高。相比云下
,云上数据库的门槛较低,成本低就会有大规模的使用,在性能和分布性等方面会有各种需求,这样一轮轮的迭代,数据库的大需求是一个趋势,节奏会越来越快。

数据库从云下到云上的转换,也是中国国产数据库弯道超车的机会。借着国家的上升大势,各行各业都需要数据库,它会带动很多东西前进,需求会转化为对技术的变革倒推,再好的技术如果没有应用场景,都是无用的。

中国是世界上最大的数据库应用场景,目前,我们团队在做一款自研数据库。MySQL之所以火爆,是因为有大量的人使用,大量的人改进,大量的人扩展它的使用范围,致使它的能力得到很大提升,它是一个非常通用的数据库。在这种情况下,在此基础上想要有五倍、十倍的性能提升是非常难的。

我们摒弃了老方法,拥抱软硬件的大变革,比如RDMA的出现,也或者两台服务器间的RT 是7us,这与过去70us相差10倍;以前数据结构底层用的B-Tree是根据旋转磁盘设计的,今天如果仍然延用B-Tree,就不会有特别多的优势,我们需要更新的数据结构,更新的利用介质。通过这些技术的提升让很多不可能成为可能。

数据库本身设计时会考虑到很多东西,比如软件、网络技术包,多年来数据库的结构并没有什么变化,它的栈很深,一级级传递下来,我们不仅仅要跟上硬件的优势,还有赶上软件的步伐。传统的网络接收方式耗费很多CPU资源等,如今我们让其消耗更短更少。

POLARDB

在硬件红利的基础上,我们开发了全新的软件架构,让其很好的适配和驾驭硬件,当硬件和软件各方面都达到了极致,实现数量级的叠加时,我们是有可能创造出总体性能达到更好数量级的新东西。

POLARDB 就具备高性能特点,并且性价比很高,起初我们的设计目标并没有多大野心,只是希望当五年或十年后再回首时,我们会感觉到当初的设计是多么先进。

想要达到性价比高就必须有红利基础,性能高意味着成本低,另外我们从架构上去解决问题,比如过去MySQL是主备结构,完全被动接收,为了数据安全用户需要付两倍的钱,而且需要提供扩展和读写能力。而POLARDB 采用共享存储的模式,这得益于云计算的弹性能力,我们解决了存储扩展问题,一个实例可以扩展到P级别,这就解决了存储问题;还有延迟抖动问题,共享存储可以做到20~30us三副本落地,不需要再拷贝数据,天然解决很多问题;还有计算能力的扩展,我们的计算和存储是分离的,数据都是同步的,性能成本很低,无需再复制;数据库具有写能力,我们发散思维,对引擎做了大量改进,消减引擎使TPS或QPS能力提升5倍甚至10倍,进行物理复制,整个又是一个数量级的提升,因为很多公司可能一辈子都用不到容量的上限。

POLARDB 紧跟时代的步伐,尝试了他人不想尝试的,POLARDB
理念简单又直接。数据库的稳定性一直是重中之重,POLARDB 也十分注重稳定性问题。从第一天被设计开始,POLARDB 就被证明怎样才能如你预期工作,将认可的状态可视化,从根本上减少问题的发生,即使发生情况,我们也会很快知道,我们从代码、引擎、管控到支撑等拥有全套的解决方案,我们希望POLARDB 的稳定性也会有很大的提升。

 

 

 

时间: 2024-08-31 17:17:05

阿里云数据库掌门人褚霸:骑行与数据人生的相关文章

阿里云数据库技术峰会回顾整理:演讲幻灯+直播视频,赶紧下载!

云数据库产品及架构设计背后的考量 嘉宾:萧少聪,阿里云数据库高级产品专家 演讲内容:阿里云数据库产品全体系介绍及数据库产品实现架构分享. 听众收益:通过本次议题,了解阿里云全数据库产品体系能解决哪些实用场景的问题,同时了解其解决的原理. PDF下载:https://yq.aliyun.com/attachment/download/?id=1963 直播视频:https://yq.aliyun.com/edu/lesson/698 整理文章:https://yq.aliyun.com/artic

女工程师独家揭秘:双11秘密武器阿里云数据库团队故事

据说,这个世界上有两类珍稀物种: 1 大熊猫 2 美女DBA DBA 即数据库管理员,需要广泛的数据库.业务.系统和网络知识:心细如发,善于沟通的性格:和7*24小时待命,火线解决问题的意志. 外人看似闲庭信步:自己人才知万丈深坑.因此挡住了很多女DBA 升级打怪之路. 阿里云数据库,一直被模仿,从未被超越.聚集了全球最顶尖的数据库专家.不是精英不聚头,在最顶级的数据库团队,从事专家服务的女DBA,会是什么感觉? 她和数据库团队同事又有哪些故事? 双十一临近,我们有幸采访到阿里云数据库团队的凌洛

褚霸:阿里云数据库要放大招!

本期采访嘉宾--阿里数据库大神褚霸.   阿里云研究员 褚霸 从技术创业到阿里云数据库团队 大招是什么?很多猜测. 不妨先从褚霸的发展来看.1997年毕业之后,在几家大公司呆过之后,一直喜欢"各种折腾"褚霸创业了三次:做软硬件结合的报警器,开发类似网银的互联网金融系统,类似于P2P做PPStream的看视频的产品.每次都是产品很牛,但因为资金支持.市场投放等因素都没成功.所以他对自己的总结是:"这不是我擅长的,我的定位点是是踏实做技术." 2010年,看到正明(章文

是如何做到系统无缝迁移的? 褚霸详解阿里云数据库架构演进和实践

摘要:阿里云数据库从最初的只支持MySQL,到现在支持关系数据库.NoSQL.HTAP.EMR产品体系,在管控系统和数据链路上做了好几次重大架构迭代,云产品很长的生命周期里面会遇到新老架构共存,如何做到架构连续和系统无缝迁移是个很大的挑战, 本文将为你分享云数据库架构演进和实践. 以下内容均根据演讲PPT整理而成. 在2016年ArchSummit全球架构师北京峰会上,阿里云研究员余锋,做了题为<云数据库架构演进和实践>的精彩演讲. 个人简介:余锋(花名:褚霸),阿里云研究员,有超过18年的网

从运维的角度分析使用阿里云数据库RDS的必要性--你不应该在阿里云上使用自建的MySQL/SQL Server/Oracle/PostgreSQL数据库

开宗明义,你不应该在阿里云上使用自建的MySQL or SQL Server数据库,对了,还有Oracle or PostgreSQL数据库. 云数据库 RDS(Relational Database Service)是一种稳定可靠.可弹性伸缩的在线数据库服务.基于飞天分布式系统和全SSD盘高性能存储,支持MySQL.SQL Server.PostgreSQL和PPAS(高度兼容Oracle)引擎,默认部署主备架构且提供了容灾.备份.恢复.监控.迁移等方面的全套解决方案. 当然,并不是指所有用户

解读阿里云数据库团队如何打通OLAP和OLTP任督二脉

本文由Postgres中国区主席.阿里云数据库专家萧少聪所写. 发布会回顾:点此进入 话题讨论:联姻Greenplum的HybridDB,是否能挑战AWS Redshift的霸主地位? 以下为文章正文: 2016年我们可以看到,越来越多的互联网企业及新型的创业公司都已经开始基于云计算实现IT架构.阿里云在当前已经实现了平台化作为商业模式.简单来说,阿里云主要提供网络.计算.存储等服务,并以此来吸引 PaaS 和 SaaS 类的合作伙伴,同时自身又扮演者"应用超市"的角色,将自家及合作伙

时代从此划分 阿里云数据库POLARDB发布

本文讲的是时代从此划分 阿里云数据库POLARDB发布[IT168 云计算]在企业数据容量环式增长时代,数据库容量小.存储空间扩展缓慢.性能不足,以及扩容升级慢等问题渐显,传统数据库显然已难以支撑诸如物联网.新金融.新零售.新制造.电信等高吞吐场景业务的快速发展. 一场以人类社会数据暴涨驱动的互联网基础设施进化随之而来. 在2017杭州云栖大会前夕的9月21日,阿里云正式发布了自研新一代商用关系型云数据库POLARDB,该数据库采用第三代分布式共享存储架构,创新实现企业级OLTP与OLAP一体化

阿里云数据库CloudDBA智慧解决数据库性能优化和问题诊断难题

背景 我要申请CloudDBA免费体验     阿里云数据库为何推出CloudDBA?问题诊断(trouble shooting) 和 性能优化(performance tunning) 一直都是数据库领域的专业问题,需要资深DBA的专业技能才能胜任解决,但这样的人才是稀缺的,无法及时满足大部分的企业紧急需求.如果有一款产品能够在大多数情况下,客户借助它非常迅速的找出数据库性能隐患点.排查出问题症结所在,这将无疑协助客户解决燃眉之急,可以大大降低风险和提高效率.        先来分析下为什么数

阿里云数据库,破解大型网站架构设计中的数据存储难题

摘要:3月10日,2017阿里云网站行业热点问题和解决方案线下研讨会在上海举行.在本次研讨会上,阿里云数据库团队产品专家王义成(花名挚尤)针对于大型网站的数据库架构设计以及阿里云ApsaraDB所提供的服务管理和解决方案进行了深入介绍. 分享者简介:王义成(花名挚尤),阿里云数据库团队产品专家,负责阿里云NoSQL数据库的产品规划.加入阿里巴巴近5年的时间,参与过多种云数据库的产品设计工作.目前主要负责阿里云的MongoDB.Redis以及MemCache产品,旨在为广大客户提供安全可靠的数据库