阿里巴巴张瑞谈面向未来的数据库架构

本文讲的是阿里巴巴张瑞谈面向未来的数据库架构【IT168 评论】国内最受关注的数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)将于2017年5月11-13日如约而至。本届大会以“数据驱动?价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。大会共设定2大主场和20个技术专场,将吸引5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。

  (更多大会精彩:http://tech.it168.com/topic/2017/5-10/DTCC2017/)

在大会上,来自阿里巴巴集团研究员张瑞带来了《面向未来的数据库体系架构的思考》的精彩分享。据张瑞介绍,目前,阿里数据库技术团队正在建设阿里下一代数据库技术体系,希望能够把阿里的成果、踩过的坑以及面向未来思考介绍和与会者做一些深入的探讨,能够为中国数据库技术的发展出一份力。

  阿里巴巴集团研究员张瑞

据了解,AliSQL 是基于 MySQL 官方版本的一个分支,由阿里云数据库团队维护,目前也应用于阿里巴巴集团业务以及阿里云数据库服务。AliSQL 版本在强度和广度上都经历了极大的考验。最新的 AliSQL 版本不仅从其他开源分支比如Percona,MariaDB,WebScaleSQL 等社区汲取精华,也沉淀了阿里巴巴多年在 MySQL 领域的经验和解决方案。AliSQL 增加更多监控指标,并针对电商秒杀、物联网大数据压缩、金融数据安全等场景提供个性化的解决方案。

以电商的秒杀场景为例,对数据库而言,就是对一条记录的更新,因为事务的特点,单条记录的更新必须串行完成,但秒杀的特点,就是在某个时刻,大量的并发进行减库存,这就造成了大量的线程因获取不到锁而处在死锁检测状态,消耗了大量的CPU资源,最终导致系统无法响应,而引起雪崩效应。AliSQL针对这样的场景,提供了排队和限流的功能,经过了双11零点时刻高并发请求的考验,保持了系统的稳定性和持续吞吐能力。

对于未来,数据库技术应该不仅在数据库内核技术上创新,还应该实现数据库的弹性调度以及如何从自动化走向智能化。

在谈到数据库内核技术创新上,张瑞首次谈到了AliSQLX-Cluster (基于三副本Paxos/Raft协议的AliSQL),在性能上同城三副本与单机性能持平,并且可以异地部署,延时增加,但保持了高吞吐,同时具备网路抖动高容忍性。

从X-Cluster与MySQL Group Replication的对比测试(同IDC)中不难看出,在三节点同IDC部署,sysbench标准化测试 Insert场景,X-Cluster是MySQL GR 的2.4倍。  

在异地对比测试中,三节点三地部署,sysbench标准化测试 Insert场景,X-Cluster(5.04万)是MySQL GR(0.85万)的5.94倍;响应延时X-Cluster(58ms)是MySQL GR(150ms)的38%。

对于自动数据生命周期管理,AliSQL依托热数据存储InnoDB引擎和冷数据存储RocksDB引擎实现了多引擎实现自动冷热数据分离。

众所周知,要想实现弹性调度的量大基础挑战是:容器化和计算存储分离。据张瑞介绍,AliSQL支持物理机、VM、Docker,可以保证容器性能与物理机持平,并且DB与其他应用混部,提升CPU利用率。

在存储计算分离上,由于25G网络,RDMA,SPDK等技术的发展,让大规模存储计算分离成为可能。通过数据库优化,减少网络IO,变离散IO为顺序IO,降低网络延迟带来的性能影响。与此同时,共享存储池,提升存储利用率。通过Erasure Code技术,降低副本数。

可以说,AliSQL是伴随着业务的发展一起成长起来的,经历过双11大促这样大压力的考验,同时也经历了阿里云各行各业用户差异化的需求,已是身经百战。

原文发布时间为:2017-05-11

本文作者:张存

原文标题:阿里巴巴张瑞谈面向未来的数据库架构

时间: 2024-12-08 13:48:13

阿里巴巴张瑞谈面向未来的数据库架构的相关文章

NetApp游庆洪:面向未来的IT基础架构予力客户用数据改变世界

 [51CTO.com原创稿件]在数字化转型的今天,数据已经成为仅次于能源资源的另一类重要财富,数据存储与管理系统也因此从幕后走到了台前.面对爆炸式增长的数据总量,如何对数据进行有效分析挖掘,以此来把握用户需求,抓住新商机,对存储系统提出了巨大的挑战.面对压力,企业必须充分利用新产品.新技术,不断升级完善存储架构,以高性能.高灵活性.高可用和高安全的存储系统来应对挑战,获取数据价值. 存储架构要面向未来,适应下一代数据中心需求 据IDC预测,截至2020年,全球数据量将以每两年翻一番的速度增长至

Fortinet发布“安立方”架构 面向未来完成安全“智慧升级”

6月16日,Fortinet(飞塔)发布"Fortinet Security Fabric"架构解决方案,并将其正式命名为:"安立方".作为能够实现从物联网到云计算无边界环境端到端防御的全新架构,Fortinet"安立方"从"无缝.智能.开放"三个维度,集成了信息安全技术最新的先进特性,通过收集本地及全球网络的威胁情报,实现面向未来企业安全防御体系的完美升级,协助用户从容应对不断变化的威胁挑战. Fortinet "

是如何做到系统无缝迁移的? 褚霸详解阿里云数据库架构演进和实践

摘要:阿里云数据库从最初的只支持MySQL,到现在支持关系数据库.NoSQL.HTAP.EMR产品体系,在管控系统和数据链路上做了好几次重大架构迭代,云产品很长的生命周期里面会遇到新老架构共存,如何做到架构连续和系统无缝迁移是个很大的挑战, 本文将为你分享云数据库架构演进和实践. 以下内容均根据演讲PPT整理而成. 在2016年ArchSummit全球架构师北京峰会上,阿里云研究员余锋,做了题为<云数据库架构演进和实践>的精彩演讲. 个人简介:余锋(花名:褚霸),阿里云研究员,有超过18年的网

云栖大会分享:买单侠的数据库架构之路

互联网金融行业快速发展的浪潮中,面对海量增长的数据,买单侠走出了自己的数据库架构之路. 本文是买单侠DBA负责人赵怀刚在杭州云栖大会上的分享,介绍了数据库运维中遇到的问题.基于阿里云平台数据库架构的演变和案例和云数据库运维的思考.图1 赵怀刚在分享 秦苍科技是一家专注于为年轻人提供消费分期服务互联网消费金融公司,目前有"买单侠"和"星计划"系列产品,"买单侠"面向中国年轻蓝领用户,提供移动端消费分期服务."星计划"为年轻女性用

什么样的云数据库架构选型才能做到安全,稳定又可靠?

摘要:从传统IT部署到云,人肉运维已经是过去式,云上运维该怎么开展?人工智能对于运维"威胁论"也随之袭来,如何去做更智能的活,当下很多运维人在不断思考和探寻答案.在2017运维/DevOps在线技术峰会上,阿里云数据库技术专家喜乐就为大家分享了对于云数据库的选型的考量和云数据库的使用经验以及对于云数据库未来的展望,精彩不容错过. 以下内容根据演讲视频以及PPT整理而成. 演讲者简介: 喜乐,阿里云数据库技术专家,2010年加入阿里巴巴,最近四年时间一直在数据库技术组,专注于云数据库的业

映客直播技术实战:直播平台的数据库架构演变

摘要:8月24日,阿里云数据库技术峰会到来,本次技术峰会邀请到了阿里集团和阿里云数据库老司机们,为大家分享了一线数据库实践经验和技术干货.在本次峰会上,特邀嘉宾映客直播架构师王振涛分享了映客直播作为创业公司从0至日活千万的数据库架构变迁,数据库在直播中的经典应用场景,数据库存储的优化思路,以及如何构建一个高可用数据库架构. 以下内容根据演讲嘉宾现场视频以及PPT整理而成. 本次分享的内容将主要围绕以下四个部分: 一.映客直播发展历程 二.直播遇上云数据库 三.风口上的数据库架构变迁 四.直播典型

.NET Core:面向未来的开源跨平台开发技术

作为一种全新的开源和跨平台的开发平台,.NET Core 历经两年多的开发,终于在于2016年6月27日针对所有主流服务器和桌面操作系统发布了1.0 RTM 版本..NET Core是一种通用开发平台,它包含了自动内存管理和现代化高级开发语言等重要特性,这些都能让面向多个平台开发静态类型的高质量应用程序变得轻松..NET Core本身采用MIT协议开源,因此可以免费用于各种类型的商业和闭源项目. 全新的 .NET Core 不同于内置于Windows系列操作系统上的.NET框架,.NET Cor

NoSQL运动:数据库架构抉择

导读:Mike Loukides是O'Reilly传媒的内容战略副总裁,他对编程语言和UNIX系统管理非常感兴趣,著作有System Performance Tuning和Unix Power Tools. 在去年的一次谈话中,basho公司的CTO Justin Sheehy认为,NoSQL是一场运动,而非技术.我立刻深表赞同,因为以往关于NoSQL的探讨并不舒心. 那么,为什么说NoSQL是一场运动,而非技术呢?Justin的说法直截了当:之所以说NoSQL是一场运动,是因为这是对数据库架构

建设面向未来的网络基础设施

一些技术拐点正在从根本上改变在存储.公有云和私有云上构建.部署和运行数据中心网络的方式.随着用户转向新一代更加稳定的网络,思考模式也随之发生转变.今天,对于网络来说更重要的是在标准化的云架构中处理企业现 有的大量应用程序,如数据库驱动应用和Windows应用.随着最终用户和应用程序需求的 快速发展,催生 新的工作方法来建造数据中心网络.网络稳定性成为企业用户的关键考虑.498)this.w idth=498;' onmousewheel = 'javascript:return big(this