DBA不失业:云时代的数据库性能优化全攻略

性能问题是数据库中最重要也是最迫切要解决的问题之一,随着业务的发展和数据的不断加增,用户对于系统的响应速度的要求越来越高。而归根结底就是要提高数据库系统的性能。对于大部分的DBA来说,性能优化并不是一件容易的事情,造成性能问题的原因多种多样,在现实中,优化过程也会受到重重阻碍,随着云时代的到来以及自动化智能化运维的发展,那么云时代的DBA该如何优化数据库的性能呢?

在今年的数据技术嘉年华上,我们邀请了来自国内外各大企业的性能优化专家,从不同的角度分析云时代数据库性能优化的技术与技巧。

重点嘉宾与主题抢先一览。

传统优化技术与方法

我们知道,数据库绝大多数的性能问题都可以归结到SQL的问题,一般的性能问题经过SQL的改写都能获得较好的性能提升。我们邀请到了来自云和恩墨的资深性能优化专家黄廷忠,就SQL优化尤其是子查询优化方面,分享他在电信行业的优化经验与最佳实践。

子查询是SQL中常见的一种写法。对于优化器来说,子查询是较难优化的部分,无论是开发人员还是 DBA,都应当持续深入的学习 SQL 开发技能,从而为解决性能问题打下根基。本次分享将通过实践案例来跟大家一起学习 OR 与子查询一起使用的 SQL 语句改写。

推荐阅读:

性能为王:SQL标量子查询的优化案例分析

工具与平台自动优化

除了手动进行SQL优化,美团DBA还开发了SQL优化工具 SQL advisor,将优化技巧迁入到工具中,提高效率。大会邀请了来自美团点评的技术专家龙雪刚带来的“SQL优化利器之SQLAdvisor”主题分享。

索引优化是常用的SQL优化方式之一,往往可以在短时间内产生非常巨大的效果。如果能够将索引优化工作转化成工具化、标准化的流程,减少人工介入,无疑会大大提高工作效率。如果结合线上实际情况,实时分析,绝对是线上性能保驾护航的利器。于是,SQLAdviosr来了。

推荐阅读:

智能运维:美团SQL Advisor的自动化SQL优化实现

阿里巴巴技术团队在数据库性能优化方面不断摸索与尝试,并推出了CloudDBA智能化运维产品,将技术专家的运维智慧和经验凝聚成产品的规则引擎,并利用机器学习学习算法为产品导入智能化模块,从而将大量的数据库的诊断分析和优化工作都自动完成,不仅将DBA从繁冗的工作中解救出来,还能够帮助企业数据库快速上云。

来自阿里巴巴的资深技术专家王佳毅带来的“永不停止的脚步-数据库优化之路”主题分享。

双十一即将到来,在历年千亿电商流量的冲击下,阿里巴巴的数据库整体表现完美。完美表现的背后,隐藏着数据库团队对技术的执着追求。这是一个什么样的团队,他们究竟做了什么,是什么支持着双十一这一全民狂欢的数字一次次突破?本次分享,将以一个亲历者的角度来给大家揭开双十一背后,阿里巴巴数据库团队的神秘面纱。

而来自产品部的胡航丽专家则就CloudDBA智能运维与优化平台展开分享。

数据库诊断优化是提高数据库性能和稳定性的关键技术之一。过去几年阿里巴巴集团数据库规模急剧增长并且业务变化越来越快,传统DBA人工加工具的诊断和优化方法在规模如此之大,业务场景如此复杂的今天面临极大的挑战。
阿里巴巴数据库技术事业部近几年在智能数据库诊断优化方面有一些探索和实践,也有不少经验和教训,分享我们团队对于“自诊断,自优化”智能数据库诊断优化系统的思考。

推荐阅读:

阿里云数据库CloudDBA的自动运维与智能优化探索

开发运维一体化从源头优化

我们都知道,在数据库运维与优化中,最难的部分往往不是技术的问题,DBA能够发现问题,但由于管理等方面的因素而很难从根本上解决问题。而随着SQL审核的引入,变完美地解决了这一问题。SQL审核与优化,通过将对数据库最熟悉的DBA参与到应用的开发与上线的过程中,让DBA走向开发前端,将数据库的性能问题从根源上杜绝。

SQL审核与优化,是DevOps在数据库领域落地的最佳实践。

本次大会还有SQL审核专家张中靖、罗海雄带来的分别针对开发与运维的SQL审核优化经验的分享。

SQL审核的重要性已得到认可,但面向数据库的SQL审核方式存在效率低、定位源头困难的问题。为此,我们另辟奇径、直接从应用程序上审核SQL代码,从而精准定位问题SQL所在。

ORACLE RAC 凭借其卓越的高可用性和可扩展性,成为众多行业核心系统和重要系统的首选架构。然而由于 RAC 集群架构本身的复杂性,其部署和运维过程中,遇到的问题也非常多,特别是一些复杂的性能问题,给运维部门带来不小的压力。

来自云和恩墨自身技术专家曾令军带来的“RAC 性能优化实战”主题分享。

本次主题就是结合自己这些年在运维一线作战积累的一些经验,与大家共同探讨,RAC 环境下的性能优化实战。

自上而下千百倍性能提升

说到性能优化,必然要谈到Oracle的RWP(真实世界的性能优化)团队,据Andrew在一次采访中到,他们多年来一直在致力于做重要的事,目标是让系统获得千倍的性能提升,这才是真正的Real World Performance 团队的宗旨。

这一次,他们将多年的性能优化经验集成到产品中并自动实现,这就是传说中的18c 数据库的自我优化功能!

在本次大会上,RWP团队将带来三个场次的主题分享,精彩内容抢先一览:

主会场分享:(11月17日上午)


分享主题简介

Topic: Where is the industry going in the autonomous database era 

主题:自治数据库时代,这个行业的未来在哪里

Intro: Oracle announced the world’s first "self-driving" database in the last OOW. Self-driving database had been the extreme goal of the industry. Oracle company just once more lead the industry trend. And the database performance experience from Oracle Real-World Performance team is of course built into the self-driving database. 

不鸣则已,一鸣惊人。在前不久的Oracle Open World大会上,Oracle公司整了个大动静,推出了世界上首款自治数据库。自治数据库,是整个行业多年来一直追求的终极目标。Oracle公司此次先人一步,再一次引领了行业发展的趋势,Oracle Real-World Performance团队多年的数据库优化经验自然也贯穿其中。

Is the self-driving database reliable? Where is the industry going? Welcome to the ACOUG database carnival, and see what the Oracle Real-World Performance team’s VP will say. 

自治数据库靠谱吗?整个行业未来的发展趋势将会是怎样?欢迎您来到数据技术嘉年华现场,听听Oracle Real-World Performance团队的VP怎么说。

云时代的数据实践分会场分享(11月17日下午)

分享主题简介

Topic: 

  1. SQL performance in the autonomous database era (1 hour, by Cary, Christine)
  2. Panel (1 hour, by Andrew, Cary, Christine)
  3. 自治数据库时代的SQL优化
  4. 数据库性能优问题化现场讨论

What does the world’s first autonomous database look like? How do the Oracle Real-World Performance(RWP)team work on the SQL performance, and how did they build their experience into the world’s first autonomous database? Welcome to the RWP session in the ACOUG database carnival event, and listen to the SQL performance case analysis from the RWP team, as well as their story with the world’s first autonomous database. 

世界上首款自治数据库长什么样?Oracle Real-World Performance(RWP)团队是怎样进行数据库性能优化,怎样将他们的经验融入到世界上首款自治数据库中的?欢迎您来到ACOUG嘉年华的RWP专场,聆听RWP团队的SQL优化案例分享,以及他们与世界上首款自治数据库之间的那些事。

RWP专场技术座谈(11月17日下午):

Great benefit,  during the second hour of the RWP session, the RWP VP, Andrew Holdsworth, will be with the RWP local team members, Cary and Christine, discussing database performance.  It’s a very good opportunity for you to discuss your performance problems. 

现场将会奉上大福利,RWP专场的第二节,RWP团队的VP Andrew Holdsworth 将会与RWP团队的本地同事董志平(Cary),曲卓(Christine)一起,就大家关心的性能优化方面的问题进行现场讨论

三场主题分享,为你全面揭晓18c自治数据库背后的技术实现原理,并与大家一起探讨自治数据库的时代,DBA行业的发展方向。

原文发布时间为:2017-11-5

时间: 2024-08-29 12:51:14

DBA不失业:云时代的数据库性能优化全攻略的相关文章

MySQL性能优化全攻略-相关数据库命令

我们要讨论的是数据库性能优化的另一方面,即运用数据库服务器内建的工具辅助性能分析和优化. ▲ SHOW 执行下面这个命令可以了解服务器的运行状态: mysql >show status; 该命令将显示出一长列状态变量及其对应的值,其中包括:被中止访问的用户数量,被中止的连接数量,尝试连接的次数,并发连接数量最大值,以及其他许多有用的信息.这些信息对于确定系统问题和效率低下的原因是十分有用的. SHOW命令除了能够显示出MySQL服务器整体状态信息之外,它还能够显示出有关日志文件.指定数据库.表.

【推荐】 RAC 性能优化全攻略与经典案例剖析

在近期的第七届数据技术嘉年华上,云和恩墨技术专家曾令军做了"RAC性能优化实战"为主题的演讲,分享了从硬件架构.系统与参数配置.应用设计以及工作负载管理这四个层面,剖析在RAC性能优化的过程中,应当注意的问题以及可以借鉴的经验和思路.我们再次分享出来,希望对各位有所指导借鉴. RAC硬件架构 "千尺之台,始于垒土",硬件架构是决定RAC环境运行性能最基础的部分.下面是一个比较简单的RAC架构拓扑图,一个存储.两台主机.三条网络,构成了一套RAC环境. 用户通过业务网

Web前端性能优化全攻略

Web 前端性能优化是个大话题,是个值得运维人员持续跟踪的话题,是被很多网站无情忽视的技术. Web 前端优化最佳实践之 内容篇Web 前端优化最佳实践之 Server 篇Web 前端优化最佳实践之 Cookie 篇Web 前端优化最佳实践之 CSS 篇Web 前端优化最佳实践之 JavaScript 篇Web 前端优化最佳实践之 图象篇Web 前端优化最佳实践之 Mobile(iPhone) 篇 Yahoo! 的 Exceptional Performance team 在 Web 前端方面作

MySQL性能优化全攻略-服务器参数调整

正确的编译方法固然重要,但它只是提高MySQL服务器性能工作的一部分.MySQL服务器的许多参数会影响服务器的性能表现,而且我们可以把这些参数保存到配置文件,使得每次MySQL服务器启动时这些参数都自动发挥作用.这个配置文件就是my.cnf. MySQL服务器提供了my.cnf文件的几个示例,它们可以在/usr/local/mysql/share/mysql/目录下找到,名字分别为my-small.cnf.my-medium.cnf.my-large.cnf以及my-huge.cnf.文件名字中

云时代下的性能优化&运维实践之路

此篇分享有两位阿里技术专家带来满满的干货,第一个要点是,阿里集团对外提供移动开放平台百川码力APM帮助用户解决设备.网络.环境覆盖难的实际困难.信息不准确.不完整,沟通成本高,网络性能手工埋点代码散乱难维护通过分析详情,检测崩溃,捕获信号,网络拓扑,网络检测等等一系列方法得到解决.第二个要点,服务端性能管理的实践,通过基础数据.拓扑数据.调用链数据分析,异常分析,告警这些方式监控管理,更有大牛结合天猫典型案例进行分析.实现复杂需要逐一适配不同容器和框架这是它付出的代价,在数据采集全异步.严格控制

阿里云数据库CloudDBA智慧解决数据库性能优化和问题诊断难题

背景 我要申请CloudDBA免费体验     阿里云数据库为何推出CloudDBA?问题诊断(trouble shooting) 和 性能优化(performance tunning) 一直都是数据库领域的专业问题,需要资深DBA的专业技能才能胜任解决,但这样的人才是稀缺的,无法及时满足大部分的企业紧急需求.如果有一款产品能够在大多数情况下,客户借助它非常迅速的找出数据库性能隐患点.排查出问题症结所在,这将无疑协助客户解决燃眉之急,可以大大降低风险和提高效率.        先来分析下为什么数

阿里云推出CloudDBA,解数据库性能优化难题

本文讲的是阿里云推出CloudDBA,解数据库性能优化难题[IT168 资讯]问题诊断(trouble shooting) 和 性能优化(performance tunning) 一直都是数据库领域的专业问题,需要资深DBA的专业技能才能胜任解决,但这样的人才是稀缺的,无法及时满足大部分的企业紧急需求.如果有一款产品能够在大多数情况下,用户借助它能非常迅速的找出数据库性能隐患点.排查出问题症结所在,这将无疑协助用户解决燃眉之急,可以大大降低业务风险和提高效率. 在上周发布性能超越Aurora的自

YunTable—云时代的数据库

YunTable-云时代的数据库 吴朱华 1.云计算时代的数据库 2.YunTable的简介和设计 3.NoSQL产品之间的比较 4.YunTable的使用场景 5.YunTable今后的规划 temp_12111209536537.ppt

历年双11实战经历者:我们是如何做数据库性能优化及运维-CloudDBA和天象

8月24日阿里云数据库技术峰会上,阿里云高级DBA专家玄惭带来面对超大规模的数据库集群,尤其是在每年像双11这样重大促销活动中,阿里云是如何进行运维和优化的.本文主要介绍了天象和CloudDBA两个产品,包括他们的起源.基于系统画像仓库的应用.产品化等,最后对RDS产品的可诊断性建设和可运维性建设作了补充.   随着云数据库时代的到来,它的运维体系不仅仅包括保持数据库集群的稳定,同时我们还要关注用户体验.在业务上,体量大,用户各类,例如有公有云小客户,也有企业大客户,每类客户的需求都各式不一,众