高性能的MySQL(8)优化服务器配置:I/O

有一些配置项影响着MySQL怎样同步数据到磁盘以及如何做恢复操作,这写操作对性能影响很大,因为都设计到昂贵的I/O操作,通常保证数据立刻并且一致的写到磁盘是很昂贵的,有的时候不得不冒一点险,延迟持久化到磁盘,来增加并发和减少I/O等待。

一、InnoDB I/O配置

对于常见的应用,InnoDB日志文件大小、InnoDB怎样刷新日志缓冲,以及怎样执行I/O比较重要。

a、InnoDB事务日志

InnoDB使用日志来减少提交事务时的开销,日志记录了事务,就无须在每个事务提交时把缓冲池刷新到磁盘中了。一旦日志安全写到磁盘,事务就持久化了,这是必须的,因为日志有固定的大小,而且是环形方式写,写到尾部,会重现跳到开头继续写。InnoDB使用一个后台线程智能刷新这些变更到数据文件。

整体的日志文件大小受控于innodb_log_file_size和innodb_log_files_in_group两个参数,默认情况下只有2个5MB的文件,对高性能工作来说,至少需要几百MB或者上GB。

要修改日志文件大小,必须完全干净的关闭MySQL,否则数据就无法恢复了,最好先备份旧的日志文件。

当InnoDB变更任何数据时,会写一条变更记录到内存日志缓冲区。在缓冲区满的时候,事务提交的时候,或者每一秒,InnoDB都会刷新缓冲区的内容到磁盘日志文件。如果有大事务,增加日志缓冲区(默认1MB)大小可以减少I/O,变量innodb_log_buffer_size控制,几十上百MB都可以。

作为一个经验法则,日志文件的全部大小,应该足够容纳服务器一个小时的活动内容。

当InnoDB把日志缓冲刷新到日志文件时,会先锁住缓冲区,刷新完成,移动剩下的条目到缓冲区前面。日志缓冲必须刷新到持久化存储,以确保提交的事务完全被持久化了。如果和持久相比更在乎性能可以修改innodb_flush_log_at_trx_commit来控制刷新频率,有如下的值

0:把日志缓冲写到日志文件,并且每秒刷新一次,但是事务提交时不做任何时。

1:把日志缓冲写到日志文件,并且每次事务提交都刷新到持久化存储。

2:每次提交时把日志缓冲写到日志文件,但是不刷新,InnoDB每秒做一次刷新。

在大部分操作系统中,把缓冲写到日志只是简单的把数据从InnoDB的内存缓冲转移到操作系统的缓存,么有真正的持久化。

把日志刷新到持久化存储意味着InnoDB请求操作系统把数据刷出缓存,并确认写到磁盘了,这是一个阻塞I/O的调用,知道数据被全部写完。

使用innodb_flush_method选项可以配置InnoDB如何跟踪文件系统相互作用。有如下几个值可以设置,但不一一介绍了。

1、fdatasync

2、0_DIRECT

3、ALL_0_DIRECT

4、0_DSYNC

5、还有几个windows下的配置。

InnoDB把数据保存到表空间内。配置表空间,通过innodb_data_file_path可以定制表空间文件,这写文件都放在innodb_data_home_dir指定目录下:

innodb_data_home_dir = /var/lib/mysql/

innodb_data_file_path = ibdata1:1G;ibdata2:2G;

为了允许表空间在超过了分配空间时还能增长,可以配置最后一个文件自动扩展

ibdata3:1G:autoextend:max:2G

限制最多扩展到2G。

管理一个单独的表空间有点麻烦,innodb_file_per_table选项可以让InnoDB为每张表使用一个文件。存储为”表名.ibd“的文件,这个在之前的分区技术里已经做过试验了,有实际的截图,大家可以看看。虽然易于管理,但是也有缺点:

每张表使用自己的表空间,移除表空间实际上需要InnoDB锁定和扫描缓冲池,查找属于这个表的空间的页面,在一个庞大的缓冲池主哦姑娘,这个非常慢。但是Percona Server有一个修复的选项 innodb_lazy_drop_table。

时间: 2024-08-23 23:14:43

高性能的MySQL(8)优化服务器配置:I/O的相关文章

高性能的MySQL(6)如何优化特定类型的查询

只要说明几种日常用到的查询可以优化的地方,只是特别的情况下可以使用,不要期望任何情况下都成立,优化是一个实践的漫长过程! 一.最大值和最小值优化 对于min()和max()查询,MySQL的优化并不是很好,比方说: select min(actor_id) from actor where first_name = 'Jane'; 因为first_name上没有索引,所以这个会扫描全表.如果MySQL能按主键扫描,那么第一个满足条件的记录就是要找的最小指了,因为主键是严格按照大小顺序排列的,一个

解开发者之痛:中国移动MySQL数据库优化最佳实践

 章颖数据研发工程师 现任中国移动杭州研发中心数据研发工程师,擅长MySQL故障诊断,性能调优,MySQL高可用技术,曾任中国电信综合平台开发运营中心DBA   开源数据库MySQL比较容易碰到性能瓶颈,为此经常需要对MySQL数据库进行优化,而MySQL数据库优化需要运维DBA与相关开发共同参与,其中MySQL参数及服务器配置优化主要由运维DBA完成,开发则需要从数据类型优化,索引优化,SQL优化三个角度考虑MySQL数据库优化问题,本次分享将从开发角度,看如何实现MySQL数据库优化. 本次

Mysql性能优化方案分享_Mysql

网上有不少mysql 性能优化方案,不过,mysql的优化同sql server相比,更为麻烦,同样的设置,在不同的环境下 ,由于内存,访问量,读写频率,数据差异等等情况,可能会出现不同的结果,因此简单地根据某个给出方案来配置mysql是行不通的,最好能使用status信息对mysql进行具体的优化. mysql> show global status; 可以列出MySQL服务器运行各种状态值,另外,查询MySQL服务器配置信息语句:mysql> show variables; 一.慢查询 m

【转载】低成本和高性能的MySQL云数据库的实现淘宝 MySQL

低成本和高性能的MySQL云数据库的实现 作者: 鸣嵩/曹伟(集团技术专家) 本文刊登于<程序员>杂志2012年12期上,转载请注明         UMP(Unified MySQL Platform)系统是淘宝核心系统数据库团队开发的低成本和高性能的MySQL云数据方案,关键模块采用Erlang语言实现.系统中包含了controller服务器.proxy服务器.agent服务器.API/Web服务器.日志分析服务器.信息统计服务器等组件,并且依赖于Mnesia.LVS.RabbitMQ.Z

MySQL · 性能优化 · SQL错误用法详解

前言 MySQL在2016年仍然保持强劲的数据库流行度增长趋势.越来越多的客户将自己的应用建立在MySQL数据库之上,甚至是从Oracle迁移到MySQL上来.但也存在部分客户在使用MySQL数据库的过程中遇到一些比如响应时间慢,CPU打满等情况.阿里云RDS专家服务团队帮助云上客户解决过很多紧急问题.现将<ApsaraDB专家诊断报告>中出现的部分常见SQL问题总结如下,供大家参考. 常见SQL错误用法 1. LIMIT 语句 分页查询是最常用的场景之一,但也通常也是最容易出问题的地方.比如

MySQL性能优化总结(转)

一.MySQL的主要适用场景 1.Web网站系统 2.日志记录系统 3.数据仓库系统 4.嵌入式系统 二.MySQL架构图:   三.MySQL存储引擎概述 1)MyISAM存储引擎 MyISAM存储引擎的表在数据库中,每一个表都被存放为三个以表名命名的物理文件.首先肯定会有任何存储引擎都不可缺少的存放表结构定义信息的.frm文件,另外还有.MYD和.MYI文件,分别存放了表的数据(.MYD)和索引数据(.MYI).每个表都有且仅有这样三个文件做为MyISAM存储类型的表的存储,也就是说不管这个

MySQL · 性能优化 · MySQL常见SQL错误用法

前言 MySQL在2016年仍然保持强劲的数据库流行度增长趋势.越来越多的客户将自己的应用建立在MySQL数据库之上,甚至是从Oracle迁移到MySQL上来.但也存在部分客户在使用MySQL数据库的过程中遇到一些比如响应时间慢,CPU打满等情况.阿里云RDS专家服务团队帮助云上客户解决过很多紧急问题.现将<ApsaraDB专家诊断报告>中出现的部分常见SQL问题总结如下,供大家参考. 常见SQL错误用法 1. LIMIT 语句 分页查询是最常用的场景之一,但也通常也是最容易出问题的地方.比如

mysql性能优化之索引优化_Mysql

作为免费又高效的数据库,mysql基本是首选.良好的安全连接,自带查询解析.sql语句优化,使用读写锁(细化到行).事物隔离和多版本并发控制提高并发,完备的事务日志记录,强大的存储引擎提供高效查询(表记录可达百万级),如果是InnoDB,还可在崩溃后进行完整的恢复,优点非常多.即使有这么多优点,仍依赖人去做点优化,看书后写个总结巩固下,有错请指正. 完整的mysql优化需要很深的功底,大公司甚至有专门写mysql内核的,sql优化攻城狮,mysql服务器的优化,各种参数常量设定,查询语句优化,主

详解MySQL性能优化(一)_Mysql

一.MySQL的主要适用场景1.Web网站系统 2.日志记录系统 3.数据仓库系统 4.嵌入式系统 二.MySQL架构图:   三.MySQL存储引擎概述 1)MyISAM存储引擎 MyISAM存储引擎的表在数据库中,每一个表都被存放为三个以表名命名的物理文件.首先肯定会有任何存储引擎都不可缺少的存放表结构定义信息的.frm文件,另外还有.MYD和.MYI文件,分别存放了表的数据(.MYD)和索引数据(.MYI).每个表都有且仅有这样三个文件做为MyISAM存储类型的表的存储,也就是说不管这个表

MySQL性能优化_Mysql

1. 简介 在Web应用程序体系架构中,数据持久层(通常是一个关系数据库)是关键的核心部分,它对系统的性能有非常重要的影响.MySQL是目前使用最多的开源数据库,但是MySQL数据库的默认设置性能非常的差,仅仅是一个玩具数据库.因此在产品中使用MySQL数据库必须进行必要的优化.优化是一个复杂的任务,本文描述MySQL相关的数据库设计和查询优化,服务器端优化,存储引擎优化. 2. 数据库设计和查询优化 在MySQL Server性能调优中,首先要考虑的就是Database Schema设计,这一