MySQL 5.7下InnoDB对COUNT(*)的优化

0、导读

饱受诟病的InnoDB表COUNT(*)性能问题在5.7下做了优化,果真如此吗?

1、经典需求:InnoDB表COUNT(*)

InnoDB引擎表经常被抱怨执行COUNT(*)的效率太差,因此此类需求通常会被建议用其他方法来满足,比如另外加一个计数器表,或者用SHOW TABLE STATUS查看大概数量。

不过,从MySQL 5.7.2起,这个问题得到了解决,我们来看看。

2、MySQL 5.7版本InnoDB对COUNT(*)的优化

MySQL每发布一个新版本,都会放出相应的Release Notes,我们注意到5.7.2版本的发布说明中提到:

InnoDB: SELECT COUNT(*) FROM t statements now invoke a single handler call to the storage engine to scan the clustered index and return the row count to the Optimizer. Previously, a row count was typically performed by traversing a smaller secondary index and invoking a handler call for each record. A single handler call to the storage engine to count rows in the clustered index generally improves SELECT COUNT(*) FROM t performance. However, in the case of a large clustered index and a significantly smaller secondary index, performance degradation is possible compared to performance using the previous, non-optimized implementation. For more information, see Limits on InnoDB Tables.

简单地说就是:COUNT(*)会选择聚集索引,进行一次内部handler函数调用,即可快速获得该表总数。我们可以通过执行计划看到这个变化,例如:

很明显,在查询优化器阶段就已经得到优化了,相比效率应该杠杠的吧,我们稍后再来对比看看。

补充说下,5.7以前的版本中,COUNT(*)请求通常是:扫描普通索引来获得这个总数。也来看看5.6下的执行计划是怎样的:

可以看到,可以利用覆盖索引来完成COUNT(*)请求。

3、对比测试

先看一组测试数据:


count(*)对比测试


MySQL 5.6.33


MySQL 5.7.15


相差


表数据量


8976914


9000270


100.26%


耗时(秒)


5.459952


1.142340


20.92%

可以看到,两次数据量相当,但SQL耗时5.7约只有5.6的1/5,这个效率还是不错的吧。

我们来看看5.6和5.7版本下的status和profiling对比情况:

4、别高兴得太早

看完上面的对比测试,相信您已经心动了吧,但还别高兴得太早哦,官方文档里其实埋了一个伏笔:

InnoDB: SELECT COUNT(*) FROM t statements now invoke a single handler call to the storage engine to scan the clustered index and return the row count to the Optimizer. Previously, a row count was typically performed by traversing a smaller secondary index and invoking a handler call for each record. A single handler call to the storage engine to count rows in the clustered index generally improves SELECT COUNT(*) FROM t performance. However, in the case of a large clustered index and a significantly smaller secondary index, performance degradation is possible compared to performance using the previous, non-optimized implementation. For more information, see Limits on InnoDB Tables.

简言之,就是说如果聚集索引较大(或者说表数据量较大),没有完全加载到buffer pool中的话,有可能反而会更慢,还不如用原先的方式。

下面我们来测试下,读取tpcc测试表stock,该表有1亿行记录,表空间文件约65GB,而innodb buffer pool只分配了12G,这时候再看下对比数据:


count(*)对比测试


MySQL 5.6.33


MySQL 5.7.15


相差


表数据量


1亿


1亿


0.00%


耗时(秒)


693.66


5331.69


768.63%

在这种情况下,5.7版本反而慢的夸张,悲剧啊~

那么在5.7下的大表,有没有办法仍旧采用以前的方法来做COUNT(*)统计呢。当然可以了,我们可以强制指定普通索引,不过还需要加上WHERE条件,否则还是不行。后来搜了下,发现这是个bug,印风(zhaiwx)已经报告给官方了,bug id:81854。
这次的SQL执行耗时和在5.6下的就基本一样了。

4、后记

5.7版本整体挺赞的,不过还是有不少地方需要完善,期待能更成熟起来。

参考

1. MySQL 5.7.2 Release Notes:http://dev.mysql.com/doc/relnotes/mysql/5.7/en/news-5-7-2.html

2. Limits on InnoDB Tables:http://dev.mysql.com/doc/refman/5.7/en/innodb-restrictions.html

文章转自老叶茶馆公众号,原文链接: https://mp.weixin.qq.com/s/x74ix7k6eT583pR6iGyO6Q

时间: 2024-07-31 13:36:56

MySQL 5.7下InnoDB对COUNT(*)的优化的相关文章

MySQL异常恢复之无主键情况下innodb数据恢复的方法_Mysql

本文讲述了MySQL异常恢复之无主键情况下innodb数据恢复的方法.分享给大家供大家参考,具体如下: 在mysql的innodb引擎的数据库异常恢复中,一般都要求有主键或者唯一index,其实这个不是必须的,当没有index信息之时,可以在整个表级别的index_id进行恢复 创建模拟表-无主键 mysql> CREATE TABLE `t1` ( -> `messageId` varchar(30) character set utf8 NOT NULL, -> `tokenId`

数据库-Windows下mysql运行慢(innodb)

问题描述 Windows下mysql运行慢(innodb) mfc通过ADO连接mysql,开启连接数为50个. 已经设置过innodb_flush_log_at_trx_commit为2,innodb_buffer_pool_size为1G 目前问题: 1.数据库慢日志时限1s,持续增多,但是查看慢日志,里面只是简单的insert或者是updata语句,很简单的那种,提出来单独运行时间又是0.0x,不明白什么原因. 2.连续执行100+的语句,在程序内的循环,每一个都是一个updata,但是运

【案例】MySQL count操作优化案例一则

一 背景  某业务的数据库定期报 thread_runing 飙高,通定位发现一个慢查询sql导致会话堆积.执行sql 耗时如下 root@db 05:32:05>select count(item_id) from xxxtable where selid = 345705650 and end_time > now(); +----------------+ | count(item_id) | +----------------+ | 2247052 | +---------------

浅谈MySQL存储引擎选择 InnoDB与MyISAM的优缺点分析_Mysql

下面先让我们回答一些问题: ◆你的数据库有外键吗? ◆你需要事务支持吗? ◆你需要全文索引吗? ◆你经常使用什么样的查询模式? ◆你的数据有多大? 思考上面这些问题可以让你找到合适的方向,但那并不是绝对的.如果你需要事务处理或是外键,那么InnoDB 可能是比较好的方式.如果你需要全文索引,那么通常来说 MyISAM是好的选择,因为这是系统内建的,然而,我们其实并不会经常地去测试两百万行记录.所以,就算是慢一点,我们可以通过使用Sphinx从InnoDB中获得全文索引. 数据的大小,是一个影响你

mysql更改表引擎INNODB为MyISAM的方法总结

常见的mysql表引擎有INNODB和MyISAM,主要的区别是INNODB适合频繁写数据库操作,MyISAM适合读取数据库的情况多一点,如何把表引擎INNODB更改为MyISAM呢? 使用以下mysql sql语句,可以给表设定数据库引擎: ALTER TABLE `wp_posts` ENGINE = MyISAM; 在需要使用mysql的全文索引(FULLTEXT index)的时候,这张表的数据库引擎必须是MyISAM类型.关于INNODB为MyISAM数据库引擎有什么具体区别 例子 修

【MySQL】Linux下MySQL 5.5、5.6和5.7的RPM、二进制和源码安装

  [MySQL]Linux下MySQL 5.5.5.6和5.7的RPM.二进制和源码安装   1.1  BLOG文档结构图       1.2  前言部分 1.2.1  导读和注意事项 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① MySQL的二进制安装过程(重点) ② MySQL多实例管理(mysqld_multi) ③ MySQL的源码编译安装过程 ④ Linux的逻辑卷的使用 ⑤ 文件的MD5值 ⑥ 访问MySQL的几种客

浅析一个MYSQL语法(在查询中使用count)的兼容性问题

本篇文章是对MYSQL语法(在查询中使用count)的兼容性问题进行了详细的分析介绍,需要的朋友参考下   简单来说就是在查询中使用count以及更多字段 复制代码 代码如下: select count(id),id,name from table  很尴尬的,我的环境是5.5的,这个是能获取到结果的,但是运行到服务器就不行了 好吧,报了一个错误 复制代码 代码如下: #1140 - Mixing of GROUP columns (MIN(),MAX(),COUNT(),...) with n

mysql(表:InnoDB,无索引),批量插入50万条记录后,越来越慢。

问题描述 mysql(表:InnoDB,无索引),批量插入50万条记录后,越来越慢. 插入10000条,已用时0秒 插入20000条,已用时2秒 插入30000条,已用时3秒 插入40000条,已用时3秒 插入50000条,已用时4秒 插入60000条,已用时5秒 插入70000条,已用时6秒 插入80000条,已用时7秒 插入90000条,已用时8秒 插入100000条,已用时9秒 插入110000条,已用时11秒 插入120000条,已用时12秒 插入130000条,已用时13秒 插入140

MySQL 5.7: Innodb read view在只读场景的优化

额,这个标题有点大,实际上只是我在测试5.7性能过程中遇到的一个问题的解惑.不包含5.7的全部read view优化 ---– 最近在测试MySQL5.7的只读性能时,和5.6版本对比,发现一个有趣的现象,即在我们的内部版本5.6里,trx_sys->mutex排名第一,而5.7版本则几乎完全看不到该mutex,测试的负载也比较简单,sysbench,使用auto-commit的pk查询 先来看看performance schema的输出: MySQL5.6.16( heavily patche