MySQL metadata lock的前世今生(5.1=>5.7)

最近有同事经常问到一些metadata lock相关的问题,就顺便理一下吧,主要是整理下相关的连接和文档,标题写的有点大 

——————————–

最初为了解决著名的bug#989,在MySQL5.5中开始引入了meta data lock;mdl允许一个事务涉及到的表、库信息直到事务结束都被维持,这样如果一条事务内的某个STATEMENT完成后,其他session发出一条DDL就会被阻塞;这解决了DDL/DML并发导致的复制中断问题。

不过用过5.5的人都知道,这玩意儿实际上太令人讨厌了,尤其是那阴魂不散的“wait for global read lock”或者“wait for table lock”之类的。当备份时的大查询,再来个DDL,哐当~故障发生..直接堵死…

在我们的内部alisql-5.5版本中,我们使用的是和facebook类似的办法(好吧,就是我直接从fb port过来的),即增加接口替换掉flush tables with read lock, 只创建一个read view ,外加返回当前binlog位点;另外percona也实现了一种类似的办法来绕过ftwrl,具体点击文档连接以及percona的博客, 不展开说了。

MDL解决了bug#989,却引入了一个新的热点,所有的mdl对象由于存到全局对象里;对于热点,最正常的想法当然是对其进行分区,不过这也是Mark Callaghan在report了bug#66473后才加入的,当时Mark观察到MDL_map::mutex的锁竞争非常高,进而推动官方改变;

MySQL5.6.8版本,引入了新参数metadata_locks_hash_instances来控制对mdl hash的分区数(Rev:4350);

Oracle的QA dimitrik 对该特性的评测

不过后面的测试又发现哈希函数有问题,类似类似somedb.someprefix1….somedb.someprefix8的hash key值相同,都被hash到同一个桶下面了.相当于hash分区没生效。。。。坑!!具体怎么算的可以看bug#66473后面Dmitry Lenev的分析。

另外Mark也提出了质疑,innodb的hash计算函数比my_hash_sort_bin要更高效, Oracle的开发人员重开了个bug#68487来跟踪该问题,并在MySQL5.6.15对hash key计算函数进行优化,包括fix 上面说的hash计算问题(Rev:5459),使用MurmurHash3算法来计算mdl key的hash值,(有空看看几种hash函数到底哪个性能更好)

往后直到MySQL5.6.18版本都没有针对mdl部分的单独优化;很显然,后面也不会在5.6版本里出现了,因为mdl优化已经在5.7.4版本里展开了。包含3个worklog

1. WL#7304

简化DML操作对MDL锁的持有/释放;大体思路是把MDL锁拆分成两类,一类是DML的mdl(也成为unobtrusive lock),之间互相兼容,另一类是DDL的mdl(也称为obtrusive lock),与其他锁互斥;

针对DML的MDL,避免了复杂的锁检查和对m_waiting/m_granted链表的维护,改而使用计数器的方式来实现(称为fast-path);不过相应的对DDL的MDL锁的管理逻辑就变的复杂了。没有细看,貌似fast-path的mdl在遇到冲突时会进行转换,将其加入到m_granted列表中,并从m_fast_path_state移除

PATCH(Rev:7067Rev:7129

2. WL#7305

使用Lock free的hash对象来管理MDL;由于锁冲突被移除,因此metadata_locks_hash_instances及metadata_locks_cache_size在之后的版本中可能被弃用;

基本思路是使用LF_HASH(lock free hash, 而不是分区的hash)来实现MDL_MAP

PATCH(Rev:7249)

3. WL#7306

这个实际上是对WL#7304和WL#的进一步优化,针对dml的mdl锁(也就是所谓fast path),在检查冲突和释放时都需要施加m_rwlock锁,新的改进移除读写锁,改使用原子操作

PATCH(Rev:7586)

这三个worklog是在5.7.4版本中的主要影响性能的大改动之一,官方对MySQL5.7.4的测试数据,这部分的改进必然有所贡献。

后续的新的改进计划目前还没看到,现在worklog上的更新总要等到实现之后才会更新,让我们拭目以待吧…

时间: 2024-10-31 17:53:52

MySQL metadata lock的前世今生(5.1=>5.7)的相关文章

MYSQL METADATA LOCK(MDL LOCK)学习(1) 理论知识和加锁类型测试

原创,水平有限如有错误请指出共同探讨本文中某些结论性的东西我用黄色标记出来请大家多多留意一下另外我家二娃刚刚出生,大家祝福我一下吧.谢谢!^_^ 本文网址 http://blog.itpub.net/7728585/viewspace-2143093/ 源码版本:5.7.14注意MDL和DML术语的不同. 一.前言    MYSQL中MDL锁一直是一个比较让人比较头疼的问题,我们谈起锁一般更加倾向于INNODB下层的gap lock.next key lock.row lock等, 因为它很好理

【MySQL】MetaData Lock 之一

一 简介 和MySQL打交道比较多的朋友,肯定遇到过 "Waiting for table metadata lock"或者由于MDL导致的故障,不过本文介绍MDL锁之前 我们先看一个著名的bug#989 大致情况如下:  s1:   BEGIN;   INSERT INTO t ... ;   COMMIT; s2:   DROP TABLE t;然后上面的操作流程在binlog记录的顺序是   DROP TABLE t;  BEGIN;   INSERT INTO t ... ;

【MySQL】MetaData Lock 之二

一 简介   上一篇文章 <MetaData Lock 之一>  简单的介绍了MySQL 引入MDL 的前因后果,本文深入了解MDL的实现原理和运行机制.二 MDL 的类型  metadata lock也是一种锁.每个metadata lock都会定义锁住的对象,锁的持有时间和锁的类型.2.1 按照对象/范围划分 属性 含义 范围/对象 GLOBAL 全局锁 范围 COMMIT 提交保护锁 范围 SCHEMA 库锁 对象 TABLE 表锁 对象 FUNCTION 函数锁 对象 PROCEDUR

【MySQL】MetaData Lock 之三

一 简介  通过前面两篇文章的介绍,相信读到这里的各位对MDL 锁已经有了比较深入的了解了,本文将结合理论知识介绍几组MDL 锁的案例. 二 常见MDL 锁的场景1 Waiting for global read lock   我们先构造一个Waiting for global read lock场景:   session1: alter table t1 add c3 bigint; //大表执行需较长时间   session2: set global read only=on; //等待  

[MySQL 5.7 metadata lock] 测试

介绍: Metadata:事物内的表级锁 5.5开始引入进来,5.6.6前,事物开启后,会锁定表的meta data lock,其他会话对表有DDL操作时,均需要等待DML释放后方可继续.5.6.6后,不再阻塞其他会话执行的DDL,但原来的会话再次访问数据表时,会有error提示:table definition has changed , please retry transaction 是想要对一个表执行DDL时,会查看表有没有DML如果有则等待修改数据结构之前如何产生MDL锁,都会产生MD

RDS for MySQL 表上 Metadata lock 的产生和处理

RDS for MySQL 表上 Metadata lock 的产生和处理 1. Metadata lock wait 出现的场景 2. Metadata lock wait 的含义 3. 导致 Metadata lock wait 等待的活动事务 4. 解决方案 5. 如何避免出现长时间 Metadata lock wait 导致表上相关查询阻塞,影响业务 1. Metadata lock wait 出现的场景 创建.删除索引 修改表结构 表维护操作(optimize table.repair

MySQL中lock tables和unlock tables浅析

MySQL中lock tables和unlock tables浅析   在MySQL中提供了锁定表(lock tables)和解锁表(unlock tables)的语法功能,ORACLE与SQL Server数据库当中没有这种语法.相信刚接触MySQL的人,都想详细.深入的了解一下这个功能.下面就尽量全面的解析.总结一下MySQL中lock tables与unlock tables的功能,如有不足或不正确的地方,欢迎指点一二.     锁定表的语法:   LOCK TABLES tbl_name

数据库内核月报 - 2015 / 10-MySQL · 特性分析 · 跟踪Metadata lock

背景 MySQL 从5.5.3版本,对Metadata lock进行了调整,主要是MDL锁持有的周期从语句变成了事务, 其原因主要是解决两个问题: 问题1: 破坏事务隔离级别 在repeatable read的隔离级别下,多次的select语句执行过程中,会因为其它session的DDL语句,而导致select语句执行的结果不相同,破坏了RR的隔离级别. 问题2: 破坏binlog的顺序 在对表的DML过程中,会因为其它session的DDL语句,导致binlog里的event顺序在备库执行的结

metadata lock的解决方案

文章https://yq.aliyun.com/articles/175039?spm=5176.100239.0.0.jNFOsC 提出了会发生Metadata-lock场景以及如何在数据库运维方面避免产生的建议,但是其实5.6/5.7版本已经提供了一种直接定位该问题的方法:启用performance_schema功能,5.7更是针对Metadata-lock,提供了表来定位SQL. 再来回顾一下: Metadata-Lock的引入是为了在并发条件下,防止session1的查询事务未结束的情况