MySQL内核月报 2014.11-MySQL· 捉虫动态·OPTIMIZE 不存在的表

bug 描述

这是一个和 GTID 相关的Bug,也就是说5.6才会有,并且出现这个 bug 需要满足条件:

  1. 做修改性质的表管理操作,如 OPTIMIZE/ANALYZE/REPAIR 可以,CHECK 就不可以
  2. 操作对应的表不存在
  3. gtid_next 被设置为一个固定的值,并且 binlog 开启

在同时满足这3种条件下,会发现记录binlog时,对应的 Gtid_log_event 中的UUID会记为 00000000-0000-0000-0000-000000000000,并且这个对应的 gtid 不会记入 Executed_Gtid_Set。

bug影响

从 bug 描述可以看出,这个 bug 的表现特征就是 gtid_event 记错了,因此单实例的话基本不受影响的,因为主备复制时才会用到 gtid,所以主备场景会受到这个bug的影响。下面我们看下主备场景下这个bug是如何影响的:

M<->S : M 和 S 互为主备,都是5.6,以 gtid 协议进行复制,M是主库。

假设我们在主库上执行了 OPTIMIZE TABLE non_exist_table,这时候 gtid_next = 'AUTOMATIC',不是一个固定值,所以主库的 gtid 记录还是正常的,假设这时生成的 gtid_log_event 为 f3c1dd3e-395d-11e4-be45-4cb16c8f4abc:5,binlog 传到备库后,SQL 线程在 apply 的时候,会先将 f3c1dd3e-395d-11e4-be45-4cb16c8f4abc:5 设置为 gtid_next,然后同样做 OPTIMIZE TABLE non_exist_table,这个时候就触发了bug,备库的 gtid_log_event 记为00000000-0000-0000-0000-000000000000:5,并且不记入 Executed_Gtid_Set。主库继续接收用户的更新,同时会将备库的 binlog 拉过去应用,当做到 00000000-0000-0000-0000-000000000000:5 时,发现这个不在 Executed_Gtid_Set 中,就会执行,同样触发 bug, gtid_log_event 记为00000000-0000-0000-0000-000000000000:5,并且同样不记入 Executed_Gtid_Set。如此这样循环往复,会发现 OPTIMIZE TABLE non_exist_table 对应的binlog 在主备之前循环,充斥在 binlog 和 relay log 中。

bug 分析

之所以出现这个bug,是因为表管理操作的特殊性,OPTIMIZE/ANALYZE/REPAIR/CHECK TABLE 这些都统一调用 mysql_admin_table 函数进行管理操作,mysql_admin_table 执行失败的时候,执行线程并不报错,而是在 mysql_admin_table 函数结束前,清空线程中的error,将错误信息封装在结果集(result set)中发送给客户端,所以 OPTIMIZE/ANALYZE/REPAIR 虽然执行失败了,但仍然会记 binlog 。 按照这个逻辑来看,出错了仍然记binlog也是没问题,只要记对就行了,但是这里有一个问题,就是 mysql_admin_table 会调用 open_and_lock_tables,因为表不存在,所以 open_and_lock_tables 打开表的时候就出错,然后调用 trans_rollback_stmt ,之后会调到 gtid_rollback,最终调到 thd->variables.gtid_next.set_undefined()。


可以看到,如果是 type == GTID_GROUP,就将 type 设置为 UNDEFINED_GROUP。那么什么情况下gtid_next 的 type 会是 GTID_GROUP,答案是为一个固定值的时候,即类似这种 f3c1dd3e-395d-11e4-be45-4cb16c8f4abc:5。

而在 Gtid_log_event::Gtid_log_event 有这段逻辑,


我们会发现,这个时候sid会被清掉,clear 操作就是置全0,所以最终写入 binlog 的就是全0。

细心的同学会发现,当 gtid_next = automatic 的时候,也是会被 clear 的(automatic 对应的 group 是 AUTOMATIC_GROUP),其实如果 gtid_next = automatic 的话,只有在 binlog commit 的时候才调用 gtid_before_write_cache 生成 gtid,所以前面的 gtid_rollback 是不会影响 automatic 的。

关于不记 Executed_Gtid_Set 的问题,gtid_rollback 的时候,一方面通过 thd->variables.gtid_next.set_undefined() 把 gtid_next 的type设成UNDEFINED_GROUP,另一方面用 thd->clear_owned_gtids(),把 thd->owned_gtid 的 sidno 设为0,导致最终不会添加到 Executed_Gtid_Set 中。

bug修复

官方已经修复了这个bug,具体可以参见这2个 revno

主要是第一个,第二个是post-fix。修复方法是在 THD 中加一个标志 skip_gtid_rollback,在进入 mysql_admin_table 时先根据上下文设置thd->skip_gtid_rollback ,在退出mysql_admin_table 前重置标志,gtid_rollback 在执行clear前会判断下thd->skip_gtid_rollback。

时间: 2024-09-12 05:53:40

MySQL内核月报 2014.11-MySQL· 捉虫动态·OPTIMIZE 不存在的表的相关文章

MySQL内核月报 2014.08-MySQL· 捉虫动态·Count(Distinct) ERROR

背景 MySQL现行版本中存在一个count(distinct)语句返回结果错误的bug,表现为,实际结果存在值,但是用count(distinct)统计后返回的是0. 原因分析 Count(distinct f)的语义就是计算字段f的去重总数,计算流程大致如下: 流程一: 1. 构造一个unique集合A1(用tree实现) 2. 对每个值都试图插入集合A1中 3. 若和A1中现有item重复则直接跳过,不重复则插入并+1 4. 完成后计算集合中元素个数. 细心的同学会看到上面的语句中有一个s

MySQL内核月报 2014.11-MySQL· 捉虫动态·SIGHUP 导致 binlog 写错

bug描述 这是5.6中和gtid相关的一个bug,当 mysqld 收到 sighup 信号 (比如 kill -1) 的时候,会 flush binlog,但是新生成binlog开头没写 Previous_gtids_log_event,这会导致下面 2 个问题: 这个时候 mysqld 重启的话,会发现再也起不来了,error log 里有这样的错 The binary log file 'mysql/mysql-bin.000020' is logically corrupted: Th

MySQL内核月报 2014.09-MySQL· 捉虫动态·GTID 和 DELAYED

描述 这是一个MySQL 5.6才有的bug,影响包含最新版本.涉及到的概念有GTID.DELAYED. 现象 在5.6主备都开启GTID-MODE的时候,备库同步线程停止,且Last_SQL_Error显示"When @@SESSION.GTID_NEXT is set to a GTID, you must explicitly set it to a different value after a COMMIT or ROLLBACK. Please check GTID_NEXT var

MySQL内核月报 2014.09-MySQL· 捉虫动态·auto_increment

背景: Innodb引擎使用B_tree结构保存表数据,这样就需要一个唯一键表示每一行记录(比如二级索引记录引用). Innodb表定义中处理主键的逻辑是: 1.如果表定义了主键,就使用主键唯一定位一条记录 2.如果没有定义主键,Innodb就生成一个全局唯一的rowid来定位一条记录 auto_increment的由来: 1.Innodb强烈推荐在设计表中自定义一个主键,因为rowid是全局唯一的,所以如果有很多表没有定义主键,就会在生成rowid上产生争用. row_id由mutex保护,并

MySQL内核月报 2014.10-MySQL· 捉虫动态·binlog重放失败

背景 在 MySQL 日常维护中,要回滚或者恢复数据,我们经常会用 binlog 来在数据库上重放,执行类似下面的语句: mysqlbinlog mysql-bin.000001 | mysql -hxxxx -Pxx -u 最近遇到了这样一个问题,在重放 binlog 时,mysqld 报这样的错 ERROR 1064 (42000) at line 25: You have an error in your SQL syntax; check the manual that correspo

MySQL内核月报 2014.10-MySQL· 捉虫动态·从库OOM

bug背景 官方最近发布的版本(5.7.5)修复了这样一个bug,主备复制场景下,如果主库和备库对应的表结构中有数据类型不一致,并且主库的 binlog 是 row 格式的,这时候如果主库对不一致的表做了一个大事务更新,备库在应用 relay-log 的时候报OOM(Out of Memory).bug地址在这里,主备数据类型不一致主要发生在这2种情况下: 主备库版本不一致,不同版本之间的数据类型可能存在不一致.用户在报这个bug时,就是在5.5到5.6的复制场景下,用到了时间类型,时间类型在5

MySQL内核月报 2014.12-MySQL· 捉虫动态·Opened tables block read only

背景 MySQL通过read_only参数来设置DB只读,这样MySQL实例就可以作为slave角色,只应用binlog,不接受用户修改数据.这样就可以保护master-slave结构中的数据一致性,防止双写风险. global read_only的实现方式 MySQL5.5版本通过三个步骤来设置read_only: 步骤1:获取global read lock,阻塞所有的写入请求 步骤2:flush opened table cache,阻塞所有的显示读写锁 步骤3:获取commit lock

MySQL内核月报 2014.09-MySQL· 捉虫动态·GTID 和 binlog_checksum

现象描述 在5.6主备环境下,主备都开启GTID-MODE,备库开启crc校验,主库不开.重启备库sql线程后,备库sql线程停止Last_Error显示:Relay log read failure: Could not parse relay log event entry. The possible reasons are: the master's binary log is corrupted(you can check this by running 'mysqlbinlog' on

MySQL内核月报 2014.10-MySQL· 捉虫动态·崩溃恢复失败

现象 5.6版本,在创建InnoDB表过程中,若发生crash,会导致服务无法启动. 背景 每个InnoDB表A创建成功后有两个文件A.frm和A.ibd.建表流程如下: 1.创建A.frm 2.创建A.ibd 3.初始化A.ibd 4.将表A加入InnoDB字典 若crash发生在步骤2之后,则只保留一个完整的A.frm和一个空文件A.idb. 崩溃恢复 在上述的crash发生后,下一次启动则需要做崩溃恢复.崩溃恢复的一个逻辑是需要遍历数据目录下的所有.ibd文件,验证文件与字典的一致性. 对