MySQL · 5.7新特性 · Query Rewrite Plugin

前言

从MySQL5.7.6版本开始支持Rewrite Plugin,可以将符合条件的SQL进行重写。在真实世界中,这个特性还是非常有用的,例如错误的上线了某个SQL,但由于无法走到索引导致全库; 或者你可能使用某个第三方的已编译好的软件,但SQL可能执行错误,你又无法直接修改应用,这个特性将会非常有用。你可以去编写符合你要求的插件。

QR插件支持两种重写方式,一种是在语法解析之前,直接修改SQL字符串,一种是在语法解析之后,通过操控语法解析树来进行重写。

我们将简单讨论下使用MySQL自带的rewriter插件如何使用,以及为编写QR插件新增的一些接口

官方示例程序

MySQL提供了一个相对复杂的例程,你可以通过如下程序进行安装:

 mysql -u root -p < install_rewriter.sql

这是官方准备好的安装语句,帮助你自动安装插件,创建一个新的数据库query_rewrite,其中包含一张表rewrite_rules,用于定义重写的规则,也可以用于管理规则,例如打开或关闭。

例如为如下语句加一条hint:
SELECT k, id from sbtest1 where k = ?;
改写成:
select k, id from sbtest1 force index(primary) where k = ?;

为实现该目标,我们可以进行如下操作:

insert into query_rewrite.rewrite_rules(pattern, replacement, pattern_database) values (
"SELECT k, id from sbtest1 where k = ?",
"SELECT k, id from sbtest1 force index(primary)  where k = ?",
"sb1");

mysql> select * from query_rewrite.rewrite_rules\G
 1. row **
                id: 4
           pattern: SELECT k, id from sbtest1 where k = ?
  pattern_database: sb1
       replacement: SELECT k, id from sbtest1 force index(primary)  where k = ?
           enabled: YES
           message: NULL
    pattern_digest: cb5652eecffae66bdaa4ef31895b6476
normalized_pattern: select `k`,`id` from `sb1`.`sbtest1` where (`k` = ?)
1 row in set (0.00 sec)

然后调用存储过程:

CALL query_rewrite.flush_rewrite_rules();

该存储过程先提交当前的会话的事务(如果有未提交的事务的话),Reset Query Cache.然后调用一个UDF函数load_rewrite_rules将规则加载到插件的内存中。

现在我们执行SQL试试:

mysql> select k, id from sbtest1 where k = 19618;
+-------+------+
| k     | id   |
+-------+------+
| 19618 | 4574 |
+-------+------+
1 row in set, 1 warning (0.02 sec)

mysql> show warnings\G
 1. row **
  Level: Note
   Code: 1105
Message: Query 'select k, id from sbtest1 where k = 19618' rewritten to 'SELECT k, id from sbtest1 force index(primary)  where k = 19618' by a query rewrite plugin
1 row in set (0.00 sec)

Rewriter插件已经实现了比较完备的重写功能,具体如何玩耍参阅官方文档。但如果你还有一些自己个性化的定义,就可能需要修改或编写自己的插件,下文简单的对新增的一些接口进行描述。

相关接口

按照写插件的国际惯例,先声明插件相关的信息,并定义好接口。QR插件是基于audit plugin的,因此声明的内容也比较类似。

声明插件定义的回调函数接口参考类st_mysql_audit,主要包括:

Name Desc
interface_version 接口版本,用于多版本支持,定义成MYSQL_AUDIT_INTERFACE_VERSION即可
void (*release_thd)(MYSQL_THD); 回调函数,例如在执行完一条语句之后,释放当前线程占用的内存或做一些善后工作之类,在do_command函数
int (*event_notify)(MYSQL_THD, mysql_event_class_t, const void *); 主要处理函数,对于QR插件,当mysql_event_class_t为MYSQL_AUDIT_PARSE_CLASS时我们才需要去处理
unsigned long class_mask[MYSQL_AUDIT_CLASS_MASK_SIZE] 用于表示哪些事件子类型是该插件需要处理的。对于QR插件,我们主要关心两类,即MYSQL_AUDIT_PARSE_PREPARSE,还是MYSQL_AUDIT_PARSE_POSTPARSE,或者两者皆有MYSQL_AUDIT_PARSE_ALL

event_notify回调函数的第一个参数为当前的THD对象,第二个参数为触发事件类型(MYSQL_AUDIT_PARSE_CLASS),当插件被触发时,server层会向第三个参数传递查询相关的信息,并计入插件处理(mysql_audit_notify)。对于QR类型,mysql_event_parse的第三个参数类型为mysql_event_parse,如下表所示:

Type Name Desc
mysql_event_parse_subclass_t event_subclass MYSQL_AUDIT_PARSE_PREPARSE或者MYSQL_AUDIT_PARSE_POSTPARSE
mysql_event_parse_rewrite_plugin_flag* flags 当你对SQL进行了重写的话,需要设置该flag,告诉上层该SQL被重写
MYSQL_LEX_CSTRING query 当前线程未修改的查询语句
MYSQL_LEX_CSTRING* rewritten_query 用于存储重写后的SQL语句
Pre-parse

对于Pre-parse,会在解析前调用接口函数invoke_pre_parse_rewrite_plugins,对SQL进行重写,重写后的SQL单独分配内存并存储到rewritten_query中,在返回上层后,会Push一个warning(raise_query_rewritten_note),然后将当前SQL修改成重写后的SQL。上层也会负责主动将rewritten_query占用的内存释放

很显然Pre-parse的重写方式实现上非常简单,开销低,就是字符串到字符串的替换,你可以引入一些正则匹配库来做SQL匹配,并加入重写规则。但缺点也明显,由于没有拿到解析后的语法树,我们无法做到更加精准的SQL重写。

官方有个实例程序rewrite_example,你在编写自己的插件时可以参考,

Post-parse

对于Post-parse,会在SQL解析后调用invoke_post_parse_rewrite_plugins

相比Pre-parse,由于这是在解析后进行的,需要得到解析后语法数的相关对象和控制结构,而QR插件是独立于Server外的,因此MySQL又新增加了一系列的API函数接口来帮助插件方便的进行控制,参数THD是内部结构的关键入口。

主要API包含:

Service File Desc
Locking Service sql/locking_service.h, sql/locking_service.cc sql/locking_service_udf.cc 实际上实现了一套新的MDL锁类型LOCKING_SERVICE,专门用于开发插件时的读写控制,支持死锁检测
Parser Service sql/parser_service.cc include/mysql/service_parser.h 如果你尝试编写Post-parse的QR插件,这将是你需要关注的文件,提供了包括解析sql, 获取digest值,检索语法树等API
Command Service sql/command_service.cc include/mysql/service_command.h 从Plugin中执行Command命令
Rules Table Service sql/rules_table_service.cc 用于管理重写规则表,使用实例参考官方rewriter插件
srv_session_service sql/srv_session_service.cc srv_session的实现接口,目前主要用于X Plugin
srv_session_info_service sql/srv_session_info_service.cc 用于通过srv_session获取当前线程的session信息,例如thd,是否被kill,当前use的db等等
SSL Wrapper Service sql/ssl_wrapper_service.cc 封装了SSL相关的函数,目前主要用于X Plugin
String Service sql/string_service.cc sql/string_service.h 封装了mysql_string相关操作给插件,例如大小写转换,字符集等
Alloc Service include/mysql/service_mysql_alloc.h 内存操作函数

如果你想编写自己的service,官方还提供了一个指导文档

关于Parse Servcie,有几个主要接口函数:

Func Desc
mysql_parser_get_statement_digest 获取当前SQL的digest值
mysql_parser_set_current_database 设置当前session use的database
mysql_parser_parse 对于Post-parse,在重写SQL后,需要在插件内调用该函数重新进行语法解析才能生效
mysql_parser_get_statement_type 获取当前查询的类型,是SELECT还是其他
mysql_parser_visit_tree 访问语法解析树的接口,可以参考官方插件的Rewriter::rewrite_query-->Rule::create_new_query-->Rule::create_new_query来研究如何使用

Post-parse方式相比Pre-parse更加灵活,但也带来了更多的代价,例如需要重新解析重写后的SQL,目前只支持查询语句重写。

参考文档:

Worklog #7589
Worklog #8505
plugin-services
The Query Rewrite Plugins
Write Yourself a Query Rewrite Plugin: Part 1
Write Yourself a Query Rewrite Plugin: Part 2
The Query Rewrite Plugin Interface: Writing Your Own Plugin
官方文档
Query Rewrite plugin can harm performance

时间: 2024-10-31 02:46:03

MySQL · 5.7新特性 · Query Rewrite Plugin的相关文章

MySQL 5.0 新特性--存储过程

Introduction 简介 MySQL 5.0 新特性教程是为需要了解5.0版本新特性的MySQL老用户而写的.简单的来说是介绍了"存储过程.触发器.视图.信息架构视图",在此感谢译者陈朋奕的努力. 希望这本书能像内行专家那样与您进行对话,用简单的问题.例子让你学到需要的知识.为了达到这样的目的,我会从每一个细节开始慢慢的为大家建立概念,最后会给大家展示较大的实用例,在学习之前也许大家会认为这个用例很难,但是只要跟着课程去学,相信很快就能掌握. Conventions and St

MySQL 5.0新特性教程 存储过程:第一讲

mysql|存储过程|教程 作者:mysql AB;翻译:陈朋奕 Introduction 简介 MySQL 5.0 新特性教程是为需要了解5.0版本新特性的MySQL老用户而写的.简单的来说是介绍了"存储过程.触发器.视图.信息架构视图",在此感谢译者陈朋奕的努力. 希望这本书能像内行专家那样与您进行对话,用简单的问题.例子让你学到需要的知识.为了达到这样的目的,我会从每一个细节开始慢慢的为大家建立概念,最后会给大家展示较大的实用例,在学习之前也许大家会认为这个用例很难,但是只要跟着

MySQL 5.0新特性教程 存储过程:第一讲

Introduction 简介 MySQL 5.0 新特性教程是为需要了解5.0版本新特性的MySQL老用户而写的.简单的来说是介绍了"存储过程.触发器.视图.信息架构视图",在此感谢译者陈朋奕的努力. 希望这本书能像内行专家那样与您进行对话,用简单的问题.例子让你学到需要的知识.为了达到这样的目的,我会从每一个细节开始慢慢的为大家建立概念,最后会给大家展示较大的实用例,在学习之前也许大家会认为这个用例很难,但是只要跟着课程去学,相信很快就能掌握. Conventions and St

MySQL 5.0 新特性--存储过程(1)

Introduction 简介 MySQL 5.0 新特性教程是为需要了解5.0版本新特性的MySQL老用户而写的.简单的来说是介绍了"存储过程.触发器.视图.信息架构视图",在此感谢译者陈朋奕的努力. 希望这本书能像内行专家那样与您进行对话,用简单的问题.例子让你学到需要的知识.为了达到这样的目的,我会从每一个细节开始慢慢的为大家建立概念,最后会给大家展示较大的实用例,在学习之前也许大家会认为这个用例很难,但是只要跟着课程去学,相信很快就能掌握. Conventions and St

MySQL · 特性分析 ·MySQL 5.7新特性系列四

继上三期月报:MySQL 5.7新特性之一介绍了一些新特性及兼容性问题MySQL 5.7新特性之二介绍了临时表的优化和实现MySQL 5.7新特性之三介绍了undo表空间的truncate功能 这期我们一起来学习下MySQL 5.7的并行复制. 1. 背景 MySQL的master<->slave的部署结构,使用binlog日志保持数据的同步,全局有序的binlog在备库按照提交顺序进行回放. 由于新硬件的发展,SSD的引入和多core的CPU,master节点的并发处理能力持续提升,slav

MySQL · 特性分析 ·MySQL 5.7新特性系列三

继上两期月报,MySQL5.7新特性之一介绍了一些新特性及兼容性问题,MySQL 5.7新特性之二介绍了临时表的优化和实现. 这期我们一起来学习下undo空间管理,重点介绍truncate功能. 1. 背景 InnoDB存储引擎中,undo在完成事务回滚和MVCC之后,就可以purge掉了,但undo在事务执行过程中,进行的空间分配如何回收,就变成了一个问题. 我们亲历用户的小实例,因为一个大事务,导致ibdata file到800G大小. 我们先大致看下InnoDB的undo在不同的版本上的一

MySQL 5.7 新特性 generated columns

MySQL 5.7的一个新特性,generated column http://dev.mysql.com/doc/refman/5.7/en/create-table.html#create-table-generated-columns 即generated column的值是普通column产生值,有点像视图,但是又有别于视图,因为它可以选择是否存储generated column产生的值. CREATE TABLE triangle ( sidea DOUBLE, sideb DOUBL

MySQL 5.7新特性

    关于MySQL5.7,现在据说也是蛮火的,此文主要参照官方文档整理的,时日有些长了,最新的特性可能没采集进来,各位看客朋友们随意就好~~勿喷 新的特性 1.安全性增强 1)mysql.user表.plugin字段要求非空:新增时间戳字段保存密码最后被修改时间:不再使用password字段,使用authentication_string替代 2)安装与服务.全新的安装方式mysqld --initialize:安装完毕后只创建一个本地root账户,即root@'localhost':无匿名

MySQL 5.0 新特性教程 第一部分存储过程:第三讲

mysql|存储过程|教程 第三讲:新SQL语句,Loops 循环语句   The New SQL Statements 新SQL语句 Variables 变量 在复合语句中声明变量的指令是DECLARE. (1) Example with two DECLARE statements 两个DECLARE语句的例子 CREATE PROCEDURE p8 () BEGIN DECLARE a INT; DECLARE b INT; SET a = 5; SET b = 5; INSERT INT