MySQL · 引擎特性 · 像NOSQL那样使用MySQL

前言

最近Release的MySQL5.7.12增加了新的协议支持，通过X Plugin实现，同时增加了新的客户端API，开发者可以通过API来把MySQL作为document store的服务端，可以完成和MongoDB类似的document操作，例如支持CRUD等操作，但底层存储依然支持传统数据库的ACID，操作本身在底层也被扩展成标准SQL。从目前的MySQL来看，NOSQL和传统数据库的界限越来越小。目前这个特性还未Production Ready，建议仅用于测试环境。

本文只是记录下学习过程的笔记，不涉及任何内核实现知识。

相关概念

JSON
MySQL从5.7开始支持相对完整的JSON，并开发了完整的JSON函数(WL#7909)

Generated Column
通过表达式的方式来定义列，可以是虚拟的（查询时计算），也可以是物理存储的（DML时变更到文件）

Document
document存储的是一堆key-value的集合，通常使用JSON来进行描述。

Colllection
用于存储Document的容器，在MySQL里表现为一张普通的InnoDB表, 每行存储一个document

CRUD操作
即四种对Document的操作，包括CREATE, READ, UPDATE, DELETE

X PLUGIN及X PROTOCOL
X PLUGIN是官方新引入的插件，需要显式安装到服务器上，主要用于处理来自X协议的请求。用户通过X DevAPI发送基于X Protocol的请求到服务器端，请求可以是异步的，也可以是同步的。

准备工作

安装：

  1. 手动编译安装MySQL5.7.12
  2. 需要安装protobuf库: yum install protobuf
  3. 下载新的命令行shell并安装
  4. 启动MySQL，并安装X Plugin： INSTALL PLUGIN mysqlx SONAME 'mysqlx.so'

文档学习

  1. X DevAPI用户手册
  2. 新的命令行Shell文档
  3. 官方文档
  4. 官方Youtube视频
  5. X Plugin的Worklog WL#8338
  6. 官方博客系列文章:

以下所有的操作API你都可以从官方的文档上获取到

登录

当前shell支持三种模式：JavaScript，Python以及传统的SQL模式。对于SQL模式，你需要在启动客户端时指定--sql，如果不指定，则默认登录模式为javascript

$mysqlsh  -S /u01/my57/run/mysql.sock --sql -usb test
Creating a Node Session to sb@localhost:33060/test
Enter password:
Default schema `test` accessible through db
...

然后从sql模式可以切换到别的模式：
mysql-sql> select database();
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

mysql-sql> \py
Switching to Python mode...
mysql-py>session.sql("select database()");
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

mysql-py>\js
Switching to JavaScript mode...
mysql-js> session.sql("select database()");
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

下文我们以javascript为例进行阐述。

schema操作

schema在MySQL里对应的就是一个database，包含操作如下：

/ 创建Schema /
mysql-js> session.getSchemas()
{
    "information_schema": <Schema:information_schema>,
    "mysql": <Schema:mysql>,
    "performance_schema": <Schema:performance_schema>
}
mysql-js> session.createSchema('sb1')
<Schema:sb1>
mysql-js> session.createSchema('sb2')
<Schema:sb2>
mysql-js> session.getSchemas()
{
    "information_schema": <Schema:information_schema>,
    "mysql": <Schema:mysql>,
    "performance_schema": <Schema:performance_schema>,
    "sb1": <Schema:sb1>,
    "sb2": <Schema:sb2>
}

mysql-js> session.createSchema('test')
<Schema:test>

/ 删除Schema /
mysql-js> session.dropSchema('sb1')
Query OK, 0 items affected (0.00 sec)

mysql-js> session.dropSchema('sb2')
Query OK, 0 items affected (0.00 sec)

Collection操作

相关操作：

mysql-js> db
<Schema:test>
mysql-js> db = session.getSchema('test')
<Schema:test>

/ 创建Collection /
mysql-js> db.createCollection("sbtest1")
<Collection:sbtest1>
mysql-js> db.createCollection("sbtest2")
<Collection:sbtest2>

/ 获取Collection /
mysql-js> db.getCollections()
{
    "sbtest1": <Collection:sbtest1>,
    "sbtest2": <Collection:sbtest2>
}

/ 获取某个collection /
mysql-js> db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll=db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll.find()
Empty set (0.00 sec)
mysql-js> coll.add({Name: "zhai weixiang"});
Query OK, 1 item affected (0.00 sec)
mysql-js> coll.find()
[
    {
        "Name": "zhai weixiang",
        "_id": "944d76235812e611c867200bc7293cfa"
    }
]
1 document in set (0.00 sec)

/ 删除Collection /
mysql-js> session.dropCollection('test','sbtest2');
Query OK (0.00 sec)

mysql-js> db.getCollections();
{
    "sbtest1": <Collection:sbtest1>
}

所谓的collection，在物理存储上就是一张普通的InnoDB表，并且这些表具有相同的表定义

mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| sbtest1        |
| sbtest2        |
+----------------+
2 rows in set (0.00 sec)

mysql> show create table sbtest1\G
 1. row **
       Table: sbtest1
Create Table: CREATE TABLE `sbtest1` (
  `doc` json DEFAULT NULL,
  `_id` varchar(32) GENERATED ALWAYS AS (json_unquote(json_extract(`doc`,'$._id'))) STORED NOT NULL,
  UNIQUE KEY `_id` (`_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
1 row in set (0.00 sec)

这个自动创建的表上包含两列：doc列的类型为JSON,另一个列为generated column, 从document的_id上提取。_id由MySQL自动生成，你可以显式指定，但需要保证唯一性。

document操作

完整的CRUD的执行见官方文档图示，以下仅尝试了下简单的操作

/ 创建document /
mysql-js> db = session.getSchema('test')
<Schema:test>
mysql-js> coll=db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll.add({Name: "zhai weixiang"});
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find()
[
    {
        "Name": "zhai weixiang",
        "_id": "da3f9cb56712e61154d7200bc7293cfa"
    }
]
1 document in set (0.00 sec)

mysql-js> coll.add({'name': 'zhai', 'age': 18})
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.add([ {'name': 'zhaiwx', 'age': 17},{'name': 'zhaiweixiang', 'age': 16} ])
Query OK, 2 items affected (0.00 sec)

mysql-js> coll.find()
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 16,
        "name": "zhaiweixiang"
    },
    {
        "_id": "b2cb04526812e61154d7200bc7293cfa",
        "age": 17,
        "name": "zhaiwx"
    },
    {
        "_id": "c84e9a3c6812e61154d7200bc7293cfa",
        "age": 18,
        "name": "zhai"
    },
    {
        "Name": "zhai weixiang",
        "_id": "da3f9cb56712e61154d7200bc7293cfa"
    }
]
4 documents in set (0.00 sec)

/ 查询Document /
mysql-js> coll.find('age < 18')
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 16,
        "name": "zhaiweixiang"
    },
    {
        "_id": "b2cb04526812e61154d7200bc7293cfa",
        "age": 17,
        "name": "zhaiwx"
    }
]
2 documents in set (0.00 sec)

/ 更新Document /
mysql-js> coll.modify("name = 'zhaiweixiang'").set("age",22)
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find("name = 'zhaiweixiang'")
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 22,
        "name": "zhaiweixiang"
    }
]
1 document in set (0.00 sec)

/ 删除Document /
mysql-js> coll.remove("name = 'zhaiweixiang'")
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find("name = 'zhaiweixiang'")
Empty set (0.00 sec)

/ 创建索引 /
mysql-js> coll.createIndex("_age").field("age", "INTEGER", false).execute()
Query OK (0.19 sec)

/*上述语句在服务器端执行时转换成SQL:
    ALTER TABLE `test`.`sbtest1` ADD COLUMN `   $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C` INTEGER GENERATED ALWAYS AS     (JSON_EXTRACT(doc, '$.age')) VIRTUAL , ADD INDEX `_age` (`  $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C`) 

    会创建出一个虚拟列，并基于其上建立二级索引
*/

/ 删除索引，会将索引和虚拟列同时删除 /
mysql-js> coll.dropIndex("_age").execute()
Query OK (0.18 sec)

/ 支持事务操作，可以通过如下3个接口开启、提交、回滚事务 /
mysql-js> session.startTransaction()
Query OK, 0 items affected (0.00 sec)
mysql-js> session.commit()
Query OK, 0 items affected (0.00 sec)
mysql-js> session.rollback()
Query OK, 0 items affected (0.00 sec)

关系表操作

除了操作JSON外，你还可以通过新的命令行shell来进行其他表的操作。

/* 在普通的终端下创建一张表 */
create table t1 (a int, b int);

/* 查询表 */
mysql-js> tb = db.getTable('t1')
<Table:t1>

/* 插入数据 */
mysql-js> tb.insert().values(1,2)
Query OK, 1 item affected (0.00 sec)

mysql-js> tb.insert('a','b').values(2,3)
Query OK, 1 item affected (0.01 sec)

/* 查询数据 */
mysql-js> tb.select(['a', 'a + b']).where ('b < :b').bind('b',10).execute()
+---+-------------+
| a | (`a` + `b`) |
+---+-------------+
| 1 |           3 |
| 2 |           5 |
+---+-------------+
2 rows in set (0.00 sec)

/**
实际在服务器端执行的SQL为
SELECT `a`,(`a` + `b`) FROM `test`.`t1` WHERE (`b` < 10)
*/
时间： 2024-10-03 19:47:43

MySQL · 引擎特性 · 像NOSQL那样使用MySQL的相关文章

MySQL · 引擎特性 · InnoDB 事务子系统介绍

前言 在前面几期关于 InnoDB Redo 和 Undo 实现的铺垫后,本节我们从上层的角度来阐述 InnoDB 的事务子系统是如何实现的,涉及的内容包括:InnoDB的事务相关模块.如何实现MVCC及ACID.如何进行事务的并发控制.事务系统如何进行管理等相关知识.本文的目的是让读者对事务系统有一个较全面的理解. 由于不同版本对事务系统都有改变,本文的所有分析基于当前GA的最新版本MySQL5.7.9,但也会在阐述的过程中,顺带描述之前版本的一些内容.本文也会介绍5.7版本对事务系统的一些优

MySQL · 引擎特性 · InnoDB 崩溃恢复过程

在前面两篇文章中,我们详细介绍了 InnoDB redo log 和 undo log 的相关知识,本文将介绍 InnoDB 在崩溃恢复时的主要流程. 本文代码分析基于 MySQL 5.7.7-RC 版本,函数入口为 innobase_start_or_create_for_mysql,这是一个非常冗长的函数,本文只涉及和崩溃恢复相关的代码. 在阅读本文前,强烈建议翻阅下面两篇文章: 1. MySQL · 引擎特性 · InnoDB undo log 漫游 2. MySQL · 引擎特性 · I

MySQL · 引擎特性 · InnoDB 文件系统之文件物理结构

综述 从上层的角度来看,InnoDB层的文件,除了redo日志外,基本上具有相当统一的结构,都是固定block大小,普遍使用的btree结构来管理数据.只是针对不同的block的应用场景会分配不同的页类型.通常默认情况下,每个block的大小为 UNIV_PAGE_SIZE,在不做任何配置时值为16kb,你还可以选择在安装实例时指定一个块的block大小.对于压缩表,可以在建表时指定block size,但在内存中表现的解压页依旧为统一的页大小. 从物理文件的分类来看,有日志文件.主系统表空间文

MySQL · 引擎特性 · InnoDB文件系统管理

综述 从上层的角度来看,InnoDB层的文件,除了redo日志外,基本上具有相当统一的结构,都是固定block大小,普遍使用的btree结构来管理数据.只是针对不同的block的应用场景会分配不同的页类型.通常默认情况下,每个block的大小为UNIV_PAGE_SIZE,在不做任何配置时值为16kb,你还可以选择在安装实例时指定一个块的block大小. 对于压缩表,可以在建表时指定block size,但在内存中表现的解压页依旧为统一的页大小. 从物理文件的分类来看,有日志文件,主系统表空间文

MySQL · 引擎特性 · DROP TABLE之binlog解析

Drop Table的特殊之处 Drop Table乍一看,与其它DDL 也没什么区别,但当你深入去研究它的时候,发现还是有很多不同.最明显的地方就是DropTable后面可以紧跟多个表,并且可以是不同类型的表,这些表还不需要显式指明其类型,比如是普通表还是临时表,是支持事务的存储引擎的表还是不支持事务的存储引擎的表等.这些特殊之处对于代码实现有什么影响呢?对于普通表,无论是创建还是删除,数据库都会产生相应的binlog日志,而对于临时表来说,记录binlog日志就不是必须的.对于采用不同存储引

MySQL · 引擎特性 · InnoDB undo log 漫游

本文是对整个Undo生命周期过程的阐述,代码分析基于当前最新的MySQL5.7版本.本文也可以作为了解整个Undo模块的代码导读.由于涉及到的模块众多,因此部分细节并未深入. 前言 Undo log是InnoDB MVCC事务特性的重要组成部分.当我们对记录做了变更操作时就会产生undo记录,Undo记录默认被记录到系统表空间(ibdata)中,但从5.6开始,也可以使用独立的Undo 表空间. Undo记录中存储的是老版本数据,当一个旧的事务需要读取数据时,为了能读取到老版本的数据,需要顺着u

MySQL · 引擎特性 · InnoDB Fulltext简介

前言 从MySQL5.6版本开始支持InnoDB引擎的全文索引,语法层面上大多数兼容之前MyISAM的全文索引模式. 所谓全文索引,是一种通过建立倒排索引,快速匹配文档的方式.MySQL支持三种模式的全文检索模式: 第一种是自然语言模式(IN NATURAL LANGUAGE MODE),即通过MATCH AGAINST 传递某个特定的字符串来进行检索. 第二种是布尔模式(IN BOOLEAN MODE),可以为检索的字符串增加操作符,例如"+"表示必须包含,"-"

MySQL · 引擎特性 · Infobright 列存数据库

简介 系统架构 存储引擎 优化器和执行器 数据装载和卸载 领域知识 查询优化 简单场景的示例 小结 存储结构 Data Pack Knowledge Node 数据压缩 总结 简介 Infobright 是一个面向 OLAP 场景的开源列存数据库.比较容易找到代码的版本是 Infobright Community Edition 4.0.7,大概是 2006 年前后的代码.2016 年6 月,Infobright 决定停止开源1.由于它同时提供企业版和社区版,开源版本的功能相比企业版而言,肯定是

MySQL · 引擎特性 · InnoDB 大字段压缩

前言 当用户的数据量比较大时,通常需要对数据进行压缩,以减少磁盘占用.InnoDB目前有两种方式来实现这一目的. 第一种是传统的数据压缩,通过指定row_format及key_block_size,能够将用户表压缩到指定的page size并进行存储,默认使用zlib.这种压缩方式使用比较简单,但也是诟病较多的, 代码陈旧,相关代码基本上几个大版本都没发生过变化,一些优化点还是从facebook移植过来的(集中在在5.6版本中, 不过现在fb已经放弃优化InnoDB压缩了,转而聚集在自家压缩更好