MySQL Innodb Cluster搭建与初探

-------------------------------------------------------------------------------------------------正文---------------------------------------------------------------------------------------------------------------
场景:
有些空余时间了, 想要测试一下Group Replication与MySQL Router~\(≧▽≦)/~

结论:
可用性方面不错;
性能方面其实还不错, 不过写入能力还是老问题, 读多写少的业务可以关注一下Innodb Cluster;

测试环境:

MySQL 8.0.3-rc
MySQL Router 8.0
MySQL shell
sysbench 1.0 (以后再补一篇测试数据......)

虚拟机:

4C24G, 2.00GHz  x 5 (MySQL 8.0.3-rc)
4C24G, 2.40GHz  x 4 (MySQL 8.0.3-rc)
8C24G, 2.40GHz  x 1 (MySQL Router)

搭建过程:

1. 官方源直接安装MySQL相关的所有包, apt-get/yum

2. MySQL的配置, 除了常规配置以外, 推荐加上如下的部分, loose开头的参数表示如果不存在group_replication插件, 则忽略这些配置

点击(此处)折叠或打开

  1. report_host = 192.168.0.100                      ##GR插件会用这个report_host来标记Group中的每个MySQL实例, 确保每个MySQL实例的hostname不一样, 或者这个report_host不一样
  2. log_bin = /home/mysql/mysql-binlog               ##必须开启
  3. log_slave_updates = ON                           ##必须开启
  4. master_info_repository = TABLE                   ##必须使用Table
  5. relay_log_info_repository = TABLE                ##必须使用Table
  6. gtid_mode = ON                                   ##必须开启GTID
  7. enforce_gtid_consistency = ON                    ##必须开启
  8. slave_preserve_commit_order = ON                 ##确保GR_applier按照一致的顺序复现事务
  9. binlog_checksum = NONE                           ##必须设置为NONE
  10. transaction_write_set_extraction=XXHASH64        ##必须设置为XXHASH64
  11. #group_replication = ON                           ##开启Group Replication插件, 安装插件之后再开启
  12. loose-group_replication_start_on_boot=off        ##默认关闭, 防止重启后自动创建新的Group
  13. loose-group_replication_local_address= "192.168.0.100:13306"    ##官方工具会默认使用13306端口作为插件的端口, 设置为13306方便测试
  14. loose-group_replication_group_seeds= "192.168.0.100:13306,192.168.1.100:13306"    ##官方工具貌似不会主动管理这个参数, 手动加上
  15. loose-group_replication_bootstrap_group=off      ##默认关闭, 防止自动创建新的Group
  16. loose-group_replication_ip_whitelist = '192.168.0.0/24,192.168.1.0/24'    ##推荐在初始化前手工加上, 控制哪些ip的机器可以加入Group

PS: 测试中, 全程使用innodb_flush_log_at_trx_commit = 2 和 sync_binlog = 0 的设置,  双1的性能实在是弱......_(:з」∠)_

3. 启动所有的MySQL实例, 并安装插件

点击(此处)折叠或打开

  1. INSTALL PLUGIN group_replication SONAME 'group_replication.so'

4. 在mysql中创建用户temp, 测试图方便, 用ALL on *.*就行, 在官方文档中, 有列出这个用户需要的具体权限, 如下

点击(此处)折叠或打开

  1. GRANT ALL PRIVILEGES ON mysql_innodb_cluster_metadata.* TO your_user@'%' WITH GRANT OPTION;
  2. GRANT RELOAD, SHUTDOWN, PROCESS, FILE, SUPER, REPLICATION SLAVE, REPLICATION CLIENT, \
  3. CREATE USER ON *.* TO your_user@'%' WITH GRANT OPTION;
  4. GRANT SELECT ON performance_schema.* TO your_user@'%' WITH GRANT OPTION;
  5. GRANT SELECT ON *.* TO your_user@'%' WITH GRANT OPTION;
  6. GRANT SELECT, INSERT, UPDATE, DELETE ON mysql.* TO your_user@'%' WITH GRANT OPTION

还有一个需要注意的是: 官方推荐修改/etc/hosts, 实测中, 把localhost指向内网IP, 或者是创建temp@localhost的同权限用户也行, 官方的工具会用到@localhost的登录方式;

PS: with grant option很重要, 因为工具会新建一个mysql_route_xxxx用户, 以及存储meta的新数据库;

4. 在Group Primary的机器上启动MySQL shell, 这个很重要, 因为第3点中提到的:  官方的工具会用到@localhost的登录方式
PS: 推荐用mysqlsh --log-level=DEBUG3来启动mysql shell, 且不要关闭wizard;

5. 进入MySQL shell以后, 可以选择使用java script还是python, 这里比较习惯python, 就用python的方式, 和js基本没区别;

6. dba.help()命令能看到支持的所有命令, 搭建过程中主要用到的主要有这几个:
    check_instance_configuration :  检查实例的参数配置是否符合搭建Group的要求
    configure_local_instance :          持久化实例的配置参数到配置文件
    create_cluster :                            创建innodb cluster
    get_cluster :                                 获取这个实例所属innodb cluster的信息
    \connect 用户名@ip:port:  登录到某个实例, 一般为本机

7. 使用dba.check_instance_configuration('temp@192.168.0.100:3306')来检测配置参数, 按照第一步设置之后, 应该是直接返回OK的, 如果还有缺失的话, 就手动补上吧
PS: 这个工具可以自动把参数修改成符合要求的设置, 有兴趣可以研究一下, 这里就不唠叨了ㄟ( ▔, ▔ )ㄏ

8. 接下来就是使用create_cluster来创建innodb cluster了, 这里放上比较常用的一些设置信息

简单说明部分参数:
multiMaster : 如果要创建多主集群, 就需要单独指定这个参数, 否则默认创建单主集群(类似于一主多从的复制架构);
adoptFromGR : 如果已经手动把Group搭建起来了, 需要在这个Group上创建新的innodb cluster, 那就需要显式指定这个参数, 且关闭wizard模式, 关掉wizard模式之后, 需要再额外添加创建集群的用户名和密码作为参数, 推荐开启wizard, 并全程使用MySQL shell搭建innodb cluster;
ipWhitelist : 在测试的时候, 可能是工具没有管理seed这个参数, 所以在创建的时候即便指定了白名单, 也无法向Group里面添加新实例;

PS: 在python模式下, 如果需要添加参数, 就这么写

点击(此处)折叠或打开

  1. cluster = cluster.create_cluster('temp@192.168.0.100:3306', {'multiMaster':1,'adoptFromGR':1})

9. 开启wizard的情况下(本文默认开启), 使用如下命令创建Cluster: 

点击(此处)折叠或打开

  1. cluster = dba.create_cluster('testCluster')

如果没问题的话, 就会有如下提示信息

10. 集群创建成功以后, 用add_instance命令把所有的实例都添加到群组就好了, 在官方的宣讲中, 暂时不支持超过9个实例组成一个Group, 实际上, 不超过7个比较好, auto_increament的默认设置是7;

11. 这时候登录数据库, 就会看到多出来一个库, 叫做mysql_innodb_cluster_metadata, 里面有cluster的一些信息, 有兴趣可以看看;

12. 在其他的虚拟机上安装MySQL Router, 然后用bootstrap来自动生成配置;

点击(此处)折叠或打开

  1. mysqlrouter --bootstrap temp@192.168.0.100:3306 --directory /home/mysqlrouter/ --user=mysqlrouter

在对应的目录下会有start.sh和stop.sh来启动和关闭mysqlrouter
PS : stop.sh可能会关不掉mysqlrouter, 留意一下, 脚本的问题

13. 读写默认使用6446, 只读使用6447, 这时候就可以随意进行测试了;

14. 如果要创建多主模式, 需要调整两个参数

点击(此处)折叠或打开

  1. group_replication_single_primary_mode = OFF
  2. group_replication_enforce_update_everywhere_checks = ON

PPS: MySQLRouter会根据meta的数据来动态调整读写和只读连接, 比如说Primary挂掉了, meta发生了变化, MySQLRouter会在很短的时间内发现并把流量切换到新的Primary;

PPPPPS: 性能测试数据待整理

时间: 2024-09-20 17:46:00

MySQL Innodb Cluster搭建与初探的相关文章

MySQL InnoDB Cluster环境搭建和简单测试

InnoDB Cluster初印象   记得MySQL Group Replicatioin 刚开始的时候,MySQL界很是轰动,等待了多年,终于有了官方的这个高可用解决方案.你要说还有一些方案补充,比如MySQL Cluster,MySQL Proxy,这些的使用率个人感觉还是不高,也就是经受的考验还不够,原因有很多,就不赘述了.    不久,我和一个MySQL DBA有了下面的一个基本对话.    我: MySQL GR GA之后,里面的自动切换功能确实很赞,能够做到读写分离,原本MHA的方

lvs keepalived mysql cluster搭建时出错

问题描述 lvs keepalived mysql cluster搭建时出错 就是搭好环境,然后随便弄一台虚拟机,通过mysql -h 192.168.2.200 -u nuo -p 却连接不上,那个ip是vip.然后ping 得通,SQL节点的权限也给了.就是连接不上.能帮我看下吗? 解决方案 keepalived.conf 配置如下: ! Configuration File for keepalived global_defs { router_id HaMySQL_1 } vrrp_sy

巧用MySQL InnoDB引擎锁机制解决死锁问题

最近,在项目开发过程中,碰到了数据库死锁问题,在解决问题的过程中,笔者对MySQL InnoDB引擎锁机制的理解逐步加深. 案例如下: 在使用Show innodb status检查引擎状态时,发现了死锁问题: *** (1) TRANSACTION: TRANSACTION 0 677833455, ACTIVE 0 sec, process no 11393, OS thread id 278546 starting index read mysql tables in use 1, loc

详解MySQL集群搭建_Mysql

概述 MySQL Cluster 是MySQL 适合于分布式计算环境的高实用.可拓展.高性能.高冗余版本,其研发设计的初衷就是要满足许多行业里的最严酷应用要求,这些应用中经常要求数据库运行的可靠性要达到99.999%.MySQL Cluster允许在无共享的系统中部署"内存中"数据库集群,通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求.此外,由于每个组件有自己的内存和磁盘,不存在单点故障. 实际上,MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MyS

Java+MyBatis+MySQL开发环境搭建流程详解_java

主要搭建过程 1. pom.xml文件中加入mybatis和数据库依赖,这里使用mysql: <properties> <mybatis.version>3.2.3</mybatis.version> <mysql.version>5.1.26</mysql.version> <slf4j.api.version>1.7.5</slf4j.api.version> <testng.version>6.8.7&l

反驳"MySQL InnoDB (不行)的性能问题",千万级别记录来测试说明

在 JavaEye 上看到一篇对 MySQL FUD(Fear, uncertainty and doubt) 的文章 用MySQL InnoDB Benchmark 性能测试来说明 http://www.javaeye.com/topic/34676 文中提到:"InnoDB 的磁盘性能很令人担心,MySQL 缺乏良好的 tablespace 真是天大的缺陷! --网上有用户反映存在同样的插入性能问题,百万行记录插入之后,插入速度下降到了 1/30,从开始的 1600行/秒衰退到 50行/秒-

网站搭建-用mysql+apache+phpmyadmin搭建php环境

问题描述 用mysql+apache+phpmyadmin搭建php环境 用mysql+apache+phpmyadmin搭建php环境,进入phpadmin提示用户名密码错误,但我确实是对的请问有大神知道吗?错误提示1045 解决方案 工欲善其事必先利其器,先准备好软件: Apache: httpd-2.2.15-win32-x86-openssl-0.9.8m-r2.msi PHP: php-5.2.11-Win32.zip,之所以选择这个版本是因为网上都是配置的php5apache2_2.

MySQL Innodb数据库性能实践——热点数据性能

对于大部分的应用来说,都存在热点数据的访问,即:某些数据在一定时间内的访问频率要远远高于其它数据. 常见的热点数据有"最新的新闻"."最热门的新闻"."下载量最大"的电影等. 为了了解MySQL Innodb对热点数据的支持情况,我进行了基准测试,测试环境如下: [硬件配置] 硬件 配置 CPU Intel(R) Xeon(R) CPU E5620 主频2.40GHz, 物理CPU 2个,逻辑CPU 16个 内存 24G(6块 * 4G  DDR

MySQL/InnoDB和Group Commit(2)

今天发现Percona Release的Percona-Server-5-5-18-23-0已经完成了Group Commit工作,而且是用最优雅的方式(移植了MariaDB的实现,而不是workaround),心里难掩激动. 这篇文章接前篇继续介绍一下问题的背景:什么是Group Commit,现在的官方版本Group Commit做到了什么程度? 1. 什么是Group Commit MySQL/InnoDB在做事务的时候使用的日志先行(Write-ahead logging)的方式保证事务