详解MySQL集群搭建_Mysql

概述

MySQL Cluster 是MySQL 适合于分布式计算环境的高实用、可拓展、高性能、高冗余版本,其研发设计的初衷就是要满足许多行业里的最严酷应用要求,这些应用中经常要求数据库运行的可靠性要达到99.999%。MySQL Cluster允许在无共享的系统中部署“内存中”数据库集群,通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。

实际上,MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MySQL服务器集成。它包含一组计算机,每个都跑一个或者多个进程,这可能包括一个MySQL服务器,一个数据节点,一个管理服务器和一个专有的一个数据访问程序。

MySQL Cluster能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在Cluster 级别上的存储引擎上做这个最简单。以下为MySQL集群结构关系图,

MySQL从结构看,由3类节点(计算机或进程)组成,分别是:

管理节点:用于给整个集群其他节点提供配置、管理、仲裁等功能。理论上通过一台服务器提供服务就可以了。

数据节点:MySQL Cluster的核心,存储数据、日志,提供数据的各种管理服务。2个以上 时就能实现集群的高可用保证,DB节点增加时,集群的处理速度会变慢。

SQL节点(API):用于访问MySQL Cluster数据,提供对外应用服务。增加 API 节点会提高整个集群的并发访问速度和整体的吞吐量,该节点 可以部署在Web应用服务器上,也可以部署在专用的服务器上,也开以和DB部署在同一台服务器上。

NDB引擎

MySQL Cluster 使用了一个专用的基于内存的存储引擎——NDB引擎,这样做的好处是速度快, 没有磁盘I/O的瓶颈,但是由于是基于内存的,所以数据库的规模受系统总内存的限制, 如果运行NDB的MySQL服务器一定要内存够大,比如4G, 8G, 甚至16G。NDB引擎是分布式的,它可以配置在多台服务器上来实现数据的可靠性和扩展性,理论上 通过配置2台NDB的存储节点就能实现整个数据库集群的冗余性和解决单点故障问题。

缺陷

  • 基于内存,数据库的规模受集群总内存的大小限制
  • 基于内存,断电后数据可能会有数据丢失,这点还需要通过测试验证。
  • 多个节点通过网络实现通讯和数据同步、查询等操作,因此整体性受网络速度影响,因此速度也比较慢

2.2 优点

  • 多个节点之间可以分布在不同的地理位置,因此也是一个实现分布式数据库的方案。
  • 扩展性很好,增加节点即可实现数据库集群的扩展。
  • 冗余性很好,多个节点上都有完整的数据库数据,因此任何一个节点宕机都不会造成服务中断。

实现高可用性的成本比较低,不象传统的高可用方案一样需要共享的存储设备和专用的软件才能实现,NDB 只要有足够的内存就能实现。

本文将搭建一个最简化的MySQL Cluster系统,配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点,这五个结点会分别安装在五个虚拟机上,虚拟机的名称和IP如下所示:

一、公共配置

请在三个虚拟机上分别配置此处的配置项。

1. 安装虚拟机

虚拟机操作系统安装CentOS 6.4的x86_64版本,使用NAT网络,并且还要安装vmware-tools,具体安装方法此处不详述。

2. 拷贝mysql cluster

下载MySQL-Cluster:

下载得到的压缩包拷贝至虚拟机的/root/Downloads目录,然后在shell中运行以下命令:

cd /root/Downloads 

tar -xvzf mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz 

mv mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64 /usr/local/mysql

 3. 关闭安全策略

关闭iptables防火墙(或者打开防火墙的1186、3306端口),在Shell中运行以下命令:

chkconfig --level 35 iptables off 

关闭SELinux,在Shell中运行以下命令:

gedit /etc/selinux/config

将config文件中的SELINUX项改为disabled,修改后的config文件的内容如下:

# This file controls the state of SELinux on the system. 

# SELINUX= can take one of these three values: 

# enforcing - SELinux security policy is enforced. 

# permissive - SELinux prints warnings instead of enforcing. 

# disabled - No SELinux policy is loaded. 

SELINUX=disabled 

# SELINUXTYPE= can take one of these two values: 

# targeted - Targeted processes are protected, 

# mls - Multi Level Security protection. 

SELINUXTYPE=targeted 

最后重启系统

二、配置管理结点(192.168.124.141)

1. 配置config.ini配置文件

在shell中运行以下命令:

mkdir /var/lib/mysql-cluster 

cd /var/lib/mysql-cluster 

gedit config.ini

配置文件config.ini内容如下:

[ndbd default] 

NoOfReplicas=2 

DataMemory=80M 

IndexMemory=18M 

[ndb_mgmd] 

NodeId=1 

hostname=192.168.124.141 

datadir=/var/lib/mysql-cluster 

[ndbd] 

NodeId=2 

hostname=192.168.124.142 

datadir=/usr/local/mysql/data 

[ndbd] 

NodeId=3 

hostname=192.168.124.143 

datadir=/usr/local/mysql/data 

[mysqld] 

NodeId=4 

hostname=192.168.124.144 

[mysqld] 

NodeId=5 

hostname=192.168.124.145

2. 安装管理结点

安装管理节点,不需要mysqld二进制文件,只需要MySQL Cluster服务端程序(ndb_mgmd)和监听客户端程序(ndb_mgm)。在shell中运行以下命令:

cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin 

cd /usr/local/bin 

chmod +x ndb_mgm*

三、配置数据结点(192.168.124.142、192.168.124.143)

1. 添加mysql组和用户

在shell中运行以下命令:

groupadd mysql 

useradd -g mysql mysql 

2. 配置my.cnf配置文件

在shell中运行以下命令:

gedit /etc/my.cnf 

配置文件my.cnf的内容如下:

[mysqld] 

basedir=/usr/local/mysql 

datadir=/usr/local/mysql/data 

socket=/usr/local/mysql/sock/mysql.sock 

user=mysql 

# Disabling symbolic-links is recommended to prevent assorted security risks 

symbolic-links=0 

[mysqld_safe] 

log-error=/var/log/mysqld.log 

pid-file=/var/run/mysqld/mysqld.pid 

[mysql_cluster] 

ndb-connectstring=192.168.124.141 

3. 创建系统数据库

在shell中运行以下命令:

cd /usr/local/mysql 

mkdir sock 

scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

4. 设置数据目录

在shell中运行以下命令:

chown -R root . 

chown -R mysql.mysql /usr/local/mysql/data 

chown -R mysql.mysql /usr/local/mysql/sock 

chgrp -R mysql . 

5. 配置MySQL服务

在shell中运行以下命令:

cp support-files/mysql.server /etc/rc.d/init.d/ 

chmod +x /etc/rc.d/init.d/mysql.server 

chkconfig --add mysql.server

四、配置SQL结点(192.168.124.144、192.168.124.145)

1. 添加mysql组和用户

在shell中运行以下命令:

groupadd mysql 

useradd -g mysql mysql 

2. 配置my.cnf配置文件

在shell中运行以下命令:

gedit /etc/my.cnf

配置文件my.cnf的内容如下:

[client] 

socket=/usr/local/mysql/sock/mysql.sock 

[mysqld] 

ndbcluster 

datadir=/usr/local/mysql/data 

socket=/usr/local/mysql/sock/mysql.sock 

ndb-connectstring=192.168.124.141 

[mysql_cluster] 

ndb-connectstring=192.168.124.141 

3. 创建系统数据库

在shell中运行以下命令:

cd /usr/local/mysql 

mkdir sock 

scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 

4. 设置数据目录

在shell中运行以下命令:

chown -R root . 

chown -R mysql.mysql /usr/local/mysql/data 

chown -R mysql.mysql /usr/local/mysql/sock 

chgrp -R mysql . 

5. 配置MySQL服务

在shell中运行以下命令:

cp support-files/mysql.server /etc/rc.d/init.d/ 

chmod +x /etc/rc.d/init.d/mysql.server 

chkconfig --add mysql.server 

五、Cluster环境启动

注意启动顺序:首先是管理节点,然后是数据节点,最后是SQL节点。

1. 启动管理结点

在shell中运行以下命令:

ndb_mgmd -f /var/lib/mysql-cluster/config.ini

 还可以使用ndb_mgm来监听客户端,如下:

ndb_mgm

2. 启动数据结点

首次启动,则需要添加--initial参数,以便进行NDB节点的初始化工作。在以后的启动过程中,则是不能添加该参数的,否则ndbd程序会清除在之前建立的所有用于恢复的数据文件和日志文件。

/usr/local/mysql/bin/ndbd --initial 

如果不是首次启动,则执行下面的命令。

/usr/local/mysql/bin/ndbd

3. 启动SQL结点

若MySQL服务没有运行,则在shell中运行以下命令:

/usr/local/mysql/bin/mysqld_safe --user=mysql & 

4. 启动测试

查看管理节点,启动成功

六、集群测试

1. 测试一

现在我们在其中一个SQL结点上进行相关数据库的创建,然后到另外一个SQL结点上看看数据是否同步。

在SQL结点1(192.168.124.144)上执行:

shell> /usr/local/mysql/bin/mysql -u root -p 

mysql>show databases; 

mysql>create database aa; 

mysql>use aa; 

mysql>CREATE TABLE ctest2 (i INT) ENGINE=NDB; //这里必须指定数据库表的引擎为NDB,否则同步失败 

mysql> INSERT INTO ctest2 () VALUES (1); 

mysql> SELECT * FROM ctest2;

然后在SQL结点2上看数据是否同步过来了

经过测试,在非master上创建数据,可以同步到master上

查看表的引擎是不是NDB,>show create table 表名;

2. 测试二

关闭一个数据节点 ,在另外一个节点写输入,开启关闭的节点,看数据是否同步过来。

首先把数据结点1重启,然后在结点2上添加数据

在SQL结点2(192.168.124.145)上操作如下:

mysql> create database bb; 

mysql> use bb; 

mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB; 

mysql> use aa; 

mysql> INSERT INTO ctest2 () VALUES (3333); 

mysql> SELECT * FROM ctest2; 

等数据结点1启动完毕,启动数据结点1的服务

#/usr/local/mysql/bin/ndbd --initial#service mysqld start
然后登录进去查看数据

# /usr/local/mysql/bin/mysql -u root –p
可以看到数据已经同步过来了,说明数据可以双向同步了。

七、关闭集群

1. 关闭管理节点和数据节点,只需要在管理节点(ClusterMgm--134)里执行:

Connected to Management Server at: localhost:1186 

2 NDB Cluster node(s) have shutdown. 

Disconnecting to allow management server to shutdown.

显示

Connected to Management Server at: localhost:1186 

2 NDB Cluster node(s) have shutdown. 

Disconnecting to allow management server to shutdown.

2. 然后关闭Sql节点(135,136),分别在2个节点里运行:

shell> /etc/init.d/mysql.server stop

Shutting down MySQL... SUCCESS!

注意:要再次启动集群,就按照第五部分的启动步骤即可,不过这次启动数据节点的时候就不要加”-initial”参数了。

以上就是MySQL集群搭建过程,希望对大家自己动手搭建MySQL集群有所帮助

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索mysql
集群搭建
kafka集群搭建 详解、mysql集群搭建、mysql数据库集群搭建、mycat mysql集群搭建、linux mysql集群搭建,以便于您获取更多的相关知识。

时间: 2024-09-15 00:15:13

详解MySQL集群搭建_Mysql的相关文章

详解Mysql case then使用_Mysql

表的创建 CREATE TABLE `lee` ( `id` int(10) NOT NULL AUTO_INCREMENT, `name` char(20) DEFAULT NULL, `birthday` datetime DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8 数据插入: insert into lee(name,birthday) values ('sam','1990-01-01'); i

主机租用商详解服务器集群技术特点

在服务器主机租用的过程中,我们会考虑到技术方面的问题,面对服务器集群技术方面,我们又应该做出哪些更好的理解,就需要看看腾佑科技为您整理的这篇文章了. 服务器集群技术的特点和功能高可应用性与可扩展性 1.高可应用性 对于一些实时性很强的应用系统,必须保持服务的24小时不间断运行,而由于软件.硬件.网络和人为等各种原因,单一服务运行环境很难达到这种要求,此时构建一个服务器集群系统是个不错的选择.构建集群的一个最大的优点是集群具有高可用性,在服务出现故障时,服务器集群系统可以自动将服务从故障节点切换到

Mongo Replica Set集群搭建详解

Mongo Replica Set集群介绍:     Replica Set使用的是n个mongod节点,构建具备自动的容错功能(auto-failover),自动恢复的(auto-recovery)的高可用方案. 如上图,Mongodb(M)表示主节点,Mongodb(S)表示备节点,Mongodb(A)表示仲裁节点.主备节点存储数据,仲裁节点不存储数据.客户端同时连接主节点与备节点,不连接仲裁节点. 默认设置下,主节点提供所有增删查改服务,备节点不提供任何服务.但是可指定读策略(本文PHP连

Linux上搭建mysql集群,window进行远程

问题描述 Linux上搭建mysql集群,window进行远程 我想在window上远程Linux的mysql,Linux上的mysql是分布式mysql集群. 希望有经验的大牛能个指引.Linux上的mysql集群如何搭建?搭建完成后,window怎么远程? 解决方案 window下的mysql集群搭建Linux下MySQL/MariaDB Galera集群搭建过程

Hadoop 三台主机 集群搭建 详解(测试)

Hadoop 三台主机 集群搭建 详解 学习更多,请访问系列文章: 1. VMware Redhat网络配置 2. Hadoop 三台主机 集群搭建 详解 3. Windows 下配置 Eclipse 连接 Hadoop 开发环境 部署环境: OS:Redhat 5.5 Enterprise JDK:jdk1.6.0_32 Hadoop:Hadoop-0.20.2 VMWare:7.0 节点安排及网络拓扑: 节点类型 节点IP 节点hostname master节点 192.168.40.5 m

Linux下搭建MySQL集群

一.MySQL集群简介 1.什么是MySQL集群 MySQL集群是一个无共享的(shared-nothing).分布式节点架构的存储方案,其目的是提供容错性和高性能. 数据更新使用读已提交隔离级别(read-committedisolation)来保证所有节点数据的一致性,使用两阶段提交机制(two-phasedcommit)保证所有节点都有相同的数据(如果任何一个写操作失败,则更新失败). 无共享的对等节点使得某台服务器上的更新操作在其他服务器上立即可见.传播更新使用一种复杂的通信机制,这一机

MySQL分布式集群搭建

1.准备集群搭建环境 使用6台虚拟机来搭建MySQL分布式集群,相应的实验环境与对应的MySQL节点之间的对应关系如下图所示: 管理节点(MGM):这类节点的作用是管理MySQLCluster内的其他节点,如提供配置数据,并停止节点,运行备份等.由于这类节点负责管理其他节点的配置,应该在启动其他节点之前启动这类节点.MGM节点是用命令"ndb_mgmd"启动的: 数据节点(NDB):这类节点用于保存Cluster的数据,数据节点的数目与副本的数目相关,是片段的倍数.例如,对于两个副本,

【Data Cluster】真机环境下MySQL数据库集群搭建

             真机环境下MySQL-Cluster搭建文档 MySQL Cluster简介       MySQL cluster 和 Oracle RAC 完全不同,它采用 无共享架构Shared nothing(shared nothing architecture).整个集群由管理节点(ndb_mgmd),处理节点(mysqld)和存储节点(ndbd)组 成,不存在一个共享的存储设备.MySQL cluster 主要利用了 NDB 存储引擎来实现,NDB 存储引擎是一个内存式存

amoeba搭建mysql集群时数据更新时出现这个错误

问题描述 amoeba搭建mysql集群时数据更新时出现这个错误 Fatal error: Uncaught exception 'Zend_Db_Table_Row_Exception' with message 'Cannot refresh row as parent is missing' in lib/Zend/Db/Table/Row/Abstract.php(2) : eval()'d code(1) : eval()'d code(1) : eval()'d code:319 解