【Data Cluster】真机环境下MySQL数据库集群搭建

             真机环境下MySQL-Cluster搭建文档

MySQL Cluster简介

      MySQL cluster 和 Oracle RAC 完全不同，它采用 无共享架构Shared nothing（shared nothing architecture）。整个集群由管理节点(ndb_mgmd)，处理节点(mysqld)和存储节点(ndbd)组 成，不存在一个共享的存储设备。MySQL cluster 主要利用了 NDB 存储引擎来实现，NDB 存储引擎是一个内存式存储引擎，要求数据必须全部加载到内存之中。数据被自动分布在集群中的不同存 储节点上，每个存储节点只保存完整数据的一个分片(fragment)。同时，用户可以设置同一份数据保存在多个不同的存储节点上，以保证单点故障不会造 成数据丢失。MySQL cluster 主要由 3 各部分组成：

  • SQL 服务器节点
  • NDB 数据存储节点
  • 监控和管理节点

这样的分层也是与 MySQL 本身把 SQL 处理和存储分开的架构相关系的。MySQL cluster 的优点在于其是一个分布式的数据库集群，处理节点和存储节点都可以线性增加，整个集群没有单点故障，可用性和扩展性都可以做到很高，更适合 OLTP 应用。但是它的问题在于：

  •  NDB（“NDB” 是一种“内存中”的存储引擎，它具有可用性高和数据一致性好的特点。） 存储引擎必须要求数据全部加载到内存之中，限制比较大，但是目前 NDB 新版本对此做了改进，允许只在内存中加 载索引数据，数据可以保存在磁盘上。
  •  目前的 MySQL cluster 的性能还不理想，因为数据是按照主键 hash 分布到不同的存储节点上，如果应用不是通过主键去获取数据的话，必须在所有的存储节点上扫描， 返回结果到处理节点上去处理。而且，写操作需要同时写多份数据到不同的存储节点上， 对 节点间的网络要求很高。

虽然 MySQL cluster 目前性能还不理想，但是 share nothing 的架构一定是未来的趋势，Oracle 接手 MySQL之后，也在大力发展 MySQL cluster，我对 MySQL cluster 的前景抱有很大的期待。

回到顶部

mysql-cluster构造

安装mysql-cluster首先要了解cluster的构造,Cluster大体上是由管理节点（mgmd）、数据节点（ndbd）、sql节点（mysqld）组成的。

                     

回到顶部

虚拟机安装centos6.6

系统要求：

内存：4G（最少4G）

CPU：需要支持VT

如果你是笔记本用户那么cpu虚拟化可能是关闭的，请在BIOS下设置virtualization 为enable

 

新建虚拟机，选择典型安装，点击下一步

 

点击下一步

 

这里用户名最好是mysql因为后面要用到。设置成其他用户也可以。

下一步

 

位置就是保存这个虚拟centos系统的位置

下一步

 

选择如图所示，下一步

 

选择自定义硬件，建议最好每个虚拟机分配1G的内存。每个cent最少分配512M内存。

点击完成就可以了。

虚拟机安装完成后，用root权限进入。密码和mysql账户的密码相同。

回到顶部

mysql-cluster下载

www.mysql.com/downloads/cluster  选择linux-generic下的版本 根据你的cent的系统选择32or64

回到顶部

centos6.6搭建环境配置

首先进入linux终端，右键桌面如图所示

 

Open in terminal（终端）

安装mysql-cluster前首先要卸载原有系统自带的mysql

联网卸载（终端下执行命令）

#yum remove mysql

手动清理（终端下执行命令）

#rpm –qa|grep mysql* （这条是查询系统中存在的mysql）

#rpm –e –nodeps mysql-libs-5.1.71-1.el6.x86_64 (不同版本的centos这个版本也不同)

回到顶部

mysql-cluster安装包导入cent中

首先查询需要导入的cent的ip地址，终端下输入

#ifconfig

 

如图所示其中inet addr：192.168.191.129就是这个cent的ip地址。

 

下载软件winscp

 

打开软件

 

新建站点，主机名就是cent 的ip ，用户名使用root

点击登录，输入密码，连接成功

 

左边是windows右边是cent

Cent下进入目录/usr/local/src 把你的mysql-cluster安装文件放在这个目录下

打开cent终端

添加mysql用户和组（如果前面安装虚拟机的时候使用的用户是mysql则跳过此步骤

添加mysql用户

1.      # groupadd mysql 

2.      # useradd mysql -g mysql

安装mysql-cluster 7.4.4-linux

1.      # cd /usr/local/src/（已下载好集群版） 

2.      # tar -xvf mysql-cluster-gpl-7.4.4-linux-glibc2.5-x86_64.tar.gz  

3.      # mv mysql-cluster-gpl-7.4.4-linux-glibc2.5-x86_64 ../mysql 

4.      # cd .. 

5.      # chown -R mysql:mysql mysql/ 

6.      # cd mysql 

7.      # scripts/mysql_install_db --user=mysql  

 

 

当出现这个页面则mysql-cluster安装成功

以上步骤是安装mysql-cluster必须步骤，所有机器都要进行以上的步骤

回到顶部

集群配置

首先进行管理节点的配置(终端输入)

# vi  /var/lib/mysql-cluster/config.ini （目录和文件没有请新建，添加以下内容）

1.      [NDBD DEFAULT]

 

2.      NoOfReplicas=2

 

3.      [TCP DEFAULT]

 

4.      portnumber=3306

 

5.      

 

6.      [NDB_MGMD]

 

7.      #设置管理节点服务器 

 

8.      nodeid=1

 

9.      HostName=192.168.191.132 （管理节点服务器ip地址）

 

10.   DataDir=/var/mysql/data

 

11.   

 

12.   [NDBD]

 

13.   nodeid=2

 

14.   HostName=192.168.191.130 （ndbd点ip地址）

 

15.   DataDir=/var/mysql/data

 

16.   

 

17.   [MYSQLD]

 

18.   nodeid=3

 

19.   HostName=192.168.191.131  (mysqld节点ip地址)

 

20.   [MYSQLD]

 

21.   nodeid=4

 

22.   HostName=192.168.191.133  (mysqld节点ip地址)

 

23.   

 

24.   #必须有空的mysqld节点，不然数据节点断开后启动有报错

 

25.   [MYSQLD]

 

26.   nodeid=5

 

27.   [mysqld]

 

28.   nodeid=6

 

以上内容输入完毕后，按ESC，输入：wq即可保存退出

 

拷贝ndb_mgm、ndb_mgmd、config.ini到bin目录。

# cd /usr/local/mysql/bin 

# cp ./ndb_mgm /usr/local/bin/ 

# cp ./ndb_mgmd /usr/local/bin/

# cp /var/lib/mysql-cluster/config.ini /usr/local/bin/

 

 

数据节点配置（终端输入）

# vi /etc/my.cnf （添加以下内容）

[mysqld] 

datadir=/var/mysql/data 

socket=/var/mysql/mysql.sock 

user=mysql 

# Disabling symbolic-links is recommended to prevent assorted security risks 

symbolic-links=0 

 

#运行NDB存储引擎 

ndbcluster  

#指定管理节点 

ndb-connectstring=192.168.191.132  (管理节点ip)

[MYSQL_CLUSTER] 

ndb-connectstring=192.168.191.132   (管理节点ip)

[NDB_MGM] 

connect-string=192.168.191.132   (管理节点ip)

 

[mysqld_safe] 

log-error=/var/mysql/log/mysqld.log 

pid-file=/var/run/mysqld/mysqld.pid

 

Sql节点配置(终端输入)

# cd /usr/local/mysql/

 

设置mysql服务为开机自启动

# cp support-files/mysql.server /etc/rc.d/init.d/mysqld 

# chmod +x /etc/rc.d/init.d/mysqld 

# chkconfig --add mysqld

 

# vi /etc/my.cnf （添加以下内容）

[mysqld]    

datadir=/var/mysql/data 

socket=/var/mysql/mysql.sock 

user=mysql 

# Disabling symbolic-links is recommended to prevent assorted security risks 

symbolic-links=0 

log-bin = /var/mysql/log/mysql-bin.log 

max_connections=1000 

 

#以下为mysql 主主模式的配置文件 

# 忽略mysql数据库复制 

binlog-ignore-db=mysql 

# 每次增长2 

auto-increment-increment=2 

# 设置自动增长的字段的偏移量，即初始值为2 

auto-increment-offset=1 

ndbcluster 

ndb-connectstring=192.168.191.132 （管理节点ip）

 

[MYSQL_CLUSTER] 

ndb-connectstring=192.168.191.132  （管理节点ip）

[NDB_MGM] 

connect-string=192.168.191.132  （管理节点ip）

 

[mysqld_safe] 

log-error=/var/mysql/log/mysqld.log 

pid-file=/var/run/mysqld/mysqld.pid 

 

这里要注意，在var目录下新建mysql目录，在新建的mysql目录下建立log和data目录

另外要给这两个目录授权代码如下

# cd /var

# chown –R mysql:mysql mysql/

下面两个命令是对mysql命令的一个link，否则无法使用mysql命令

# Ln –s /usr/local/mysql/bin/mysql /usr/bin

# Ln –s /var/mysql/mysql.sock /tmp/mysql.sock

回到顶部

运行mysql-cluster

mysql集群的启动顺序为：管理节点->数据节点->SQL节点

mysql集群的关闭顺序为，管理节点->数据节点->SQL节点

 

打开服务的时候注意防火墙问题

注意把管理节点的防火墙关闭 命令如下：

# /etc/init.d/iptables stop

 

首先打开管理节点服务

# ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial（注意第一次或者对config文件进行修改后，打开服务一定要加上initial否则新增加的内容不会被使用）

然后打开ndbd节点服务

# /usr/local/mysql/bin/ndbd --initial（此处同上）

出现一下信息表示ndbd节点启动成功.

 

2012-03-28 02:01:38 [ndbd] INFO -- Angel connected to '10.32.33.120:1186'

2012-03-28 02:01:38 [ndbd] INFO -- Angel allocated nodeid: 36

 

最后打开两个sql节点131和133

#service mysqld start

出现mysql success表示服务启动成功

 

打开管理节点，终端输入

# ndb_mgm

#ndb_mgm> show

显示以下信息，则mysql-cluster安装部署成功

Cluster Configuration

---------------------

[ndbd(NDB)] 2 node(s)

id=2 @192.168.191.130 (mysql-5.5.20 ndb-7.4.4, Nodegroup: 0)

[ndb_mgmd(MGM)] 1 node(s)

id=1 @192.168.191.132 (mysql-5.5.20 ndb-7.4.4)

[mysqld(API)] 4 node(s)

id=3 @192.168.191.131 (mysql-5.5.20 ndb-7.4.4)

id=4 @192.168.191.133 (mysql-5.5.20 ndb-7.4.4)

id=5 (not connected, accepting connect from any host)

id=6 (not connected, accepting connect from any host)

可以看到各个节点已经连接上了。

 

以下是关于mgm相关的命令

# ndb_mgm

# ndb_mgm> show 查看各节点情况。  

# ndb_mgm> all report memory 查看各数据节点使用情况  

# ndb_mgm>create nodegroup 3创建数据节点分组   

# mysql> alter online table data_house reorganize partition; 调整分区数据

# ndb_mgm>shutdown关闭节点

# ndb_mgm>exit退出

回到顶部

常见问题

Mysqld端服务无法启动

[root@localhost Desktop]#service mysqld start

Starting mysql.the service quit without updating PID file (/[FAILED]/var/mysql/log/localhost.localdomain.pid).

先去查看日志

#cd /var/mysql/data

#less localhost.localdomain.err

如果错误是

Fatal error：can’t open and lock privilege tables:Table’mysql.user’ doesn’t exist

解决方法：

终端输入

到mysql目录下/usr/local/mysql

输入

Scripts/mysql_install_db –user=mysql(初始化数据库即可)

其他问题请注意查看问题所在的文件夹权限问题

回到顶部

测试

1、从SQL节点131登录，创建数据库和表，进行简单测试。

mysql> create database tltest ;

mysql> use tltest;

Database changed

mysql> create table test1(id int,name varchar(10)) engine=ndb ;

mysql> insert into test1 values(1,'tl');

mysql> select * from test1 ;

+------+---------+

| id   | name  |

+------+---------+

|  1 |    tl   |

+------+---------+

登陆133节点，查看效果，库，表和数据已经同步。

从133节点插入一条数据，同样登陆131，也能看到数据已经同步。

时间： 2024-10-27 11:08:37

【Data Cluster】真机环境下MySQL数据库集群搭建的相关文章

云环境下 开拓产业集群信息服务平台新模式

中介交易 SEO诊断 淘宝客 云主机 技术大厅 产业集群信息服务平台是基于产业集群,整合同一产业中位于同一环节的多个核心企业,及存在着与产业相关的上下游企业,以产品或劳务形式向用户提供各种信息劳动,包括信息的传播报道.信息咨询以及信息技术培训和信息提供等的信息服务平台.它是围绕同一产业或相关产业的供应商.制造商和经销商,甚至是终端客户等组织,通过信任机制进行相互沟通和信息服务的一种平台.如"中国产业集群". "产业集群网" 等.产业集群作为我国产业经济发展的重要力量

MySQL分布式集群搭建

1.准备集群搭建环境 使用6台虚拟机来搭建MySQL分布式集群,相应的实验环境与对应的MySQL节点之间的对应关系如下图所示: 管理节点(MGM):这类节点的作用是管理MySQLCluster内的其他节点,如提供配置数据,并停止节点,运行备份等.由于这类节点负责管理其他节点的配置,应该在启动其他节点之前启动这类节点.MGM节点是用命令"ndb_mgmd"启动的: 数据节点(NDB):这类节点用于保存Cluster的数据,数据节点的数目与副本的数目相关,是片段的倍数.例如,对于两个副本,

linux/windows环境下mysql数据库启动、停止、重启命令

linux环境下 一.启动 1.使用 service 启动:service mysqld start 2.使用 mysqld 脚本启动:/etc/inint.d/mysqld start 3.使用 safe_mysqld 启动:safe_mysqld& 二.停止 1.使用 service 启动:service mysqld stop 2.使用 mysqld 脚本启动:/etc/inint.d/mysqld stop 3.mysqladmin shutdown 三.重启 1.使用 service 

Lunix环境下MySQL数据库的自动备份脚本

可以将这个脚本放进crontab,每天凌晨执行一次,自动备份 这个脚本每天最多只执行一次,而且只保留最近五天的备份在服务器上. #Setting#设置数据库名,数据库登录名,密码,备份路径,日志路径,数据文件 位置,及备份方式#默认情况下备份方式是tar,还可以是mysqldump,mysqldotcopy#默 认情况下,用root(空)登录mysql数据库,备份至/root/dbxxxxx.tgz#!/bin/bash#This is a ShellScript For Auto DB Bac

云计算环境下架构Hadoop集群的数据分配方式

引言 云计算(Cloud Computing)是一种新兴的商业计算模型.它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力.存储空间和各种软件服务.云计算是网格计算(Grid Computing).分布式计算(Distributed Computing).并行计算(ParallelComputing).效用计算(Utility Computing).网络存储(Network Storage Technologies).虚拟化(Virtualization),负载均衡

【Oracle 集群】Linux下Oracle RAC集群搭建之Oracle DataBase安装（八)

Oracle 11G RAC数据库安装(八) 数据库安装 继oracle集群安装之后,接下来也是最重要的数据库安装,整个数据库安装难度不大,用户以oracle用户身份登录RAC1主节点,对解压后的文件安装.主节点下安装后,其他所有结点自动安装,采用的原理机制就是ssh通信机制,所以前期ssh配置,各节点自动通信很重要.好在11G之后可以自动完成ssh配置,不用纯脚本,只需要按照步骤配置即可.接下来看下整体数据库群架构图.针对linux环境下搭建oracle数据库,本文也适用.针对数据库管理参见下

Mac 环境下 Nginx + Tomcat集群, 测试OK

下面开始我们的步骤: 第一步: 安装我们的Nginx, Mac上是利用brew安装的; [chenyuan@Mac:~]$ brew install nginx ==> Installing nginx dependency: pcre ==> Downloading http://downloads.sourceforge.net/project/pcre/pcre/8.34/pcre-8.3 #################################################

【Oracle 集群】Linux下Oracle RAC集群搭建之基本测试与使用（九)

检查RAC状态 主节点测试各个节点rac运行是否正常.显示rac节点详细信息 $ srvctl config database -d rac Database unique name: rac Database name: rac Oracle home: /u01/app/oracle/product/11.2.0/db_1 Oracle user: oracle Spfile: /u01/oradata/rac/spfilerac.ora Domain: localdomain Start

详解MySQL集群搭建_Mysql

概述 MySQL Cluster 是MySQL 适合于分布式计算环境的高实用.可拓展.高性能.高冗余版本,其研发设计的初衷就是要满足许多行业里的最严酷应用要求,这些应用中经常要求数据库运行的可靠性要达到99.999%.MySQL Cluster允许在无共享的系统中部署"内存中"数据库集群,通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求.此外,由于每个组件有自己的内存和磁盘,不存在单点故障. 实际上,MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MyS