搭建MySQL-Cluster集群架构

实验需求：部署MySQL集群，减少数据库单点故障。

实验方案：准备5台服务器，mgmd（192.168.100.1）作为管理节点，sqlA（192.168.100.2）和sqlB（192.168.100.3）作为SQL节点，ndbA（192.168.100.4）和ndbB（192.168.100.5）作为数据节点，这5个节点构成MySQL Cluster体系

实施过程：

一．公共配置

1.所有节点上安装MySQL集群软件

1.1所有节点卸载冲突包

官方提供的MySQL-Cluster相关软件包已集成数据库服务端/客户端程序，因此可直接用来替换普通的MySQL服务端/客户端程序。如果已安装有普通版的mysql-server、mysql、MySQL-server、MySQL-client包，请先将其卸载（若没有则忽略）：

# service  mysql  stop

# chkconfig  mysql   off

# rpm -e  --nodeps  MySQL-server   MySQL-client MySQL-shared MySQL-embedded MySQL-test MySQL-devel

1.2清理残余配置文件

mv  /etc/my.cnf  /etc/my.cnf.bak

useradd    mysql

1.3 所有节点安装MySQL-Cluster相关软件包

# tar xvf MySQL-Cluster-gpl-7.3.3-1.el6.x86_64.rpm-bundle.tar

MySQL-Cluster-shared-gpl-7.3.3-1.el6.x86_64.rpm

MySQL-Cluster-shared-compat-gpl-7.3.3-1.el6.x86_64.rpm

MySQL-Cluster-server-gpl-7.3.3-1.el6.x86_64.rpm

MySQL-Cluster-client-gpl-7.3.3-1.el6.x86_64.rpm

MySQL-Cluster-test-gpl-7.3.3-1.el6.x86_64.rpm

MySQL-Cluster-devel-gpl-7.3.3-1.el6.x86_64.rpm

MySQL-Cluster-embedded-gpl-7.3.3-1.el6.x86_64.rpm

rpm -Uvh MySQL-Cluster-*.rpm

2.在SQL节点（sqlA、sqlB）服务器上，修改MySQL数据库的root密码

3.SQL节点添加授权数据库用户，方便客户端访问

mysql>grant all on*.*to'root'@'192.168.100.%'identifiedby'123456';

二．配置管理节点 mgmd （192.168.100.1）

1.创建工作文件夹

# mkdir -p /var/log/mysql-cluster

2.创建配置文件

[ndbd default]：为所有的数据节点指定默认配置。

[ndbd]：指定某一个数据节点的配置。

[ndb_mgmd default]：为所有的管理节点指定默认配置。

[ndb_mgmd]：指定某一个管理节点的配置。

[mysqld default]：为所有的SQL节点指定默认配置。

[mysqld]：指定某一个SQL节点的配置。

# vim /etc/config.ini

[ndbd default]

NoOfReplicas=2//保留2份数据拷贝

DataMemory=80M                                 //数据缓存大小

IndexMemory=18M                             //索引缓存大小

[ndb_mgmd]

nodeid=1//第1个管理节点的ID号

hostname=192.168.100.1//此管理节点的地址

datadir=/var/log/mysql-cluster             //此管理节点的工作目录

[mysqld]

nodeid=2//第1个SQL节点的ID号

hostname=192.168.100.2                    //第1个SQL节点的地址

[mysqld]

nodeid=3//第2个SQL节点的ID号

hostname=192.168.100.3                  //第2个SQL节点的地址

[ndbd]

nodeid=4//第1个数据节点的ID号

hostname=192.168.100.4               //第1个数据节点的地址

datadir=/mysql-cluster/data           //第1个数据节点的工作目录，需创建

[ndbd]

nodeid=5//第2个数据节点的ID号

hostname=192.168.100.5//第2个数据节点的地址

datadir=/mysql-cluster/data         //第2个数据节点的工作目录，需创建

三．配置数据节点 ndbA（192.168.100.4） 、ndbB （192.168.100.5）

1.创建工作文件夹

# mkdir -p /mysql-cluster/data

2.创建配置文件

# vim /etc/my.cnf

[mysqld]

datadir=/mysql-cluster/data                //指定数据存储目录

ndb-connectstring=192.168.100.1             //要连接的管理服务器的IP地址

ndbcluster                                  //指定运行的存储引擎

[mysql_cluster]                              //集群连接配置段

ndb-connectstring=192.168.100.1

四．配置SQL节点sqlA（192.168.100.2） 、sqlB （192.168.100.3）

在MySQL-Cluster集群环境中，若某个数据库未采用ndbcluster引擎（而是InnoDB、MyISAM等其他引擎），则当更新数据库表时，可能无法同步到其他节点。

# vim /etc/my.cnf

ndbcluster                                     //指定运行的存储引擎

default-storage-engine=ndbcluster             //设置默认存储引擎

[mysql_cluster]                                //集群连接配置段

ndb-connectstring=192.168.100.1

五．启动MySQL集群

正确的启动顺序：管理节点 --> 数据节点 --> SQL节点。

关闭顺序：SQL节点 --> 数据节点 --> 管理节点。

数据节点、SQL节点都正常运行后，理论上管理节点可关闭（无监控等任务的话）。

1.启动管理节点mgmd

# ndb_mgmd -f /etc/config.ini         //启动管理节点，-f指定集群配置文件

关于管理节点的启动，有以下几个需要注意的地方：

ndb_mgmd默认以后台模式运行（--daemon），调试过程中可添加选项--nodaemon来禁用后台模式。

ndb_mgmd初次启动成功以后，会自动保存集群配置，以后再启动时会忽略-f指定的配置文件，除非添加--inital选项（比如向集群中添加新的节点时，就应该重新初始化）。

若希望每次开机后自动运行ndb_mgmd，可将上述启动操作写入到/etc/rc.local配置文件内，例如：

# vim /etc/rc.local

....

ndb_mgmd -f /etc/config.ini

启动完成后可查看监听状态：

# netstat -tuanlp | grep ndb

确认自动保存的集群配置数据：

# ls -lh /usr/mysql-cluster/ndb_1_config.bin.1

-rw-r--r--.1 root root 4.1K 12月 2417:52/usr/mysql-cluster/ndb_1_config.bin.1

查看日志文件相关数据：

# ls /var/log/mysql-cluster/

ndb_1_cluster.log ndb_1_out.log ndb_1.pid

2.启动数据节点ndbA、ndbB

MySQL Cluster数据节点的对应服务程序为ndbd（单线程的）、ndbmtd（多线程的），首次启动或重新初始化时加 --initial选项，以后不用加。

# ndbd --initial         //启动数据节点

在ndbA和ndbB服务器上，修改/etc/rc.local配置文件，以便每次开机后能自动启动数据节点服务：

# vim /etc/rc.local

....

ndbd

3.启动SQL节点sqlA、sqlB

对于MySQL Cluster的SQL节点来说，对应的服务程序就是mysqld，正常通过mysql脚本重新启动服务就可以了。

# service mysql restart

# chkconfig mysql on

4.在管理节点mgmd上查看群集状态

直接执行ndb_mgm可进入群集管理环境：

# ndb_mgm

ndb_mgm>

进入ndb_mgm> 环境后，执行SHOW可查看当前各节点的状态，确保本例中的5个节点都已经成功连接;

ndb_mgm> SHOW

六．MySQL集群的高可用性测试

1.数据同步测试

从客户机访问sqlA，执行写数据库、表相关操作：

# mysql -u root -p -h 192.168.100.2

mysql> create database mycluster;                                    

mysql> create table mycluster.a(id int(3));          

mysql> insert into mycluster.a values(123),(456);       //插入测试记录

然后从客户机访问sqlB，确认结果（能看到从sqlA上所建的库、表、表记录）：

# mysql -u root -p -h 192.168.100.3

mysql> select * from mycluster.a;        //查看表记录也一致

2.高可用性测试（关闭一台数据节点）

关闭数据节点ndbA上的ndbd进程：

# killall -9 ndbd                     //暴力结束ndbd进程

# netstat -tulanp | grep ndbd             //确认已结束

此时从管理节点上查看集群状态，会发现ndbA已断开连接：

ndb_mgm> show

然后从客户机访问sqlA或sqlB，仍然可读、写数据库。比如可向mycluster.a表中再添加一条记录：

mysql> insert into mycluster.a values(789);       //添加一条表记录

以上测试成立说明：只要还有一台数据节点可用，MYSQL数据库整体就仍然可用。

接下来可进一步验证故障恢复过程 ―― 重新启动ndbA上的ndbd服务进程，稍待片刻后强制关闭ndbB上的ndbd服务进程。然后再次访问sqlA或sqlB节点，查询mycluster.a表的记录，发现与前面添加的结果一致：

mysql> select * from mycluster.a;                      //确认结果

以上测试成立说明：因故障中断的数据节点（ndbA）恢复后，会立即从正常的数据节点（ndbB）同步数据，确保数据一致性。

3.高可用性测试（关闭一台SQL节点）

当MySQL集群内有多个SQL节点时，只要有一台SQL节点可用，就可以通过它来访问MySQL数据库中保存的表数据。

关闭sqlA、sqlB中的任何一台以后，还可以通过另外一台来访问mycluster库。