mysql cluster mysql集群

 

MySQL Cluster 是一种技术,其主要功能是在无共享的相关系统中部署内存中数据库的 Cluster 。在通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDBCluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。关于 Cluster 中这些组件的关系,请参见下图:

 

所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中,表(结构)则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。通过将MySQL Cluster 引入开放源码世界,MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。

MySQL Cluster 基本概念

“NDB” 是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的特点。

MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集,仅取决于 Cluster本身内的其他数据。

目前,MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中,Cluster的每个部分被视为1个节点。

管理(MGM)节点:这类节点的作用是管理MySQL Cluster内的其他节点,如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。

数据节点:这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。

SQL节点:这是用来访问 Cluster数据的节点。对于MySQL Cluster,客户端节点是使用NDBCluster存储引擎的传统MySQL服务器。通常,SQL节点是使用命令“mysqld –ndbcluster”启动的,或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。注释:在很多情况下,术语“节点”用 于指计算机,但在讨论MySQL Cluster时,它表示的是进程。在单台计算机上可以有任意数目的节点,为此,我们采用术语“ Cluster主机”。

管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据,并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时,节点将关于这类事件的信息传输 到管理服务器,然后,将这类信息写入 Cluster日志。

此外,可以有任意数目的 Cluster客户端进程或应用程序。它们分为两种类型:

标准MySQL客户端:对于MySQL Cluster,它们与标准的(非 Cluster类)MySQL没有区别。换句话讲,能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问MySQL Cluster。

管理客户端:这类客户端与管理服务器相连,并提供了启动和停止节点、启动和停止消息跟踪(仅调试版本)、显示节点版本和状态、启动和停止备份等的命令。

详细请参考一下官方文档:

http://dev.mysql.com/doc/refman/5.1/zh/ndbcluster.html

从www.mysql.com上下载所需软件

MySQL-Cluster-gpl-client-7.1.18-1.el6.x86_64.rpm
MySQL-Cluster-gpl-clusterj-7.1.18-1.el6.x86_64.rpm
MySQL-Cluster-gpl-management-7.1.18-1.el6.x86_64.rpm
MySQL-Cluster-gpl-server-7.1.18-1.el6.x86_64.rpm
MySQL-Cluster-gpl-storage-7.1.18-1.el6.x86_64.rpm
MySQL-Cluster-gpl-tools-7.1.18-1.el6.x86_64.rpm

 

 系统:RHEL6  selinux and iptables disabled

管理节点:192.168.0.31

数据节点:192.168.0.56

sql节点:192.168.0.71

 

管理节点配置：

rpm -ivh MySQL-Cluster-gpl-management-7.1.18-1.el6.x86_64.rpm
rpm -ivh MySQL-Cluster-gpl-tools-7.1.18-1.el6.x86_64.rpm
mkdir /usr/mysql-cluster
vim /usr/mysql-cluster/config.ini
[ndbd default]
noofreplicas=1  #该全局参数仅能在[NDBD DEFAULT]中设置,它定义了cluster中每个表保存的副本数。该参数还指定了节点组的大小。节点组指的是保存相同信息的节点集合
datamemory=30M  #该参数定义了数据节点用于保存数据库记录的空间大小,全部空间均是分配在内存中的,确保你的数据节点具有足够的物理内存来容纳该值,由于我这是使用虚拟机测试,所以设置的偏小,你可以依照实际环境来定义此值
indexmemory=10M #该参数用于控制cluster中哈希(混编)索引所使用的存储量
[ndb_mgmd]
nodeid=1 #cluster中的每个节点都有唯一的标识,由从1到63的整数表示
hostname=192.168.0.31  #定义管理节点ip
datadir=/usr/mysql-cluster #它用于设置保存管理服务器输出文件的位置。这些文件包括cluster日志文件、进程输出文件、以及端口监督程序的pid文件
[ndbd]
nodeid=2
hostname=192.168.0.56 #定义数据节点ip
datadir=/usr/mysql-cluster  #它用于设置保存管理服务器输出文件的位置。这些文件包括cluster日志文件、进程输出文件、以及端口监督程序的pid文件
[mysqld]
nodeid=3
hostname=192.168.0.71  #定义sql节点ip

首先启动管理节点,然后启动存储节点,最后启动SQL节点

:ndb_mgmd -f /usr/local/mysql-cluster/config.ini

查看集群状态

ndb_mgm
ndb_mgm> show #查看集群连接状态

 

数据节点配置：

rpm -ivh MySQL-Cluster-gpl-storage-7.1.18-1.el6.x86_64.rpm
mkdir /usr/mysql-cluster
vim /etc/my.cnf
[mysqld]
ndbcluster #运行ndb集群引擎
ndb-connectstring=192.168.0.31  #指定管理节点
[mysql_cluster]
ndb-connectstring=192.168.0.31  #指定管理节点

 启动数据节点

 

ndbd --initial
注: 仅在首次启动ndbd时,或在备份/恢复或配置变化后重启ndbd时使用“--initial”参数。原因在于,该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件,包括恢复用日志文件

 

 sql节点配置:

rpm -ivh MySQL-Cluster-gpl-client-7.1.18-1.el6.x86_64.rpm
rpm -ivh MySQL-Cluster-gpl-server-7.1.18-1.el6.x86_64.rpm

注意，如果之前安装过mysql和mysql-server而且做过实验的话，安装会报错，提示版本冲突，需要做一下的事情

yum remove mysql-server mysql mysql-libs
cd /var/lib/mysql/
rm -fr *
mysql_install_db --user=mysql  初始化mysql,因为刚刚把它所有的数据都删除了，这样做完就可以安装集群了

 

 

cp /usr/share/mysql/my-medium.cnf /etc/my.cnf  #根据内存大小选取配置文件，我的是300M
vim /etc/my.cnf
[mysqld] .... (以下数据添加在[mysqld]区域的最下方)
ndbcluster
ndb-connectstring=192.168.0.31
[mysql_cluster]
ndb-connectstring=192.168.0.31

启动sql节点：

 

/etc/init.d/mysql start

这时候再在管理节点查看集群状态，所有连接成功：

[root@desktop26 mnt]# ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)] 1 node(s)
id=2    @192.168.0.56  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 0, Master)

[ndb_mgmd(MGM)] 1 node(s)
id=1    @192.168.0.31  (mysql-5.1.56 ndb-7.1.18)

[mysqld(API)]   1 node(s)
id=3    @192.168.0.71  (mysql-5.1.56 ndb-7.1.18)

ndb_mgm>

安全关闭和重启mysql cluster

在MGM节点所在的机器上,在Shell中简单地输入下述命令:

ndb_mgm -e shutdown

该命令将恰当地中止ndb_mgm、ndb_mgmd以及任何ndbd进程。使用mysqladmin shutdown或其他方法,可中止SQL节点

重启时,可简单地运行下述命令:

在管理节点上:

ndb_mgmd -f /var/lib/mysql-cluster/config.ini

在每台数据节点上:

ndbd

注:正常重启NDBD节点时,不要用“--initial”选项调用该命令。

在SQL节点上:

service mysql start

 

功能扩展：

新增节点：数据节点：192.168.0.52  sql节点：192.168.0.63

管理节点上配置：

ndb_mgm -e shutdown  #中止ndb_mgm、ndb_mgmd以及任何ndbd进程
vim /usr/mysql-cluster/config.ini
[ndbd default]
noofreplicas=2 #定义两个节点为一个节点组,这里指的是id 2和3为一个数据组,同组存储的数据是相同,数据节点分布在不同的主机,避免了单点故障。
datamemory=30M
indexmemory=10M

[ndb_mgmd]
nodeid=1
hostname=192.168.0.31
datadir=/usr/mysql-cluster

[ndbd]
nodeid=2
hostname=192.168.0.56
datadir=/usr/mysql-cluster

[ndbd]     #加入新增数据节点
nodeid=3
hostname=192.168.0.52
datadir=/usr/mysql-cluster

[mysqld]
nodeid=4
hostname=192.168.0.71

[mysqld]    #加入新增sql节点
nodeid=5
hostname=192.168.0.63

[mysqld]    #加了个空闲连接,数据备份和恢复时所需要,需要时再加也可以

再次启动管理节点

ndb_mgmd -f /usr/mysql-cluster/config.ini --initial
#不加--initial的话新修改的配置不会生效

按上面方法配置新的数据节点和sql节点，数据节点重新初始化，各sql节点重启mysql:

ndbd --initial
/etc/init.d/mysql restart

管理节点检测:

ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s)
id=2    @192.168.0.171  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 0, Master)
id=3    @192.168.0.52  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 0)

[ndb_mgmd(MGM)] 1 node(s)
id=1    @192.168.0.31  (mysql-5.1.56 ndb-7.1.18)

[mysqld(API)]   3 node(s)
id=4    @192.168.0.40  (mysql-5.1.56 ndb-7.1.18)
id=5    @192.168.0.63  (mysql-5.1.56 ndb-7.1.18)
id=6 (not connected, accepting connect from any host)

ndb_mgm>

从以上的显示信息可以看到节点2和3做为一个数据组,两个节点的数据是一样的,互为冗余;两个sql 节点可以操作,互为冗余。

建立集群数据:

在sql节点执行:

mysqladmin create world
vi city.sql
CREATE TABLE City (
ID int(11) NOT NULL auto_increment,
Name char(35) NOT NULL default '',
CountryCode char(3) NOT NULL default '',
District char(20) NOT NULL default '',
Population int(11) NOT NULL default '0',
PRIMARY KEY (ID)
) ENGINE=NDBCLUSTER; #指定MySQL为该表使用了NDB存储引擎,数据存储于各数据节点,不
然 mysql使用默认的MyISAM存储引擎,所有的数据将会存储于本机,和单机一样
INSERT INTO City VALUES (1,'Kabul','AFG','Kabol',1780000);
INSERT INTO City VALUES (2,'Qandahar','AFG','Qandahar',237500);
INSERT INTO City VALUES (3,'Herat','AFG','Herat',186800);
mysql world < city.sql

现在你可以在各sql节点查看数据

 

mysql> select * from City;
+----+----------+-------------+----------+------------+
| ID | Name     | CountryCode | District | Population |
+----+----------+-------------+----------+------------+
|  3 | Herat    | AFG         | Herat    |     186800 |
|  1 | Kabul    | AFG         | Kabol    |    1780000 |
|  2 | Qandahar | AFG         | Qandahar |     237500 |
+----+----------+-------------+----------+------------+
3 rows in set (0.00 sec)

 mysql cluster 备份恢复

在管理节点执行备份:

ndb_mgm> start backup
Waiting for completed, this may take several minutes
Node 2: Backup 1 started from node 1
Node 2: Backup 1 started from node 1 completed
 StartGCP: 509 StopGCP: 512
 #Records: 2060 #LogRecords: 0
 Data: 51380 bytes Log: 0 bytes

注:备份的数据在各数据节点的/usr/mysql-cluster/BACKUP目录下保存,每个数据节点保存一部分数据

删除City表中的所有数据

mysql> delete from City;
Query OK, 3 rows affected (0.04 sec)

mysql> select * from City;
Empty set (0.00 sec)

由于数据分散在两个数据节点,因此在各数据节点执行恢复，由于使用rpm包方式安装,各数据节点没有ndb_restore（来自MySQL-Cluster-gpl-tools-7.1.18-1.el6.x86_64.rpm）命令,可以直接从管理节点scp：

scp /usr/bin/ndb_restore 192.168.0.56:/usr/bin
scp /usr/bin/ndb_restore 192.168.0.52:/usr/bin

 在每个数据节点上分别执行恢复动作，-n指nodeid，-b指恢复第几次的备份，-r指恢复，后面接的使保存备份的文件夹

ndb_restore -n 2 -b 1 -r /usr/mysql-cluster/BACKUP/BACKUP-1/
mysql> select * from City; #sql节点
+----+-------+-------------+----------+------------+
| ID | Name | CountryCode | District | Population |
+----+-------+-------------+----------+------------+
| 3 | Herat | AFG | Herat | 186800 |
+----+-------+-------------+----------+------------+
1 row in set (0.14 sec)
ndb_restore -n 3 -b 1 -r /usr/mysql-cluster/BACKUP/BACKUP-1/
mysql> select * from City; #sql节点
+----+----------+-------------+----------+------------+
| ID | Name | CountryCode | District | Population |
+----+----------+-------------+----------+------------+
| 1 | Kabul | AFG | Kabol | 1780000 |
| 2 | Qandahar | AFG | Qandahar | 237500 |
| 3 | Herat | AFG | Herat | 186800 |
+----+----------+-------------+----------+------------+
3 rows in set (0.01 sec) mysql>