本着一颗不断学习新技术的心态(好吧,其实这个技术不新,只是我没有接触过而已),所以今天下午就研究一下mysql集群,顺便在windows搭建起来(下一步计划折腾一下linux)。
一、mysql集群的概念
1. 管理节点:除了管理下面两个节点以外,还要操心集群日志,配置等东西。原则上只有一个就好了,挂了就完蛋了。
2. 数据节点:存储数据
3. sql节点:向数据节点提交sql请求
其他的概念就先不详细说明了,因为我也不是很清楚。
二、准备工具
1. 集群版mysql。
下载地址: 传送门 。
2. 因为设备有限,所以就两台pc就好了,具体用途如下:
管理节点: A地址
数据节点: A地址 & B地址
sql节点: A地址 & B地址
所以,在启动管理节点的时候,可能会出现警告。(谁叫你穷呢,只要两台机器)
三、准备工作
1. 在管理节点(A主机)的c:\mysql\bin下面新建两个文件夹cluster-logs和config。前者用来存储日志,后者存放配置文件
2. 在config文件夹新建两个文件config.ini和my.ini。
(配置文件的格式有点乱啊。。。)
my.ini
[mysql_cluster]
# Options for management node process
config-file=C:/mysql/bin/config/config.ini
config.ini
[ndbd default]
# Options affecting ndbd processes on all data nodes:
NoOfReplicas=2 # Number of replicas
DataDir=C:/mysql/bin/cluster-data # Directory for each data node's data files
# Forward slashes used in directory path,
# rather than backslashes. This is correct;
# see Important note in text
DataMemory=80M # Memory allocated to data storage
IndexMemory=18M # Memory allocated to index storage
# For DataMemory and IndexMemory, we have used the
# default values. Since the "world" database takes up
# only about 500KB, this should be more than enough for
# this example Cluster setup.
[ndb_mgmd]
# Management process options:
HostName=A # Hostname or IP address of management node
DataDir=C:/mysql/bin/cluster-logs # Directory for management node log files
[ndbd]
# Options for data node "A":
HostName=A # Hostname or IP address
[ndbd]
# Options for data node "B":
HostName=B # Hostname or IP address
[mysqld]
# SQL node A options:
HostName=A # Hostname or IP address
[mysqld]
# SQL node B options:
HostName=B # Hostname or IP address
这两个文件的意思还是挺简单明了的。这里稍微讲一下config.ini文件。NoOfReplicas的值,根据数据节点的个数来填写就好。当然,也可以小于这个数,只是可能会产生数据不一致的情况而已(我其实还不是和清楚,以后再补充)。还有,上面提到一个 C:/mysql/bin/cluster-data 文件夹,新建一个就好,用来存放数据文件的。
3. 配置好A主机后,将整个mysq文件夹同步到B主机即可(不怕麻烦的话,可以自行再安装一份)
四、部署
mysql集群的启动顺序如下:
管理节点---》数据节点----》sql节点
注意,以下步骤,最好使用root权限启动cmd窗口。
1. 启动管理节点
执行命令: c:\mysql\bin\ndb_mgmd.exe --configdir=c:\mysql\bin\config --config-file=c:\mysql\bin\config\config.ini --ndb-nodeid=1 --reload –initial
这里指定了配置文件夹,配置文件和节点id。
突然想到一个事情,如果启动不成功,只要清理掉config文件夹下面的 非配置文件,然后重新启动即可。
2. 启动数据节点
执行命令:c:\mysql\bin\ndbd.exe --ndb-connectstring=A主机地址 --initial-start 。网上很多教程会忽略参数 --initial-start ,你可以先不用,出现问题的时候再回来加上。这个地方坑了我好久,总是出现莫名其妙的错误,后来在一个同事的帮忙下才解决(在ndbd --help里面找到的,我的脑子短路了没有留意这里)。
3. 启动sql节点
执行命令: c:\mysql\bin\mysqld.exe --ndbcluster --ndb-connectstring=A主机地址 --console。 这里开启集群模式,连接的是A主机。
4. 至此,应该是成功了,如果没有明显报错的话(这句话好像有点废。。。)
我们可以再开一个窗口,观察连接情况。执行命令: c:\mysql\bin\ndb_mgm,连接成功后,键入 show.
如果显示失败什么之类的,自行面壁去。。。这是管理节点的情况,可以进行对节点的操作,例如kill一个节点之类的,我没去了解,不懂。下次再了解。
五、测试集群时候成功
1. 在A节点创建数据,然后在B节点观察,看看会不会同步过来。至于怎么创建,我就不说了。这里有一点需要注意的是,一开始我创建的数据库会同步,但是数据表却没反应。有点坑,其实也正常,不然数据可能会乱套了。在建表的时候,只需要在sql语句末尾加上 engine=ndbcluster 即可,表示这个数据表参与集群活动,不然数据表不会同步的。
2. 在我的观察下,显示是成功的。
六、总结遇到的坑以及下一步的去向
现在看来,这个环境的搭建真的很简单,但是总会遇到各种乱七八糟的一脸蒙蔽的错误。
1. 数据节点连接不上的时候,可以上网查询答案,或者查看该命令的用法(command --help),或许可以找到答案。我发现自己的解决能力真的很一般。
2. 虽然搭建好这个东西,但是还有一大堆的事情完全不了解。譬如,如何管理节点,如何备份,如何负载均衡。。。出现异常如何快速定位错误并及时解决。还有很长很长的路要走。
3. 对于线上的项目,一般不会使用windows作为服务器,也不会将msql部署在win平台上,所以下一步要折腾linxu。至于我为什么会先弄windows,我只能说,我喜欢。
4. 最后,需要说明一下,并不是一个数据节点对应一个sql节点的。一般来说,如果数据节点太多的话,会降低性能;sql节点多的话,能提升并发量。