MySQL Cluster基础知识简介以及基本参数介绍

ＰＳ：这些资料都是以前整理的，有些有可能是在网上ｃｏｐｙ别人的，但是时间长了，记不得出处了，ｓｏｒｒｙ！

在MySQL Cluster环境的配置文件config.ini里面，每一类节点都有两个（或以上）的相应配置项组，每一类节点的配置项都主要由两部分组成，一部分是 同类所有节点相同的配置项组，在[NDB_MGM DEFAULT]、[NDBD DEFAULT]和[MySQLD DEFAULT]这三个配置组里面，而且每一个配置组只出现一次；而另外一部分则是针对每一个节点独有配置内容的配置项组 [NDB_MGM]、[NDBD]和[MySQLD]，由于这三类配置组中配置的每一个节点独有的个性化配置，所以每一个配置组都可能会出现多次（每一个 节点一次）。下面是每一类节点的各种配置说明，总体结构如下图所示：

                                                         

1、管理节点相关配置
在整个MySQL Cluster环境中，管理节点相关的配置为[NDBD_MGM DEFAULT]和[NDB_MGMD]相关的两组：
1) [NDB_MGMD DEFAULT]中各管理节点的共用配置项：
PortNumber：配置管理节点的服务端程序（ndb_mgmd）监听客户端（ndb_mgm）连接请求和发送的指令，从文档上可以查找到，默认端口 是1186端口。一般来说这一项不需要更改，当然如果是为了在同一台主机上面启动多个管理节点的话，肯定需要将两个管理节点启动不同的监听端口；


LogDestination：配置管理节点上面的cluster日志处理方式。
a) 可以写入文件如：LogDestination=FILE:filename=my-cluster.log,maxsize=500000,maxfiles=4；
b) 也可以通过标准输出来打印出来如：LogDestination=CONSOLE；
c) 还可以计入syslog里面如：LogDestination=SYSLOG:facility=syslog；
d) 甚至多种方式共存：LogDestination=CONSOLE;SYSLOG:facility=syslog;FILE:filename=/var/log/cluster-log


Datadir：设置用于管理节点存放文件输出的位置。如process文件（.pid）,cluster log文件（当LogDestination有FILE处理方式存在时候）。


ArbitrationRank：配置各节点在处理某些事件出现分歧的时候的级别。有0，1，2三个值可以选择。
a) 0代表本节点完全听其他节点的，不参与决策
b) 1代表本节点有最高优先权，“一切由我来决策”
c) 2代表本节点参与决策，但是优先权较1低，但是比0高
ArbitrationRank参数不仅仅管理节点有，MySQL节点也有。而且一般来说，所有的管理节点一般都应该设置成1，所有SQL节点都设置成2。


2) [NDB_MGMD]是每个管理节点配置一组，所需配置项如下（下面的参数只能设置在[NDB_MGMD]参数组中）：
Id：为节点指定一个唯一的ID号，要求在整个Cluster环境中唯一；
Hostname：配置该节点的IP地址或者主机名，如果是主机名，则该主机名必须要在配置文件所在的节点的/etc/hosts文件中存在，而且绑定的IP是准确的。


上面[NDB_MGMD DEFAULT]里面的所有参数项，都可以设置在下面的[NDB_MGMD]参数组里面，但是Id和Hostname两个参数只能设置在 [NDB_MGMD]里面，而不能设置在[NDB_MGMD DEFAULT]里面，因为这两个参数项针对每一个节点都是不相同的内容。


2、NDB节点相关配置
NDB节点和管理节点一样，既有各个节点共用的配置信息组[NDBD DEFAULT]，也有每一个节点个性化配置的[NDBD]配置组（实际上SQL节点也是如此）。
1) [NDBD DEFAULT]中的配置项：
NoOfReplicas：定义在Cluster环境中相同数据的分数，通俗一点来说就是每一份数据存放NoOfReplicas份。如果希望能够冗余， 那么至少设置为2（一般情况来说此参数值设置为2就够了），最大只能设置为4。另外，NoOfReplicas值得大小，实际上也就是node group大小的定义。NoOfReplicas参数没有系统默认值，所以必须设定，而且只能设置在[NDBD DEFAULT]中，因为此数值在整个Cluster集群中一个node group中所有的NDBD节点都需要一样。另外NoOfReplicas的数目对整个Cluster环境中NDB节点数量有较大的影响，因为NDB节点 总数量是NoOfReplicas * 2 * node_group_num；


DataDir：指定本地的pid文件，trace文件，日志文件以及错误日志子等存放的路径，无系统默认地址，所以必须设定；


DataMemory：设定用于存放数据和主键索引的内存段的大小。这个大小限制了能存放的数据的大小，因为ndb存储引擎需属于内存数据库引擎，需要将 所有的数据（包括索引）都load到内存中。这个参数并不是一定需要设定的，但是默认值非常小（80M），只也就是说如果使用默认值，将只能存放很小的数 据。参数设置需要带上单位，如512M，2G等。另外，DataMemory里面还会存放UNDO相关的信息，所以，事务的大小和事务并发量也决定了 DataMemory的使用量，建议尽量使用小事务；


IndexMemory：设定用于存放索引（非主键）数据的内存段大小。和DataMemory类似，这个参数值的大小同样也会限制该节点能存放的数据的 大小，因为索引的大小是随着数据量增长而增长的。参数设置也如DataMemory一样需要单位。IndexMemory默认大小为18M；


实际上，一个NDB节点能存放的数据量是会受到DataMemory和IndexMemory两个参数设置的约束，两者任何一个达到限制数量后，都无法再增加能存储的数据量。如果继续存入数据系统会报错“table is full”。


FileSystemPath：指定redo日志，undo日志，数据文件以及meta数据等的存放位置，默认位置为DataDir的设置，并且在 ndbd初始化的时候，参数所设定的文件夹必须存在。在第一次启动的时候，ndbd进程会在所设定的文件夹下建立一个子文件夹叫ndb_id_fs，这里 的id为节点的ID值，如节点id为3则文件夹名称为ndb_3_fs。当然，这个参数也不一定非得设置在[NDBD DEFAULT]参数组里面让所有节点的设置都一样（不过建议这样设置），还可以设置在[NDBD]参数组下为每一个节点单独设置自己的 FileSystemPath值；


BackupDataDir：设置备份目录路径，默认为FileSystemPath/BACKUP。


接下来的几个参数也是非常重要的，主要都是与并行事务数和其他一些并行限制有关的参数设置。


MaxNoOfConcurrentTransactions：设置在一个节点上面的最大并行事务数目，默认为4096，一般情况下来说是足够了的。这个参数值所有节点必须设置一样，所以一般都是设置在[NDBD DEFAULT]参数组下面；


MaxNoOfConcurrentOperations：设置同时能够被更新（或者锁定）的记录数量。一般来说可以设置为在整个集群中相同时间内可能被 更新（或者锁定）的总记录数，除以NDB节点数，所得到的值。比如，在集群中有两个NDB节点，而希望能够处理同时更新（或锁定）100000条记录，那 么此参数应该被设置为：100000 / 4 = 25000。此外，这里的记录数量并不是指单纯的表里面的记录数，而是指事物里面的操作记录。当使用到唯一索引的时候，表的数据和索引两者都要算在里面， 也就是说，如果是通过一个唯一索引来作为过滤条件更新某一条记录，那么这里算是两条操作记录。而且即使是锁定也会产生操作记录，比如通过唯一索引来查找一 条记录，就会产生如下两条操作记录：通过读取唯一索引中的某个记录数据会产生锁定，产生一条操作记录，然后读取基表里面的数据，这里也会产生读锁，也会产 生一条操作记录。MaxNoOfConcurrentOperations参数的默认值为32768。当我们额度系统运行过程中，如果出现此参数不够的时 候，就会报出“Out of operation records in transaction coordinator”这样的错误信息；


MaxNoOfLocalOperations：此参数默认是MaxNoOfConcurrentOperations * 1.1 的大小，也就是说，每个节点一般可以处理超过平均值的10%的操作记录数量。但是一般来说，MySQL建议单独设置此参数而不要使用默认值，并且将此参数 设置得更较大一些；


以下的三个参数主要是在一个事务中执行一条query的时候临时用到存储（或者内存）的情况下所使用到的，所使用的存储信息会在事务结束（commit或者rollback）的时候释放资源；


MaxNoOfConcurrentIndexOperations：这个参数和MaxNoOfConcurrentOperations参数比较类似， 只不过所针对的是Index的record而已。其默认值为8192，对伊一般的系统来说都已经足够了，只有在事务并发非常非常大的系统上才有需要增加这 个参数的设置。当然，此参数越大，系统运行时候为此而消耗的内存也会越大；


MaxNoOfFiredTriggers：触发唯一索引（hash index）操作的最大的操作数，这个操作数是影响索引的操作条目数，而不是操作的次数。系统默认值为4000，一般系统来说够用了。当然，如果系统并发 事务非常高，而且涉及到索引的操作也非常多，自然也就需要提高这个参数值的设置了；


TransactionBufferMemory：这个buffer值得设置主要是指定用于跟踪索引操作而使用的。主要是用来存储索引操作中涉及到的索引 key值和column的实际信息。这个参数的值一般来说也很少需要调整，因为实际系统中需要的这部分buffer量非常小，虽然默认值只是1M，但是对 于一般应用也已经足够了；


下面要介绍到的参数主要是在系统处理中做table scan或者range scan的时候使用的一些buffer的相关设置，设置的恰当可以既节省内存又达到足够的性能要求。


MaxNoOfConcurrentScans：这个参数主要控制在Cluster环境中并发的table scan和range scan的总数量平均分配到每一个节点后的平均值。一般来说，每一个scan都是通过并行的扫描所有的partition来完成的，每一个 partition的扫描都会在该partition所在的节点上面使用一个scan record。所以，这个参数值得大小应该是“scan record”数目 * 节点数目。参数默认大小为256，最大只能设置为500；


MaxNoOfLocalScans：和上面的这个参数相对应，只不过设置的是在本节点上面的并发table scan和range scan数量。如果在系统中有大量的并发而且一般都不使用并行的话，需要注意此参数的设置。默认为MaxNoOfConcurrentScans * node数目；


BatchSizePerLocalScan：该参用于计算在Localscan（并发）过程中被锁住的记录数，文档上说明默认为64；


LongMessageBuffer：这个参数定义的是消息传递时候的buffer大小，而这里的消息传递主要是内部信息传递以及节点与节点之间的信息传递。这个参数一般很少需要调整，默认大小为1MB大小；


下面介绍一下与log相关的参数配置说明，包括log level。这里的log level有多种，从0到15，也就是共16种。如果设定为0，则表示不记录任何log。如果设置为最高level，也就是15，则表示所有的信息都会通 过标准输出来记录log。由于这里的所有信息实际上都会传递到管理节点的cluster log中，所以，一般来说，除了启动时候的log级别需要设置为1之外，其他所有的log level都只需要设置为0就可以了。


NoOfFragmentLogFiles：这个参数实际上和Oracle的redo log的group一样的。其实就是ndb的redo log group数目，这些redo log用于存放ndb引擎所做的所有需要变更数据的事情，以及各种checkpoint信息等。默认值为8；


MaxNoOfSavedMessages：这个参数设定了可以保留的trace文件（在节点crash的时候参数）的最大个数，文档上面说此参数默认值为25。


LogLevelStartup：设定启动ndb节点时候需要记录的信息的级别（不同级别所记录的信息的详细程度不一样），默认级别为1；


LogLevelShutdown：设定关闭ndb节点时候记录日志的信息的级别，默认为0；


LogLevelStatistic：这个参数是针对于统计相关的日志的，就像更新数量，插入数量，buffer使用情况，主键数量等等统计信息。默认日志级别为0；


LogLevelCheckpoint：checkpoint日志记录级别（包括local和global的），默认为0；


LogLevelNodeRestart：ndb节点重启过程日志级别，默认为0；


LogLevelConnection：各节点之间连接相关日志记录的级别，默认0；


LogLevelError：在整个Cluster中错误或者警告信息的日志记录级别，默认0；


LogLevelInfo：普通信息的日志记录级别，默认为0。


这里再介绍几个用来作为log记录时候需要用到的Buffer相关参数，这些参数对于性能都有一定的影响。当然，如果节点运行在无盘模式下的话，则影响不大。


UndoIndexBuffer：undo index buffer主要是用于存储主键hash索引在变更之后产生的undo信息的缓冲区。默认值为2M大小，最小可以设置为1M，对于大多数应用来说，2M的 默认值是够的。当然，在更新非常频繁的应用里面，适当的调大此参数值对性能还是有一定帮助的。如果此参数太小，会报出677错误：Index UNDO buffers overloaded；


UndoDataBuffer：和undo index buffer类似，undo data buffer主要是在数据发生变更的时候所需要的undo信息的缓冲区。默认大小为16M，最小同样为1M。当这个参数值太小的时候，系统会报出如下的错 误：Data UNDO buffers overloaded，错误号为891；


RedoBuffer：Redo buffer是用redo log信息的缓冲区，默认大小为8M，最小为1M。如果此buffer太小，会报1221错误：REDO log buffers overloaded。


此外，NDB节点还有一些和metadata以及内部控制相关的参数，但大部分参数都基本上不需要任何调整，所以就不做进一步介绍。如果有兴趣希望详细了解，可以根据MySQL官方的相关参考手册，手册上面都有较为详细的介绍。


3、SQL节点相关配置说明
1) 和其他节点一样，先介绍一些适用于所有节点的[MySQLD DEFAULT]参数
ArbitrationRank：这个参数在介绍管理节点的参数时候已经介绍过了，用于设定节点级别（主要是在多个节点在处理相关操作时候出现分歧时候设定裁定者）的。一般来说，所有的SQL节点都应该设定为2；


ArbitrationDelay：默认为0，裁定者在开始裁定之前需要被delay多久，单位为毫秒。一般不需要更改默认值。


BatchByteSize：在做全表扫描或者索引范围扫描的时候，每一次fatch的数据量，默认为32KB；


BatchSize：类似BatchByteSize参数，只不过BatchSize所设定的是每一次fetch的record数量，而不是物理总量，默 认为64，最大为992（暂时还不知道这个值是基于什么理论而设定的）。在实际运行query的过程中，fetch的量受到BatchByteSize和 BatchSize两个参数的共同制约，二者取最小值；


MaxScanBatchSize：在Cluster环境中，进行并行处理的情况下，所有节点的BatchSize总和的最大值。默认值为256KB，最大值为16MB。


2) 每个节点独有的[MySQLD]参数组，仅有id和hostname参数需要配置，在之前各类节点均有介绍了，这里就不再累述。


ODirect参数：
that ODirect=1 can cause io errors (os err code 5) on some systems. You must test.