生产环境mysql安装规划及调优实践(二)--mysql8.0.29为例

上一篇讲了如何安装mysql，这一篇讲一下主从复制的设置，以及生产常用的参数设置。

因为mysql的生产使用场景不同，所以不同的使用场景下，参数配置也要针对不同的业务来进行设置。比如是倾向于快速更新，还是倾向于大查询，或者是倾向于高并发。又或者是并发不高，更倾向于单连接的执行速度。

还有缓冲命中等问题，比如查询的重复度高不高之类。

废话不多说，先上主从服务器的生产配置。

主从服务器生产环境配置

主服务器10.10.10.1

[mysqld]
#基础参数
user = bdusr
port = 3306
character-set-server = UTF8MB4
default-storage-engine = INNODB
datadir = /data/mysql/data
socket = /data/database/mysql.sock
log-error = /data/database/log/mysqld.log
pid-file = /data/database/mysqld.pid
##禁用DNS查找
skip_name_resolve
##确保sysdate()返回与now一致
sysdate-is-now = 1

#特定参数
symbolic-links = 0
##这个部分根据业务，自行制定，通常不要随便变动生产环境的，否则可能导致本来可以正常运行的历史应用无法使用。
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
innodb_flush_log_at_trx_commit = 0
lower_case_table_names = 1
##控制mysql可以接受的包的最大的大小，这个主从服务器要一致
max_allowed_packet = 128M
max_heap_table_size = 128M
tmp_table_size = 16M




#文件句柄、连接限制、超时参数
open_files_limit = 100000
table_open_cache = 8000
max_length_for_sort_data = 8096




max_connections = 500
max_connect_errors = 1000000


wait_timeout = 36000
interactive_timeout = 36000


#内存性能调优参数
###innodb_buffer_pool_size通常设置为服务器可用内存的70%[(总内存-每个线程需要的内存*连接数)-系统保留内存]
innodb_buffer_pool_size = 100G
innodb_buffer_pool_instances = 50
innodb_buffer_pool_chunk_size = 1G

####内存临时表大小，如果超出这个大小，则会生成磁盘临时表
tmp_table_size=256m
max_heap_table_size=256m


###针对每个链接线程使用的内存，注意是每个链接，只要有相应的查询需要，链接就会被分配对应的内存。所以要结合连接数来设置，防止内存溢出。
####每个线程分配的链接缓冲区大小，如果一个连接中关联了多个表，那么就会针对每个表分配如下尺寸的缓冲区，不易太大。
join_buffer_size = 8M
####链接只要涉及查询，就会分配该尺寸的内存缓冲
sort_buffer_size = 16M
####这个参数必须是4K的整数倍，连接涉及到全表扫描时，就会一次性全额分配
read_buffer_size = 8M
####索引缓冲区的大小，连接涉及到操作时，mysql会根据需要分配指定的内存
read_rnd_buffer_size = 16M




innodb_sort_buffer_size = 64M
myisam_sort_buffer_size = 64M

#I/O调优参数
#单个日志文件大小
innodb_log_file_size=128M
#日志缓存大小，通常1秒左右就会刷新日志缓冲进入文件，所以不需太大，能存储1秒的事务就可以。
innodb_log_buffer_size=32M
#日志刷新的频率
innodb_flush_log_at_trx_commit=2


###linux下flush_method设置为O_DIRECT,相当于通知操作系统关闭操作系统缓冲，所有读写都通过存储设备来完成。
innodb_flush_method = O_DIRECT
###控制innodb双写缓冲,增加数据安全性
innodb_doublewrite = 1
###为每一个innodb表建立单独的表空间，而不是都塞在系统表空间下
innodb_file_per_table = 1




#主从同步、bin-log配置
##关键配置
log-bin = /data/database/binlog/mysql-bin.log
###服务器id，master和slaver的不能一样
server-id = 1


##可选配置
binlog_cache_size = 20M
###忽略主从同步的库(mysql库放里面，意味着用户等主从得手动两边建)
binlog-ignore-db = mysql
### binlog的格式，5.7版本之后建议row,另外一种是mixed混合式
binlog_format = row
###与binlog_format参数配合使用，减少日志量，默认是full，会导致binlog比较大，给主从复制带来不必要的开销
binlog_row_image = minimal
###binlog同步到磁盘的频率
sync_binlog = 100


###mysql8.0已作废参数,用下面的参数替代
####expire_logs_days
####slave-skip-errors
####log-slave-updates


###配置二进制日志自动删除/过期时间，单位秒，默认值为2592000，即30天；8.0.3版本之前使用expire_logs_days，单位天数，默认值为0，表示不自动删除。
binlog_expire_logs_seconds = 2592000
###跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断，默认OFF关闭，可选值有OFF、all、ddl_exist_errors以及错误码列表。8.0.26版本之前使用slave_skip_errors。如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
replica_skip_errors = all
### log_replica_updates 替代log-slave-updates参数，本场景中。不存在从库作为其它库的主库的情况。on 时从库写binlog时，主从同步的从I/O线程读取主库binlog也写入从库的binlog，默认不开启。








#不使用X plugin协议，不用监听33060端口!需要使用的自己改
mysqlx = 0
mysqlx_interactive_timeout = 36000
mysqlx_wait_timeout = 36000


[client]
port = 3306
socket = /data/database/mysql.sock

从服务器10.10.10.2

[mysqld]
#基础参数
user = bdusr
port = 3306
character-set-server = UTF8MB4
default-storage-engine = INNODB
datadir = /data/database/data
socket = /data/database/mysql.sock
log-error = /data/database/log/mysqld.log
pid-file = /data/database/mysqld.pid
##禁用DNS查找
skip_name_resolve
##确保sysdate()返回与now一致
sysdate-is-now = 1

#特定参数，主备需一致
symbolic-links = 0
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
innodb_flush_log_at_trx_commit = 0
lower_case_table_names = 1
##控制mysql可以接受的包的最大的大小，主备需一致
max_allowed_packet = 128M
max_heap_table_size = 128M
tmp_table_size = 16M




#文件句柄、连接限制、超时参数
open_files_limit = 100000
table_open_cache = 8000
max_length_for_sort_data = 8096




max_connections = 500
max_connect_errors = 1000000


wait_timeout = 36000
interactive_timeout = 36000


#内存性能调优参数
###innodb_buffer_pool_size通常设置为服务器可用内存的70%。[(总内存-每个线程需要的内存*连接数)-系统保留内存]
innodb_buffer_pool_size = 100G
innodb_buffer_pool_instances = 50
innodb_buffer_pool_chunk_size = 1G

####内存临时表大小，如果超出这个大小，则会生成磁盘临时表
tmp_table_size=256m
max_heap_table_size=256m

###针对每个链接线程使用的内存，注意是每个链接，只要有相应的查询需要，链接就会被分配对应的内存。所以要结合连接数来设置，防止内存溢出。
####每个线程分配的链接缓冲区大小，如果一个连接中关联了多个表，那么就会针对每个表分配如下尺寸的缓冲区，不易太大。
join_buffer_size = 8M
####链接只要涉及查询，就会分配该尺寸的内存缓冲
sort_buffer_size = 16M
####这个参数必须是4K的整数倍，连接涉及到全表扫描时，就会一次性全额分配
read_buffer_size = 8M
####索引缓冲区的大小，连接涉及到操作时，mysql会根据需要分配指定的内存
read_rnd_buffer_size = 16M


innodb_sort_buffer_size = 64M
myisam_sort_buffer_size = 64M



#I/O调优参数
#单个日志文件大小
innodb_log_file_size=128M
#日志缓存大小，通常1秒左右就会刷新日志缓冲进入文件，所以不需太大，能存储1秒的事务就可以。
innodb_log_buffer_size=32M
#日志刷新的频率
innodb_flush_log_at_trx_commit=2

###linux下flush_method设置为O_DIRECT,相当于通知操作系统关闭操作系统缓冲，所有读写都通过存储设备来完成。
innodb_flush_method = O_DIRECT
###控制innodb双写缓冲,增加数据安全性
innodb_doublewrite = 1
###为每一个innodb表建立单独的表空间，而不是都塞在系统表空间下
innodb_file_per_table = 1




#主从同步、bin-log配置
##关键配置(从服务器)
log-bin = /data/database/binlog/mysql-bin.log
###服务器id，master和slaver的不能一样
server-id = 2
# relay_log配置中继日志，默认采用 主机名-relay-bin 的方式保存日志文件，主机名修改会导致主从复制无法启动或启动失败。因此要指定
#relay_log = replicas-mysql-relay-bin  



##可选配置
###禁用slave自动恢复，从库如果宕机，重启后，主从同步需要人工来启动！
skip_slave_start
binlog_cache_size = 20M
###忽略主从同步的库(mysql库放里面，意味着用户等主从得手动两边建)
binlog-ignore-db = mysql
### binlog的格式，5.7版本之后建议row,另外一种是mixed混合式
binlog_format = row
###与binlog_format参数配合使用，减少日志量，默认是full，会导致binlog比较大，给主从复制带来不必要的开销
binlog_row_image=minimal
###binlog同步到磁盘的频率
sync_binlog = 100


###mysql8.0已作废参数,用下面的参数替代
####expire_logs_days
####slave-skip-errors
####log-slave-updates


###配置二进制日志自动删除/过期时间，单位秒，默认值为2592000，即30天；8.0.3版本之前使用expire_logs_days，单位天数，默认值为0，表示不自动删除。
binlog_expire_logs_seconds = 2592000
###跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断，默认OFF关闭，可选值有OFF、all、ddl_exist_errors以及错误码列表。8.0.26版本之前使用slave_skip_errors。如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致。这里设置成all，跳过所有错误是有可能导致主从不一致的，需要注意。只能针对不是特别严谨要求的主从复制的情况。定期需人工巡检主从记录数是否一致，这个有很多工具都能实现。
replica_skip_errors = all
### log_replica_updates 替代log-slave-updates参数，本场景中。不存在从库作为其它库的主库的情况。on 时从库写binlog时，主从同步的从I/O线程读取主库binlog也写入从库的binlog，默认不开启。

# log_replica_updates表示slave是否将复制事件写进自己的二进制日志，默认值ON开启；8.0.26版本之前使用log_slave_updates。如果从服务器后面还有复制服务器，那么这个选项必须ON
log_replica_updates = ON
# read_only阻止任何没有super权限的用户对库进行写操作，可以防止从库被写。视自己的业务场景情况而定。
# read_only = ON




#不使用X plugin协议，不用监听33060端口!视自己是否需要使用该新特性来开启。
mysqlx = 0
mysqlx_interactive_timeout = 36000
mysqlx_wait_timeout = 36000


[client]
port =3306
socket = /data/database/mysql.sock

主库中创建主从同步用户

网上大多数的例子都是创建repl用户，来作为主从同步的用户。生产配置，考虑到黑暗森林法则，越是通用的网上的东西，越要少用，尤其是用户名。所以呢，这里也只是个示例名称，生产的用户名是一般不会外泄的。黑暗森林法则，玩的就是我知道，而你不知道！！！这里以masttos为例 

mysql> CREATE USER 'masttos'@'%' IDENTIFIED WITH mysql_native_password BY '1qaz@WSX';

mysql> GRANT REPLICATION SLAVE ON *.* TO 'masttos'@'%';

mysql> FLUSH PRIVILEGES;

注意这里，WITH mysql_native_password 指定了密码插件，依然使用老的。如果不指定，会使用8.0的新的密码插件。

主库备份并导入备库

对于新的主从配置，要先在主库执行备份。如下所示。

在执行之前最好先在主库，看一下master的状态。记录下binlog文件名和Position

mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |      157 |              | mysql            |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

然后在主库执行如下备份语句，备份语句不会锁库，所以建议先备份不活跃的库。最后备份业务频繁的库。由于备份之前，先看了MASTER的信息，后期同步的时候，备份期间库内发生的变动，会在从库执行！这一点注意！！对于部分update语句，可能导致主从数值不一致的情况。如果要求特别严格的一致，那么最好是要把主库锁了进行备份。database_name就是要备份的库名。一个库，一个库的备份。对于恢复的时候，操作比较方便。如果有问题，也只影响一个库。

mysqldump -uroot -p  database_name  --hex-blob  --default-character-set=utf8 --max_allowed_packet=512M --complete-insert --insert-ignore  --skip-opt  --create-options --single-transaction  -q -e --no-autocommit  -R  --events  --result-file=./database_name.sql

把备份文件复制到从库所在主机，然后执行下面的命令，恢复从库。

mysql -uroot -p database_name< ./database_name.sql

启动主从同步

在从库，执行以下语句，更新主从同步信息

mysql> CHANGE REPLICATION SOURCE TO SOURCE_HOST='10.10.10.1',SOURCE_PORT=3306,SOURCE_USER='masttos',SOURCE_PASSWORD='1qaz@WSX',SOURCE_LOG_FILE='mysql-bin.000002',SOURCE_LOG_POS=157;

这里需要注意：

如果报错

[ERROR] [MY-010584] [Repl] Slave I/O for channel '': error connecting to master '[email protected]:3306' - retry-time: 60 retries: 10 message: Authentication plugin 'caching_sha2_password' reported error: Authentication requires secure connection. Error_code: MY-002061

一般是因为主从同步用户的密码插件导致的。解决办法两种：

1、到主库去修改主从同步的用户的密码插件：

ALTER USER 'masttos'@'%' IDENTIFIED WITH mysql_native_password BY '1qaz@WSX';

2、在配置主从同步的时候增加 GET_MASTER_PUBLIC_KEY = {0|1} 的选项。

此选项适用于使用GET_MASTER_PUBLIC_KEY身份验证插件进行身份验证的副本。对于使用此插件进行身份验证的帐户连接，除非请求，否则源不会发送公钥，因此必须在客户端请求或指定公钥。如果给出了MASTER_PUBLIC_KEY_PATH并指定了有效的公钥文件，则它优先于GET_MASTER_PUBLIC_KEY。如果您使用的复制用户帐户使用caching_sha2_password插件（MySQL 8.0中的默认插件）进行身份验证，并且您没有使用安全连接，则必须指定此选项或MASTER_PUBLIC_KEY_PATH选项，以向复制副本提供RSA公钥。

如果复制用户的身份验证插件是：caching_sha2_password，则需要指定GET_MASTER_PUBLIC_KEY=1；

 CHANGE REPLICATION SOURCE TO SOURCE_HOST='10.10.10.1',SOURCE_PORT=3306,SOURCE_USER='masttos',SOURCE_PASSWORD='1qaz@WSX',SOURCE_LOG_FILE='mysql-bin.000002',SOURCE_LOG_POS=157,GET_MASTER_PUBLIC_KEY=1;

这里要注意：SOURCE_LOG_FILE和SOURCE_LOG_POS，最好从库里查出来。不然对于已经在主从同步的库来说，可能造成主从同步不一致。

从节点：启动主从同步：

mysql> START REPLICA;

mysql> SHOW REPLICA STATUS\G;
*************************** 1. row ***************************
             Replica_IO_State: Waiting for source to send event
                  Source_Host: 10.10.10.1
                  Source_User: masttos
                  Source_Port: 3306
                Connect_Retry: 60
              Source_Log_File: mysql-bin.000002
          Read_Source_Log_Pos: 4848500
               Relay_Log_File: replicas-mysql-relay-bin.000002
                Relay_Log_Pos: 4848669
        Relay_Source_Log_File: mysql-bin.000002
           Replica_IO_Running: Yes
          Replica_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Source_Log_Pos: 4848500
              Relay_Log_Space: 4848888
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Source_SSL_Allowed: No
           Source_SSL_CA_File:
           Source_SSL_CA_Path:
              Source_SSL_Cert:
            Source_SSL_Cipher:
               Source_SSL_Key:
        Seconds_Behind_Source: 0
Source_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Source_Server_Id: 1
                  Source_UUID: 4645727d-bd18-11ea-a999-e8611f255e14
             Source_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
    Replica_SQL_Running_State: Replica has read all relay log; waiting for more updates
           Source_Retry_Count: 86400
                  Source_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Source_SSL_Crl:
           Source_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Source_TLS_Version:
       Source_public_key_path:
        Get_Source_public_key: 0
            Network_Namespace:
1 row in set (0.00 sec)

Mysql生产级别配置，以及主从同步配置至此全部完成。

养成一个良好的习惯，配置文件里加好备注，不同功能的参数放在不同的区域。这样优化时不乱，调参时有的放矢，也不乱！