MySQL高可用

  • MMM:MySQL主主复制管理器是一套灵活的脚本程序,基于perl实现,用来对mysqk replication进行监控和故障迁移,并能管理mysql master-master复制的配置(同一时间只有一个节点是可写的)

  • MHA:对主节点进行监控,可实现自动故障转移至其他从节点,通过提升某一节点为新的主节点,基于主从复制实现,还需要客户端配合时间,目前MHA主要支持一主多从的架构,要搭建MHA,要求一个复制集群汇总最少有三台数据库服务器,一主二从,即一太充当master,一台充当备用master,另外一台充当从库,由于机器成本的考虑,阿里巴巴对其进行了改造,目前TMHA已支持一主一从

  • Galera Cluster:wsrep(MySQL extended with the Write Set Replication),通过wsrep协议在全局实现复制,在任何一节点可读写,不需要主从复制,实现多主写

  • GR:MySQL官方提供的组复制技术(MySQL 5.7.17引入的技术),基于原生复制技术Paxos算法

MHA的工作原理:

  1. 从宕机崩溃的master保存二进制日志事件(binlog event)
  2. 识别含有最新的更新的slave
  3. 应用差异的中继日志(relay log)到其他的slave
  4. 应用从master保存的二进制日志事件
  5. 提升一个slave为新的master
  6. 使其他的slave连接新的master进行复制

MHA软件包的两个组成部分:

- Manager工具包:
    masterha_check_ssh      检查MHA的ssh配置情况
    masterha_check_repl     检查MySQL复制状况
    masterha_manager        启动MHA
    masterha_check_status   检测当前MHA运行状态
    masterha_master_monitor 检测master是否宕机
    masterha_master_switch  故障转移(自动或手动)
    masterha_conf_host      添加或删除配置的server信息
- Node工具包:
    save_biary_logs     保存和复制master的二进制日志
    apply_diff_relay_logs   去除不必要的rollback时间(MHA已不再使用)
    purge_relay_logs        清除中继日志(不会阻塞SQL线程)

注:

  1. 这些工具通常是由MHA Manager的脚本触发,无需人为操作
  2. 为了尽可能的减少主库硬件损坏宕机造成数据丢失,因此在此配置的MHA的同时建议配置成MySQL5.5的半同步复制
- 自定义扩展:
    secondary_check_script      通过多条网络路由检测master的可用性
    mater_ip_ailover_script     更新application使用的master ip
    shutdown_script         强制关闭master节点
    report_script           发送报告
    init_conf_load_script       加载初始化配置参数
    master_ip_online_change_script  更新master节点ip地址

配置文件:

    global配置:为各个application提供默认配置
    application配置:为每个主从复制集群提供默认配置

软件包:

  • 管理节点的软件包:
    mha4mysql-manager
    mha4mysql-node
  • 在被管理节点安装:
    mha4mysql-node

    注:
    1.管理节点与主从节点要实现ssh基于key验证
    2.所有节点的时间要同步

实现MHA:

  1. 在所有节点实现相互之间ssh key验证

  2. 在管理节点建立配置文件:
    vim /etc/mastermha/app1.cnf
        [server default]    #MAH节点配置
        user=mhauser        #管理主从节点的账号
        password=admin123                           
        manager_workdir=/data/mastermha/app1/
        manager_log=/data/mastermha/app1/manager.log
        remote_workdir=/data/mastermha/app1/
        ssh_user=root       #通过ssh协议连接的用户
        repl_user=repluser  #主从同步的用户
        repl_password=admin123
        ping_interval=1     #检测master节点正常与否的频率
        [server1]
        hostname=172.22.45.131 #master节点
        candidate_master=1
        [server2]
        hostname=172.22.45.132 #master节点故障后,默认将此从节点提升为master
        candidate_master=1
        [server3]
        hostname=172.22.45.133
  3. 主节点配置:

    [mysqld]
        log-bin
        server_id=1
        skip_name_resolve=131
    
    mysql>show master logs
    
    mysql>grant replication slave on *.* to repluser@'172.22.45.131.%' identified by 'admin123';
    
    mysql>grant all on *.* to mhauser@'172.22.45.131.%' identified by 'admin123';
  4. 从节点1:

    vim /etc/my.cnf
        [mysqld]
        server_id=132 
        log-bin
        read_only
        relay_log_purge=0
        skip_name_resolve=1
    
    mysql>CHANGE MASTER TO MASTER_HOST='172.22.45.131',MASTER_USER='repluser', MASTER_PASSWORD='admin123',MASTER_LOG_FILE='mariadb-bin.000001', MASTER_LOG_POS=245;
  5. 从节点2:

        vim /etc/my.cnf
        [mysqld]
        server_id=133 
        log-bin
        read_only
        relay_log_purge=0
        skip_name_resolve=1
    
        mysql>CHANGE MASTER TO MASTER_HOST='172.22.45.131',MASTER_USER='repluser', MASTER_PASSWORD='admin123',MASTER_LOG_FILE='mariadb-bin.000001', MASTER_LOG_POS=245;
  6. 验证启动:
    • Mha节点验证和启动
      masterha_check_ssh --conf=/etc/mastermha/app1.cnf
      # 验证ssh基于key验证是否正确 
      masterha_check_repl --conf=/etc/mastermha/app1.cnf
      # 验证主从服务器同步是否正确
      masterha_manager --conf=/etc/mastermha/app1.cnf
    • 排错日志: /data/mastermha/app1/manager.log
  7. 测试:
    杀掉mysql master主进程后看到MHA管理端退出并报告:
    MySQL Master failover 172.22.45.131(172.22.45.131:3306) to 172.22.45.132(172.22.45.132:3306)

    • 将master从172.22.45.131迁移为172.22.45.132
    • 同时将172.22.45.132的read_only的值改为0:
          select @@read_only;  
              +-------------+  
              | @@read_only |  
              +-------------+  
              |           0 |  
              +-------------+  
    • 将172.22.45.133的主从复制的主服务器指向改为172.22.45.132

Galera Cluster:

    继承了Galera插件的MySQL集群,是一种新型的,数据不共享的,高度冗余的高可用方案,目前目前Galera Cluster有两个版本,分别是Percona Xtradb Cluster及MariaDB Cluster,Galera本身是具有多主特性的,即采用multi-master的集群架构,是一个既稳健,又在数据一致性、完整性及高性能方面有出色表现的高可用解决方案

    如:三个节点组成了一个集群,与普通的主从架构不同,它们都可以作为主节点,三个节点是对等的,称为multi-master架构,当有客户端要写入或者读取数据时,连接哪个实例都是一样的,读到的数据是相同的,写入某一个节点之后,集群自己会将新数据同步到其它节点上面,这种架构不共享任何数据,是一种高冗余架构
  • 特点:

    • 多主架构:真正的多点读写的集群,在任何时候读写数据,都是罪行的
    • 同步复制:集群不同节点之间的数据同步,没有延迟在数据库挂掉之后,数据不会丢失
    • 并发复制:从节点APPLY数据时,支持并行执行,更好的性能
    • 故障切换:在出现数据库故障时,因支持多点写入,切换容易
    • 热插拔:在服务期间,如果数据库挂了,只要监控程序发现的够快,不可服务时间就会非常少。在节点故障期间,节点本身对集群的影响非常小
    • 自动节点克隆:在新增节点,或者停机维护时,增量数据或者基础数据不需要人工手动备份提供,Galera Cluster会自动拉取在线节点数据,最终集群会变为一致
    • 对应用透明:集群的维护,对应用程序是透明的
  • Galera Cluster包括两个组件:
    • Galera replication library (galera-3)
    • WSREP:MySQL extended with the Write Set Replication
  • WSREP复制实现:
    • PXC:Percona XtraDB Cluster,是Percona对Galera的实现
    • MariaDB Galera Cluster
      • 参考仓库:https://mirrors.tuna.tsinghua.edu.cn/mariadb/mariadb-5.5.64/yum/centos7-amd64/

        注意:都至少需要三个节点,不能安装mariadb-server

安装部署:

  1. 创建yum源并安装:
    vim /etc/yum.repos.d/ganlera.repo
        [galera]
        baseurl=https://mirrors.tuna.tsinghua.edu.cn/mariadb/mariadb-5.5.64/yum/centos7-amd64/
        gpgcheck=0
    yum install MariaDB-Galera-server
  2. 更改配置文件:

    vim /etc/my.cnf.d/server.cnf
        [galera]
        wsrep_provider = /usr/lib64/galera/libgalera_smm.so #模块文件路径
        wsrep_cluster_address="gcomm://172.22.45.131,172.22.45.132,172.22.45.133" #集群节点
        binlog_format=row #二进制日志记录格式
        default_storage_engine=InnoDB #存储引擎
        innodb_autoinc_lock_mode=2
        bind-address=0.0.0.0
    
        #下面配置可选项
            wsrep_cluster_name = 'mycluster'#集群名默认my_wsrep_cluster
            wsrep_node_name = 'node1' #每个节点的名字
            wsrep_node_address ='172.22.45.134'
  3. 启动

    首次启动时,需要初始化集群,在其中一个节点上执行命令

    • service mysql start --wsrep-new-cluster:开启一个新的集群节点
    • 而后正常启动其它节点
      service mysql start
    • 查看集群中相关系统变量和状态变量
      SHOW VARIABLES LIKE 'wsrep%';
      SHOW STATUS LIKE 'wsrep
      %';
      SHOW STATUS LIKE 'wsrep_cluster_size'; 查看集群节点个数