生产事故-数据库在线加字段导致整个平台故障

事件背景

晚上11点通过数据库sql审核平台(yearning)进行表结构变更,变更类型为在线添加字段。待添加表大约130万行,执行工具为在线ddl工具 pt-online-schema-change
,执行后发生整个数据库集群hang住,无法对外提供服务。

系统架构

生产数据库集群为mariadb-galera集群,共计5台,其中1台做为写节点,其他节点为读节点。整体架构图如下


image.png

公司使用该集群为历史遗留问题,初步判断当时创建该集群是为了防止单节点故障,毕竟5台节点都是主节点,都可以写入。

事件过程

  • 11:25开始执行添加索引的sql,此时Prometheus已经存在部分告警,但是我认为是性能抖动,就忽略此次告警了
  • 11:45开始执行添加字段操作,执行完成后,接口的ELK告警频发,当时已经知道是出故障了。
  • 11:46开始检查数据库负载,发现load1 比平时高了3倍左右
  • 11:47 此时尝试kill 添加字段的sql线程,但是一直提示root不是这个线程的主人,无法KILL
  • 11:50 此时尝试进行重启数据库来规避此问题,已经出现客户保障,运维领导开始介入
  • 12:00 开始进行切数据库操作,把haproxy指向新的数据库集群(此集群为生产集群的备用集群)

事件造成影响

数据库集群不可用状态大概持续40min,公司依赖数据库的服务全部不可用,客户进行保障和投诉。

事件问题分析

sql执行如下:

alter table table add column col1 varchar(36) not null default '';

该表数据量并不大,只有130万,但是该表更新较为频繁,会频繁进行update,并且该表的查询会使用加锁的方式执行,
示例

select * from table where xxx=xxx for update;

本次sql执行时间为1000s,最后依然报错,后面在测试环境进行复盘,假如对于for update的表进行在线添加字段,
pt工具在insert会进行LOCK IN SHARE MODE 加锁操作,此锁和 for update锁产生冲突,导致元数据锁的产生。

后续解决方案:

  • 生产环境执行ddl一定需要和开发同事沟通是否待操作的表更新频繁,是否使用锁,不可以认为小表操作一定安全。
  • 新版本数据库支持 wait N 语法,假如在规定时间内未获取到锁,则自动回退,但是生产该参数设置较大,未能在规定时间内进行sql回滚
  • 新版本数据库执行各类online-ddl算法(COPY,INPLACE,NOCOPY,INSTANT),使用指定算法进行在线表字段变更。

对于小表我们进行在线添加索引,如下为操作步骤:
show open tables where in_use >=1;
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS;
SET SESSION alter_algorithm='INSTANT';
ALTER TABLE xxx wait 10 ADD COLUMN xxx VARCHAR(36)

总结

  • 对生产环境操作太随意,生产环境操作要加倍注意,尤其是数据库!
  • 对于业务的了解太少,假如不发生此次故障,根本不知道一个130万的表更新和查询会非常频繁,只是想当然认为count才130万,执行应该很快
  • 对于数据库参数的认识不足,lock_wait_timeout和innodb_lock_wait_timeout 等,假如故障那天这两个参数都设置为5s,就是发生锁冲突,和元数据锁,也会很快因为锁超时而回滚,而不是一直等待。
  • 对于在线sql添加工具原理认识不足,使用工具需要充分学习其操作原理。

你可能感兴趣的:(生产事故-数据库在线加字段导致整个平台故障)