第26问:information_schema.columns 表上做查询慢,怎么办?

image

问题

我们有一个 SQL,用于找到没有主键 / 唯一键的表,但是在 MySQL 5.7 上运行特别慢,怎么办?

第26问:information_schema.columns 表上做查询慢,怎么办?_第1张图片

实验

我们搭建一个 MySQL 5.7 的环境,此处省略搭建步骤。

写个简单的脚本,制造一批带主键和不带主键的表:

第26问:information_schema.columns 表上做查询慢,怎么办?_第2张图片

执行一下脚本:

image

现在执行以下 SQL 看看效果:

第26问:information_schema.columns 表上做查询慢,怎么办?_第3张图片

...

第26问:information_schema.columns 表上做查询慢,怎么办?_第4张图片

执行了 16.80s,感觉是非常慢了。

现在用一下 DBA 三板斧,看看执行计划:

第26问:information_schema.columns 表上做查询慢,怎么办?_第5张图片

感觉有点惨,由于 information_schema.columns 是元数据表,没有必要的统计信息。

那我们来 show warnings 看看 MySQL 改写后的 SQL:

第26问:information_schema.columns 表上做查询慢,怎么办?_第6张图片

我们格式化一下 SQL:

第26问:information_schema.columns 表上做查询慢,怎么办?_第7张图片

可以看到 MySQL 将

select from A where A.x not in (select x from B) //非关联子查询

转换成了

select from A where not exists (select 1 from B where B.x = a.x) //关联子查询

如果我们自己是 MySQL,在执行非关联子查询时,可以使用很简单的策略:

select from A where A.x not in (select x from B where ...) //非关联子查询:
1. 扫描 B 表中的所有记录,找到满足条件的记录,存放在临时表 C 中,建好索引
2. 扫描 A 表中的记录,与临时表 C 中的记录进行比对,直接在索引里比对,

而关联子查询就需要循环迭代:

select from A where not exists (select 1 from B where B.x = a.x and ...) //关联子查询
扫描 A 表的每一条记录 rA:
     扫描 B 表,找到其中的第一条满足 rA 条件的记录。

显然,关联子查询的扫描成本会高于非关联子查询。

我们希望 MySQL 能先"缓存"子查询的结果(缓存这一步叫物化,MATERIALIZATION),但MySQL 认为不缓存更快,我们就需要给予 MySQL 一定指导。

第26问:information_schema.columns 表上做查询慢,怎么办?_第8张图片

...

第26问:information_schema.columns 表上做查询慢,怎么办?_第9张图片

可以看到执行时间变成了 0.67s。

整理

我们诊断的关键点如下:

  1. 对于 information_schema 中的元数据表,执行计划不能提供有效信息。
  2. 通过查看 MySQL 改写后的 SQL,我们猜测了优化器发生了误判。
  3. 我们增加了 hint,指导 MySQL 正确进行优化判断。

但目前我们的实验仅限于猜测,猜中了万事大吉,猜不中就无法做出好的诊断。

下一期,我们将试着用 optimizer trace 功能,对这次优化器的误判进行分析。


关于 MySQL 的技术内容,你们还有什么想知道的吗?赶紧留言告诉小编吧!

image

你可能感兴趣的:(mysql)