MySQL Sending data导致表查询慢的问题剖析

最近在代码优化中,发现了一条sql语句非常的慢,于是就用各种方法进行排查,最后终于找到了原因。

一、事故现场

SELECT og.goods_barcode, og.color_id, og.size_id, SUM(og.goods_number) AS sold_number FROM order o 
LEFT JOIN order_goods og ON o.order_id = og.order_id WHERE o.is_send = 0 AND o.shipping_status = 0 
AND o.create_time > '2017-10-10 00:00:00' AND o.ck_id = 1 AND og.goods_id = 13421 AND o.is_separate = 1 AND o.order_status IN (0, 1) AND og.is_separate = 1 
GROUP BY og.color_id, og.size_id

上面的这条语句是一个联表分组查询语句。

执行结果:

我们可以看到,这条语句用了 1.300 秒, 而 Sending data 就用了 1.28 秒,占用了将近 99% 的时间,所以,我们对这个进行优化。

怎么优化呢?

二、SQL语句分析三板斧

1、explain分析

对上边的语句进行 explain 分析:

explain SELECT og.goods_barcode, og.color_id, og.size_id, SUM(og.goods_number) AS sold_number FROM order o 
LEFT JOIN order_goods og ON o.order_id = og.order_id WHERE o.is_send = 0 AND o.shipping_status = 0 
AND o.create_time > '2017-10-10 00:00:00' AND o.ck_id = 1 AND og.goods_id = 13421 AND o.is_separate = 1 AND o.order_status IN (0, 1) AND og.is_separate = 1 
GROUP BY og.color_id, og.size_id

执行结果:

通过explain, 我们可以看到上边的语句,有用到索引key

在所有explain的结果中最重要的要数 type/key/rows/extra这4个字段了,那接下来我着重在说一下这四个字段代表的意思及如何优化.

更多 explain 用法请看这篇文章:MYSQL explain详解

using temporary

using temporary 官方解释:”为了解决查询,MySQL需要创建一个临时表来容纳结果。典型情况如查询包含可以按不同情况列出列的GROUP BY和ORDER BY子句时。“”很明显就是通过where条件一次性检索出来的结果集太大了,内存放不下了,只能通过家里临时表来辅助处理。

EXPLAIN SELECT * FROM project AS p JOIN jmw_message.t_message AS t ON p.id = t.target_id

EXPLAIN SELECT * FROM project AS p JOIN jmw_message.t_message AS t ON p.id = t.target_id LIMIT 100

上面两条语句explain得到的结果是相同的,是因为他们的索引使用策略是相同的,即都没有很好的使用索引,(因为没有where条件和order by语句)但他们的最终耗时是不同的,很明显传输100条数据肯定要比传送1条数据慢。所以,最终耗时会在sending data(用show profile查看)上消耗的比例最大

2、show processlist

explain看不出问题,那到底慢在哪里呢?
于是想到了使用 show processlist 查看sql语句执行状态,查询结果如下:

发现很长一段时间,查询都处在 “Sending data”状态
查询一下“Sending data”状态的含义,原来这个状态的名称很具有误导性,所谓的“Sending data”并不是单纯的发送数据,而是包括“收集 + 发送 数据”。
这里的关键是为什么要收集数据,原因在于:mysql使用“索引”完成查询结束后,mysql得到了一堆的行id,如果有的列并不在索引中,mysql需要重新到“数据行”上将需要返回的数据读取出来返回个客户端。

3、show profile

为了进一步验证查询的时间分布,于是使用了 show profile 命令来查看详细的时间分布
首先打开配置:set profiling=on;
执行完查询后,使用show profiles查看query id;
使用show profile for query query_id查看详细信息;

三、排查优化

1.排查对比

经过以上步骤,已经确定查询慢是因为大量的时间耗费在了Sending data状态上,结合Sending data的定义,将目标聚焦在查询语句的返回列上面
经过一 一排查,最后定为到一个description的列上,这个列的设计为:descriptionvarchar(8000) DEFAULT NULL COMMENT '游戏描述',
于是采取了对比的方法,看看“不返回description的结果”如何。show profile的结果如下:

【解决方法】
找到了问题的根本原因,解决方法也就不难了。有几种方法:
1)查询时去掉description的查询,但这受限于业务的实现,可能需要业务做较大调整
2)表结构优化,将descripion拆分到另外的表,这个改动较大,需要已有业务配合修改,且如果业务还是要继续查询这个description的信息,则优化后的性能也不会有很大提升。

【索引优化】
有一个典型的优化就是与这个相关的:利用索引查询的时候不是有一个回表的概念吗,就是索引里面不能得到全部的列,因此需要回到原表里面获取,但是因为MySQL 5.6之前没有ICP(index condition pushdown)的概念,所以不能很好的利用索引,导致回表次数大增(实际上也就是一次query中sever端和storage端的交互太多,导致开销增大)。所以如果将索引的判断提前进行也就过滤掉了一些不必要回表的行,因此storage端传送给server端的不必要数据减少,开销减小


相关文章:
实战:MySQL Sending data导致查询很慢的问题详细分析
mysql索引无效且sending data耗时巨大原因分析
mysql查询sending data占用大量时间的问题处理
mysql堵塞 sending data和sort状态多,cpu高
MYSQL explain详解
mysql explain执行计划详解

你可能感兴趣的:(mysql,mysql优化,mysql索引)