MySQL 慢查询及SQL执行时间监控

慢查询定义及作用

        查询慢的日志,指mysql记录所有执行超过long_query_time参数设定的时间阈值的SQL语句的日志,该日志能为SQL语句的优化带来很好的帮助,默认情况下慢查询日志是关闭的,要使用慢查询日志功能,首先要开启慢查询日志功能。

        show variables like 'slow_query_log';

MySQL 慢查询及SQL执行时间监控_第1张图片

 将其开启

MySQL 慢查询及SQL执行时间监控_第2张图片

        但是多慢算慢?MySQL中可以设定一个阈值,将月星时间超过该值的所有SQL语句都记录到慢查询日志中。long_query_time参数就是这个阈值,默认值为10 ,代表10秒。如下图:

MySQL 慢查询及SQL执行时间监控_第3张图片

# 默认10秒,这里自测 可设为0
set global long_query_time=0 ;  

同时,表中可能有SQL没走索引走的全表扫描,但是由于数据量少,又达不到慢查询的时间标准,但后续表数据可能越来越大,对于这种情况而言,可以通过控制参数,让 MySQL对于没有使用索引的SQL语句也会记录到慢查询日志文件中

show variables like '%log_queries_not_using_indexes%';  --默认可能关闭的

MySQL 慢查询及SQL执行时间监控_第4张图片

 通过设置全局变量的值,来开启此功能

MySQL 慢查询及SQL执行时间监控_第5张图片

 对于产生的慢查询日志,可以指定输出的位置,通过参数log_output来控制,可以输出到表(一般不推荐)或者文件或者一起都保存。(推荐放到文件中),一般都会放到data中,文件名末尾有-slow.log; 其中会有执行的时间,sql语句的名字,Rows_sent: 返回出去的结果行数,Rows_examined:为了获取到结果,扫描了多少数据量。日志文件是所有的数据,可通过bin目录下的 mysqldumpslow工具去查看慢查询日志去分析。可用

# 查看此工具的使用命令
./mysqldumpslow --help

# -s 对结果排序 t 按时间 -t 10 取前10条 把这个慢查询日志中 总耗时排前10位的拿出来看
./mysqldumpslow -s t -t 10  /home/mysql/mysql158/data/sefddkj-slow.log

# -g 加上正则表达式,通过grep来筛选,只关心select语句
./mysqldumpslow -s t -t 10  /home/mysql/mysql158/data/sefddkj-slow.log -g select

慢查询的根本原因是访问的数据太多了,优化的目的都是减少mysql访问的数据量。

业务层:是否请求了不需要的数据?

1.查询不需要的记录 2.总是取出全部列  3.重复查询相同的数据

(如果数据时需要缓存起来,以后要用可直接查询所有的,也可用select *,*是肯定要走回表的或者直接全表扫)

执行层:是否在扫描额外的记录?典型的limit 10000,10 ,mysql扫了10010条记录,取了10条

1.响应时间  2.扫描的行数和返回的行数差距很大  3.扫描的行数和访问类型(每一行的成本是否达到了最优,通过explain可看到sql访问的类型获得的方式,type越靠前越好,扫描的记录数越少。尽可能只扫描所需要的数据行)

重构查询方法:

        1.一个复杂查询还是多个简单查询?部分逻辑可交由代码层处理,更易扩展

        2.切分查询。查询语句数据量太大了,切分成小查询,分而治之,一条sql返回的数据量一般5000~10000条数据最好。

        3.分解关联查询?a.常用数据进行缓存,让缓存的效率更高,减少冗余记录的查询,关联可放在应用层,更易扩展。b.可减少锁竞争。c.更容易做到高性能和可扩展 d.相当于在应用中实现了哈希关联

TCP协议角度来说是全双工的。MySQL的协议,在应用层来说,是半双工的,客户端发送完了数据给服务器,服务器才能发送数据给客户端。同时,发完了,客户端才能再发命令给服务端。(没法做流量控制的)

        对于java程序来说,很有可能由于mysql给的数据量过大过多,需要花很多的时间和内存来存储所有的结果集,很有可能发生OOM,所以MySQL的JDBC里提供了setFetchSize()之类的功能来解决这个问题。

A.当statement设置以下属性时,采用的是流数据接收方式,每次只从服务器接收部分数据,直到所有数据处理完成,不会发生JVM OOM 。

        setResultSetType(ResultSet.TYPE_FORWARD_ONLY);

        setFetchSize(Integer.MIN_VALUE);

 B.调用statement的enableStreamingResults方法,实际上enableStreamingResult方法内部封装的就是第一种方式

C.设置连接属性useCursorFetch=true(5.0版本驱动开始支持),statement以TYPE_FORWARD_ONLY打开,再设置fetch size参数,表示采用服务器端游标,每次从服务器取fetch_size条数据。


具体SQL语句数据监控

        MySQL查出来一条数据就会给一条数据给客户端,客户端库函数会有缓存数据;如果是将数据查全了再返回,会显得MySQL很慢,同时一次性给太多,会加载很多数据页到内存中再返回给客户端,占用内存。

         可通过命令,来查看某条sql执行的时候MySQL底层执行的线程的具体工作情况,时间都花在哪的。 

select @@profiling;
select count(*) FROM user_bak;
show profiles;

show profile for query 14;
show profile  all for query 14;

        Select @@have_profiling;查看是否支持profile功能

MySQL 慢查询及SQL执行时间监控_第6张图片

 如果是关闭状态,可以 Set profiling =1 ; 自行打开。

执行sql语句,并show profiles,看看这条sql执行的编号是多少?

MySQL 慢查询及SQL执行时间监控_第7张图片

 再去查找这条sql的相应的内部线程执行情况。

Show profile for query 14; 执行这条sql的时候各个线程(阶段)花费的时间是多少

MySQL 慢查询及SQL执行时间监控_第8张图片

 show profile all for query 55,显示更加详细的花费时间记录,这个线程大部分时间花在哪里了?包括cpu的时间

MySQL 慢查询及SQL执行时间监控_第9张图片

 

你可能感兴趣的:(java基础知识点,mysql,性能优化,数据库)