通常来说,MySQL性能调优是非常复杂的一件事,不是简单的修改参数就可以完成的。需要综合考虑。而且找出性能瓶颈也非易事。但是通常我们有以下的几种方法找到蛛丝马迹。通过下面的几种方法发现瓶颈以后,我们才能确定下一步应该怎么做^_^
其他的可以参考我前面写的文章:MySQL常用SQL优化,Linux上跑MySQL优化
(1)查看系统状态,比如top,vmstat,sar,iostat,dstat等
(2)进入MySQL里查看MySQL的连接数及相应的SQL(show processlist)
(3)如果使用的innodb表还需要把show engine innodb status取出来分析
(4)取两次show global status,间隔5到10秒用于分析
(5)查看慢日志及相应慢日志内容分析
当发现性能瓶颈以后,我们如何解决呢?无非也就是下面的几种方法(当然或许还有更多)
(1)升级硬件(Scale Out/Scale Up)
(2)更改MySQL的配置
(3)改善索引,优化查询
(4)升级MySQL版本(在官方版本里面随着连接数的增加性能急剧下降,企业版提供thread_pool插件,Percona和MariaDB都是开源的。)
通常我们不会轻易的升级硬件或者改变MySQL的配置,我们首先要做的是通过show global status输出的状态来分析。
1.Temporary Tables on Disk
mysql [localhost] {msandbox} (dyy) > show global status like '%tmp%'; +-------------------------+-------+ | Variable_name | Value | +-------------------------+-------+ | Created_tmp_disk_tables | 0 | | Created_tmp_files | 6 | | Created_tmp_tables | 92 | +-------------------------+-------+ 3 rows in set (0.00 sec) mysql [localhost] {msandbox} (dyy) >
Created_tmp_disk_tables
服务器执行语句时在硬盘上自动创建的临时表的数量
Created_tmp_files
mysqld已经创建的临时文件的数量
Created_tmp_tables
服务器执行语句时自动创建的内存临时表的数量。如果Created_tmp_disk_tables值较大。需要增加tmp_table_size和max_heap_table_size的值。内部临时表最初创建为一个内存中的表,但变得太大时,MySQL会自动将其转换为磁盘上的表。在内存中的临时表的最大尺寸是最小的tmp_table_size和max_heap_table_size的值控制。如果Created_tmp_disk_tables较大,可能要增加tmp_table_size和max_heap_table_size值。以减少在内存临时表被转换为磁盘上的表。
出现临时表的原因
(1)如果有一个ORDER BY子句和一个不同的GROUP BY子句,或如果ORDER BY或GROUP BY包含第一个表中的其他列,创建一个临时表
(2)DISTINCT加上ORDER BY可能需要一个临时表
(3)如果使用SQL_SMALL_RESULT选项,MySQL使用内存中的临时表
(4)表中有BLOB或TEXT列的存在
(5)在GROUP BY或DISTINCT子句大于512字节的任意列的存在
(6)在查询中,如果使用UNION或UNION ALL的任何列大于512字节
(7)GROUP BY和ORDER BY 无法使用索引时
关于是否使用临时表,需要使用EXPLAIN命令查看,请参考我前面的文章,EXPLAIN命令详解
2.Binary Log cache
在事务提交以后,binlog是先写入缓存,然后由操作系统决定何时刷新到磁盘上。如果事务大小超过定义的缓存,则在磁盘上创建一个临时文件。
mysql [localhost] {msandbox} (dyy) > show global status like 'binlog_ca%'; +-----------------------+-------+ | Variable_name | Value | +-----------------------+-------+ | Binlog_cache_disk_use | 0 | | Binlog_cache_use | 3 | +-----------------------+-------+ 2 rows in set (0.00 sec) mysql [localhost] {msandbox} (dyy) >
Binlog_cache_use
使用临时二进制日志缓存的事务数量
Binlog_cache_disk_use
使用临时二进制日志缓存但是超过binlog_cache_size的值并使用临时文件来保存事务中的语句的事务数量。如果该值很大,需要加大binlog_cache_size的值。
3.Sorting Data
mysql [localhost] {msandbox} (dyy) > show global status like 'sort%'; +-------------------+-------+ | Variable_name | Value | +-------------------+-------+ | Sort_merge_passes | 0 | | Sort_range | 0 | | Sort_rows | 0 | | Sort_scan | 0 | +-------------------+-------+ 4 rows in set (0.00 sec) mysql [localhost] {msandbox} (dyy) >
Sort_merge_passes
排序算法已经执行的合并的数量。如果这个变量值较大,可以考虑增加sort_buffer_size变量的值。
原因:
ORDER BY(不能够使用索引进行排序)
GROUP BY(使用了GROUP BY COLUMN没有使用ORDER BY NULL).
ORDER BY优化可以参考:http://dev.mysql.com/doc/refman/5.5/en/order-by-optimization.html
4.Query Cache
mysql [localhost] {msandbox} (dyy) > show global status like 'Qcache%'; +-------------------------+---------+ | Variable_name | Value | +-------------------------+---------+ | Qcache_free_blocks | 1 | | Qcache_free_memory | 1031352 | | Qcache_hits | 0 | | Qcache_inserts | 0 | | Qcache_lowmem_prunes | 0 | | Qcache_not_cached | 28 | | Qcache_queries_in_cache | 0 | | Qcache_total_blocks | 1 | +-------------------------+---------+ 8 rows in set (0.00 sec) mysql [localhost] {msandbox} (dyy) >
请确定你真的需要使用Query Cache,否则将不是你想象的那么美好。
MySQL的Query Cache实现原理实际上并不是特别的复杂,简单的来说就是将客户端请求的 Query语句(当然仅限于SELECT类型的Query)通过一定的hash算法进行一个计算而得到一个hash值,存放在一个hash桶中。同时将该Query的结果集(Result Set)也存放在一个内存Cache中的。存放Query hash值的链表中的每一个hash值所在的节点中同时还存放了该Query所对应的Result Set 的 Cache 所在的内存地址,以及该Query所涉及到的所有Table的标识等其他一些相关信息。系统接受到任何一个SELECT类型的Query的时候,首先计算出其hash值,然后通过该hash值到Query Cache中去匹配,如果找到了完全相同的Query,则直接将之前所Cache的Result Set返回给客户端而完全不需要进行后面的任何步骤即可完成这次请求。而后端的任何一个表的任何一条数据发生变化之后,也会通知 Query Cache,需要将所有与该Table有关的Query的Cache 全部失效,并释放出之前占用的内存地址,以便后面其他的Query能够使用。
select a,b from t1;
Select a,b FROM t1;
第一条语句可以使用查询缓存,而第二条则无法使用。因为上面提到过是基于hash算法的。
何况现在我们使用innodb存储引擎比较多,而且innodb有自己的缓冲池(undo page,insert buffer page,adaptive hash index,lock info,data dictionary,index page)。所以我们通常不需要使用查询,可以使用参数query_cache_type = 0 禁用查询缓存。
5.Table Locks/Row locks
某些存储引擎(MyISAM,Memory)有表级锁。并发大的情况下性能下降也很厉害
mysql [localhost] {msandbox} (dyy) > show global status like 'table_locks%'; +-----------------------+-------+ | Variable_name | Value | +-----------------------+-------+ | Table_locks_immediate | 77 | | Table_locks_waited | 0 | +-----------------------+-------+ 2 rows in set (0.00 sec) mysql [localhost] {msandbox} (dyy) > show global status like '%row_lock%'; +-------------------------------+-------+ | Variable_name | Value | +-------------------------------+-------+ | Innodb_row_lock_current_waits | 0 | | Innodb_row_lock_time | 0 | | Innodb_row_lock_time_avg | 0 | | Innodb_row_lock_time_max | 0 | | Innodb_row_lock_waits | 0 | +-------------------------------+-------+ 5 rows in set (0.00 sec) mysql [localhost] {msandbox} (dyy) >
Table_locks_immediate
产生表级锁定的次数
Table_locks_waited
出现表级锁定争用而发生等待的次数
两个状态值都是从系统启动后开始记录,每出现一次对应的事件则数量加1,如果这里的Table_locks_waited状态值比较高,那么说明系统中表级锁定争用现象比较严重,就需要进一步分析为什么会有较多的锁定资源争用。
Innodb 的行级锁定状态变量不仅记录了锁定等待次数,还记录了锁定总时长,每次平均时长,以及最大时长,此外还有一个非累积状态量显示了当前正在等待锁定的等待数量。
Innodb_row_lock_current_waits
当前正在等待锁定的数量
Innodb_row_lock_time
从系统启动到现在锁定总时间长度
Innodb_row_lock_time_avg
每次等待所花平均时间
Innodb_row_lock_time_max
从系统启动到现在等待最常的一次所花的时间;
Innodb_row_lock_waits
系统启动后到现在总共等待的次数
当Table_locks_waited与Table_locks_immediate 的比值较大,则说明我们的表锁造成的阻塞比较严重,可能需要优化SQL语句,或者更改存储引擎,亦或者需要调整业务逻辑。当然,具体改善方式必须根据实际场景来判断。而 Innodb_row_lock_waits 较大,则说明Innodb的行锁也比较严重,且影响了其他线程的正常处理。同样需要查找出原因并解决。造成Innodb行锁严重的原因可能是 Query 语句所利用的索引不够合理(Innodb行锁是基于索引来锁定的),造成间隙锁过大。也可能是系统本身处理能力有限,则需要从其他方面(如硬件设备)来考虑解决。
6.Table Cache
mysql [localhost] {msandbox} (dyy) > show global status like 'Open%tables'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | Open_tables | 72 | | Opened_tables | 79 | +---------------+-------+ 2 rows in set (0.00 sec) mysql [localhost] {msandbox} (dyy) >
Opened_tables
已经打开的表的数量。如果Opend_tables较大,则需要考虑加大table_open_cache的值。
7.Thread Cache
在MySQL中每个连接即一个线程。通过thread_cache可以减少操作系统的线程创建/销毁,提高性能。
mysql [localhost] {msandbox} ((none)) > show global status like 'threads%'; +-------------------+-------+ | Variable_name | Value | +-------------------+-------+ | Threads_cached | 0 | | Threads_connected | 4 | | Threads_created | 4 | | Threads_running | 2 | +-------------------+-------+ 4 rows in set (0.00 sec) mysql [localhost] {msandbox} ((none)) >
Threads_cached
线程缓存内的线程的数量
Threads_connected
当前打开连接的数量
Threads_created
创建用来处理连接的线程数。如果Threads_created较大,需要增加thread_cache_size的值。thread cache命中率计算方法:
Thread_cache_hits = (1 - Threads_created / Connections) * 100%
8.Max Connections
观察max_used_connections是否等于max_connections,在某个时刻连接可能被拒绝
mysql [localhost] {msandbox} (dyy) > show variables like '%max_connections%'; +-----------------+-------+ | Variable_name | Value | +-----------------+-------+ | max_connections | 500 | +-----------------+-------+ 1 row in set (0.00 sec) mysql [localhost] {msandbox} (dyy) > show global status like 'max%'; +----------------------+-------+ | Variable_name | Value | +----------------------+-------+ | Max_used_connections | 4 | +----------------------+-------+ 1 row in set (0.01 sec) mysql [localhost] {msandbox} (dyy) >
9.Cartesian Products?
连接两个表的条件没有使用索引往往将导致笛卡尔乘积。可以看见Select_full_join>0
mysql [localhost] {msandbox} (dyy) > show global status like 'Select_full_join'; +------------------+-------+ | Variable_name | Value | +------------------+-------+ | Select_full_join | 0 | +------------------+-------+ 1 row in set (0.01 sec) mysql [localhost] {msandbox} (dyy) >
10.InnoDB Log Buffer Size
root@localhost : (none) 01:34:16> show global status like 'innodb_log_waits'; +------------------+-------+ | Variable_name | Value | +------------------+-------+ | Innodb_log_waits | 0 | +------------------+-------+ 1 row in set (0.00 sec) root@localhost : (none) 01:34:21>
当Innodb_log_waits值较大时,说明可用log buffer不足,需等待释放次数,数量较大时需要加大innodb_log_buffer_size的值。
总结:
目前就写这么多吧,还有很多很多的状态变量。上面有些是从mysqld启动以来就存在的,所以假如我们需要计算每秒的SELECT,需要知道时间差内产生的变化,例如