服务器性能优化（四）：mysql数据库调优
加快mysql服务器的运行速度的方法，按照效率从低到高的依次为：
1. 替换有问题的硬件
2. 对mysql进程的设置进行调优
3. 对查询进行优化
1) 记录慢查询
在一个 SQL 服务器中，数据表都是保存在磁盘上的。索引为服务器提供了一种在表中查找特定数据行的方法，而不用搜索整个表。当必须要搜索整个表时，就称为表扫描。通常来说，您可能只希望获得表中数据的一个子集，因此全表扫描会浪费大量的磁盘 I/O，因此也就会浪费大量时间。当必须对数据进行连接时，这个问题就更加复杂了，因为必须要对连接两端的多行数据进行比较。
配置mysqld将这些慢查询记录到指定的慢查询日志中,通过查看慢查询日志可以定位到可能有问题的sql语句.启用慢查询日志需在my.cnf文件中添加如下设置.
[mysqld]
; enable the slow query log, default 10 seconds
log-slow-queries=/opt/mysql/logs/mysql-slow.log
; log queries taking longer than 2 seconds
long_query_time = 2
; log queries that don't use indexes even if they take less than long_query_time
; MySQL 4.1 and newer only
log-queries-not-using-indexes
这3个设置一起使用，可以记录执行时间超过2秒和没有使用索引的查询. 慢查询日志会存放在 /opt/mysql/logs/mysql-slow.log.
阅读慢查询日志使用mysqldumpslow的命令进行。指定日志文件的路径，就可以看到一个慢查询排序后的列表，并且显示它们在日志中出现的次数.一个非常有用的特性是mysqldumpslow在比较结果之前，会删除任何用户指定的数据，因此对同一个查询的不同调用被记为一次，这样可以找出工作量最多的查询.
/opt/mysql/bin/mysqldumpslow -s c -t 20 mysql-slow.log //慢查询中访问次数最多的20条sql
/opt/mysql/bin/mysqldumpslow -s r -t 20 mysql-slow.log //返回记录结果集最多的20条sql
-s. 是order的排序,分别按照query的次数，时间，lock时间和返回的记录数来排序.
-t , 是top n 的意思，就是返回 前面多少条数据。
显示结果如下:
Count: 1147605 Time=0.01s (7931s) Lock=0.00s (107s) Rows=0.0 (984), wcontact[wcontact]@[172.16.236.115]
select Fuid, Fcompany_id from relation_company where Ftime >= N and Ftime <= N order by Fuid limit N,N
Count: 108878 Time=0.03s (2792s) Lock=0.00s (5s) Rows=1.0 (108878), wcontact[wcontact]@2hosts
SELECT COUNT(*) FROM msg_index WHERE Fobj_uid=N AND Funread=N AND Fdel=N
Count: 23142 Time=0.04s (1012s) Lock=0.00s (1s) Rows=15.7 (363685), wcontact[wcontact]@[172.16.236.115]
select Fcompany_id, count(*) num from relation_company where Ftime > N and Ftime <= N group by Fcompany_id limit N,N
............
对相应的sql语句进行优化:
例如
SELECT COUNT(*) FROM msg_index WHERE Fobj_uid=N AND Funread=N AND Fdel=N
表结构:
CREATE TABLE `msg_index` (
`Fid` int(11) NOT NULL AUTO_INCREMENT COMMENT '短消息编号',
`Fmsg_id` int(11) NOT NULL DEFAULT '0' COMMENT '消息ID',
`Fuid` bigint(20) NOT NULL DEFAULT '0' COMMENT '发送者UID',
`Fobj_uid` bigint(20) NOT NULL DEFAULT '0' COMMENT '接收者UID',
`Ftype` tinyint(3) NOT NULL DEFAULT '0' COMMENT '0发送 1接收',
`Funread` tinyint(3) NOT NULL DEFAULT '0' COMMENT '新短消息',
`Ftime` bigint(20) NOT NULL DEFAULT '0' COMMENT '发送时间',
`Fdel` tinyint(3) NOT NULL DEFAULT '0' COMMENT '删除状态',
PRIMARY KEY (`Fid`),
KEY `ft` (`Fuid`,`Fobj_uid`),
KEY `taf` (`Ftime`,`Ftype`)
) ENGINE=MyISAM AUTO_INCREMENT=163376 DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC
通过explain查看索引使用情况
mysql> explain SELECT COUNT(*) FROM msg_index WHERE Fobj_uid=12 AND Funread=1 AND Fdel=0;
+----+-------------+-----------+------+---------------+------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-----------+------+---------------+------+---------+------+------+-------------+
| 1 | SIMPLE | msg_index | ALL | NULL | NULL | NULL | NULL | 3775 | Using where |
+----+-------------+-----------+------+---------------+------+---------+------+------+-------------+
1 row in set (0.00 sec)
可以看到该sql语句未用到索引，导致了全表扫描. 故因将联合索引 `ft`,拆分成2个索引.
alter table msg_index drop index `ft`;
alter table msg_index add index `Fuid`(`Fuid`);
alter table msg_index add index `Fobj_uid`(`Fobj_uid`);
2).对mysqld进程参数进行调优
1.对查询进行缓存
在/opt/mysql/my.cnf添加如下的参数：
###query_cache###
query_cache_size = 64M //启用64M查询缓存
query_cache_type = 1
query_cache_limit = 2M
query_cache_min_res_unit = 4K
启用查询缓存之后，看它是否有效使用:
mysql> show status like 'qcache%';
+-------------------------+----------+
| Variable_name | Value |
+-------------------------+----------+
| Qcache_free_blocks | 7321 |
| Qcache_free_memory | 33249712 |
| Qcache_hits | 17036563 |
| Qcache_inserts | 15195159 |
| Qcache_lowmem_prunes | 3166865 |
| Qcache_not_cached | 370185 |
| Qcache_queries_in_cache | 28664 |
| Qcache_total_blocks | 64727 |
+-------------------------+----------+
8 rows in set (0.00 sec)
上表中一些变量的解释:
Qcache_free_blocks
缓存中相邻内存块的个数。数目大说明可能有碎片。FLUSH QUERY CACHE 会对缓存中的碎片进行整理，从而得到一个空闲块。
Qcache_free_memory
缓存中的空闲内存。
Qcache_hits
每次查询在缓存中命中时就增大。
Qcache_inserts
每次插入一个查询时就增大。命中次数除以插入次数就是不中比率；用 1 减去这个值就是命中率。在上面这个例子中，大约有 87% 的查询都在缓存中命中。
Qcache_lowmem_prunes
缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看；如果这个数字在不断增长，就表示可能碎片非常严重，或者内存很少。（上面的free_blocks 和 free_memory 可以告诉您属于哪种情况）。
Qcache_not_cached
不适合进行缓存的查询的数量，通常是由于这些查询不是 SELECT 语句。
Qcache_queries_in_cache
当前缓存的查询（和响应）的数量。
Qcache_total_blocks
缓存中块的数量。
间隔几秒显示这些变量就可以看出区别，这可以帮助确定缓存是否正在有效地使用。
2.强制限制
可以在mysqld中强制来确保系统负载不会导致系统资源耗尽.
max_connections = 800
wait_timeout = 15
max_connect_errors = 200
max_connections 是设置连接最大数，确保只建立服务器允许数目的连接.确定目前建立的最大连接数,可以执行show status like 'max_used_connections'.
mysql> show status like 'max_used_connections';
+----------------------+-------+
| Variable_name | Value |
+----------------------+-------+
| Max_used_connections | 26 |
+----------------------+-------+
1 row in set (0.00 sec)
第 2 行告诉 mysqld 终止所有空闲时间超过 15 秒的连接。在 LAMP 应用程序中，连接数据库的时间通常就是 Web 服务器处理请求所花费的时间。有时候，如果负载过重，连接会挂起，并且会占用连接表空间。如果有多个交互用户或使用了到数据库的持久连接，那么将这个值设低一点并不可取！
最后一行是一个安全的方法。如果一个主机在连接到服务器时有问题，并重试很多次后放弃，那么这个主机就会被锁定，直到 FLUSH HOSTS 之后才能运行。默认情况下，10 次失败就足以导致锁定了。将这个值修改为 100 会给服务器足够的时间来从问题中恢复。如果重试 100 次都无法建立连接，那么使用再高的值也不会有太多帮助，可能它根本就无法连接。
3.表缓存.
数据库中每个表都可以表示为磁盘上的一个文件,必须先打开，后读取。为了加快从文件中读取数据,mysqld会对这些打开的文件进行缓存。其最大数目的是由/opt/mysql/my.cnf中的table_cache指定.
###表缓存
table_cache= 1024
显示打开表的活动情况:
mysql> show status like 'open%tables';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Open_tables | 287 |
| Opened_tables | 12 |
+---------------+-------+
2 rows in set (0.00 sec)
上述说明: 目前有287表是打开的，有12个表是需要打开的，因为缓存中已经没有可用的文件描述符了。 如果Opened_tables随着运行show status命令而快速增加时,说明缓存的命中率不够.如果Opened_tables比table_cache设置小很多，就说明该值太大.
4. 线程的缓存
所说线程缓存,就是mysqld早接收连接时会根据需要生成线程.在一个连接变化很快的繁忙服务器上，对线程进行缓存有助于可以加快最初的连接.
显示线程使用的统计信息:
mysql> show status like 'threads%';
+-------------------+---------+
| Variable_name | Value |
+-------------------+---------+
| Threads_cached | 0 |
| Threads_connected | 68 |
| Threads_created | 1359226 |
| Threads_running | 1 |
+-------------------+---------+
上述中最重要的时 Threads_created值，每次mysqld需要创建一个新线程时,这个值都会增加。如果这个值随着show status命令而快速增加，就应该尝试增大线程缓存.
###线程缓存
Thread_cache 16
5.关键字缓存区（myisam）
关键字缓存区是保存myisam表的索引块.在联想情况下，对于这些块的请求应该来自于内存，而非磁盘.如何确定有多少块是从磁盘读取，有多少块是从内存读取的.
mysql> show status like 'key_read%';
+-------------------+------------+
| Variable_name | Value |
+-------------------+------------+
| Key_read_requests | 2367514011 |
| Key_reads | 652489 |
+-------------------+------------+
2 rows in set (0.00 sec)
Key_reads代表命中磁盘的请求次数，key_read_requests是总数.命中磁盘的次数占总数的 652489 /2367514011 = 0.0002756.大约在1000个请求中有0.3次不会命中内存.如果该值(0.3)超过1时，就应该考虑
增大关键字缓存区.key_buffer = 2G会将缓存区设置为2G.
###MyISAM引擎参数###
key_buffer_size=2G
key_cache_block_size=1024
read_buffer_size=32M
read_rnd_buffer_size=32M
myisam_sort_buffer_size=2M
6.临时表的使用
临时表可以在高级查询中使用， 其中数据在进一步进行处理（group by )之前, 都必须先保存在临时表中.理想情况下，在内存中创建临时表,如果临时表变的太大，就需要写入磁盘中.
mysql> show status like 'created_tmp%';
+-------------------------+-------+
| Variable_name | Value |
+-------------------------+-------+
| Created_tmp_disk_tables | 0 |
| Created_tmp_files | 746 |
| Created_tmp_tables | 0 |
+-------------------------+-------+
3 rows in set (0.00 sec)
每次使用临时表都会增大 Created_tmp_tables；基于磁盘的表也会增大 Created_tmp_disk_tables。对于这个比率，并没有什么严格的规则，因为这依赖于所涉及的查询。长时间观察 Created_tmp_disk_tables 会显示所创建的磁盘表的比率，您可以确定设置的效率。 tmp_table_size 和 max_heap_table_size 都可以控制临时表的最大大小，因此请确保在 my.cnf 中对这两个值都进行了设置。
优化查询语句时候，要避免使用临时表,如果避免不了的话，一定要保证临时表存在内存中。如果你有很多group by语句，并且有很多内存的话，那就增大tmp_table_size和max_heap_table_size的值.
一般遵循的的公式：
Created_tmp_disk_tables/Created_tmp_tables<5%。
7.排序缓存区
当mysql进行排序时，就会在磁盘上读取数据时分配一个缓存区来存放这些数据行.如果要排序的数据太大,那么数据就要存放在磁盘上的临时文件中，并再次进行排序。如果sort_merge_passes状态量很大,这就指示磁盘的活动情况.
mysql> SHOW STATUS LIKE "sort%";
+-------------------+---------+
| Variable_name | Value |
+-------------------+---------+
| Sort_merge_passes | 1 |
| Sort_range | 79192 |
| Sort_rows | 2066532 |
| Sort_scan | 44006 |
+-------------------+---------+
4 rows in set (0.00 sec)
如果sort_merge_passes很大.就表示要注意sort_buffer_size。 sort_buffer_size=16M将排序缓存区设置为16M.
###排序缓存区
sort_buffer_size=16M
8.innodb参数
1) innodb_buffer_pool_size
对于innodb表来说，innodb_buffer_pool_size的作用就相当于key_buffer_size相对于myisam一样.innodb使用该参数指定大小的内存来缓冲数据和索引.对于单独的mysql数据库服务器，最大可以把该值设置成物理内存的80%。
2）innodb_additional_mem_pool_size
该参数指定Innodb用来存储数据字典和其他内部数据结构的内存池大小。缺省值为1M。对于 2G内存的服务器推荐值为 20M.
3)innodb_log_buffer_size
推荐值为8M。
4）innodb_log_file_size
推荐值是 innodb_buffer_pool_size的25%.
5) innodb_flush_log_at_trx_commit
该值指定innodb记录日志的方式.如果设置为1，则每个事务提交的时候,mysql都会将事务日志写入磁盘.如果设置为0或2，则每秒将日志写入磁盘一次.
6) innodb_file_per_table
将该值设置为1时，则innodb表将使用独立的表空间.
###Innodb引擎参数###
innodb_buffer_pool_size = 4G
innodb_additional_mem_pool_size = 20M
innodb_log_file_size = 256M
innodb_log_buffer_size = 8M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 100
innodb_open_files=800
innodb_file_per_table = 1
innodb_commit_concurrency = 4
3)使用mysqlreport调优性能
下载 :http://hackmysql.com/scripts/mysqlreport-3.5.tgz
解压 tar zxf mysqlreport-3.5.tgz
./mysqlreport -user test -password test -port 3306
Can't locate DBI.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at ./mysqlreport line 24.
BEGIN failed--compilation aborted at ./mysqlreport line 24.
解决该错误 : sudo yum install perl-DBI perl-DBD-MySQL -y
使用mysqlreport
[fanlinlin@WRM_DB01 mysqlreport-3.5]$ perl mysqlreport --host=127.0.0.1 --user=test --password=test
__ Key _________________________________________________________________
Buffer used 295.49M of 24.00G %Used: 1.20
Current 4.78G %Usage: 19.91
Write hit 65.12%
Read hit 99.97%
__ Questions ___________________________________________________________
Total 45.03M 19.2/s
DMS 22.87M 9.7/s %Total: 50.79
QC Hits 17.39M 7.4/s 38.63
Com_ 3.53M 1.5/s 7.85
COM_QUIT 1.41M 0.6/s 3.13
-Unknown 178.89k 0.1/s 0.40
Slow 2 s 2.93M 1.3/s 6.52 %DMS: 12.83 Log: ON
DMS 22.87M 9.7/s 50.79
SELECT 15.89M 6.8/s 35.28 69.48
INSERT 3.80M 1.6/s 8.44 16.63
UPDATE 1.41M 0.6/s 3.14 6.18
REPLACE 938.06k 0.4/s 2.08 4.10
DELETE 827.92k 0.4/s 1.84 3.62
Com_ 3.53M 1.5/s 7.85
set_option 2.03M 0.9/s 4.50
change_db 1.01M 0.4/s 2.25
show_status 366.23k 0.2/s 0.81
__ SELECT and Sort _____________________________________________________
Scan 2.51M 1.1/s %SELECT: 15.81
Range 3.98M 1.7/s 25.05
Full join 14.74k 0.0/s 0.09
Range check 0 0/s 0.00
Full rng join 0 0/s 0.00
Sort scan 1.68M 0.7/s
Sort range 251.33k 0.1/s
Sort mrg pass 371 0.0/s
__ Query Cache _________________________________________________________
Memory usage 35.67M of 64.00M %Used: 55.73
Block Fragmnt 9.92%
Hits 17.39M 7.4/s
Inserts 15.49M 6.6/s
Insrt:Prune 4.81:1 5.2/s
Hit:Insert 1.12:1
__ Table Locks _________________________________________________________
Waited 3.36k 0.0/s %Total: 0.01
Immediate 24.70M 10.5/s
__ Tables ______________________________________________________________
Open 287 of 1024 %Cache: 28.03
Opened 893 0.0/s
__ Connections _________________________________________________________
Max used 26 of 800 %Max: 3.25
Total 1.41M 0.6/s
__ Created Temp ________________________________________________________
Disk table 3.57k 0.0/s
Table 927.74k 0.4/s Size: 16.0M
File 748 0.0/s
__ Threads _____________________________________________________________
Running 3 of 7
Cached 13 of 16 %Hit: 100
Created 32 0.0/s
Slow 0 0/s
__ Aborted _____________________________________________________________
Clients 34 0.0/s
Connects 333 0.0/s
__ Bytes _______________________________________________________________
Sent 18.91G 8.1k/s
Received 9.19G 3.9k/s
__ InnoDB Buffer Pool __________________________________________________
Usage 1.00M of 4.00G %Used: 0.02
Read hit 92.17%
Pages
Free 262.08k %Total: 99.98
Data 64 0.02 %Drty: 0.00
Misc 0 0.00
Latched 0.00
Reads 166 0.0/s
From file 13 0.0/s 7.83
Ahead Rnd 1 0.0/s
Ahead Sql 0 0/s
Writes 0 0/s
Flushes 0 0/s
Wait Free 0 0/s
__ InnoDB Lock _________________________________________________________
Waits 0 0/s
Current 0
Time acquiring
Total 0 ms
Average 0 ms
Max 0 ms
__ InnoDB Data, Pages, Rows ____________________________________________
Data
Reads 26 0.0/s
Writes 3 0.0/s
fsync 3 0.0/s
Pending
Reads 0
Writes 0
fsync 0
Pages
Created 0 0/s
Read 64 0.0/s
Written 0 0/s
Rows
Deleted 0 0/s
Inserted 0 0/s
Read 0 0/s
Updated 0 0/s
6. apache ab 压力测试
/opt/apache/bin/ab -c 1000 -n 1000 http://fix.weirenmai.dragon-stone.cn/
This is ApacheBench, Version 2.3 <Revision:655654>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/
Benchmarking fix.weirenmai.dragon-stone.cn (be patient)
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Completed 500 requests
Completed 600 requests
Completed 700 requests
Completed 800 requests
Completed 900 requests
Completed 1000 requests
Finished 1000 requests
Server Software: Apache/2.4.3
Server Hostname: fix.weirenmai.dragon-stone.cn
Server Port: 80
Document Path: /
Document Length: 0 bytes
Concurrency Level: 1000 //并发数
Time taken for tests: 19.280 seconds //整个测试持续的时间
Complete requests: 1000 //完成的请求数
Failed requests: 0 //失败的数量
Write errors: 0
Non-2xx responses: 1000
Total transferred: 669559 bytes // 整个传输量
HTML transferred: 0 bytes
//相当于 LR 中的每秒事务数，后面括号中的 mean 表示这是一个平均值
Requests per second: 51.87 [#/sec] (mean)
// 相当于 LR 中的平均事务响应时间，后面括号中的 mean 表示这是一个平均值
Time per request: 19279.633 [ms] (mean)
Time per request: 19.280 [ms] (mean, across all concurrent requests)
//平均每秒网络上的流量，可以帮助排除是否存在网络流量过大导致响应时间延长的问题
Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 1699 3354.9 0 13403
Processing: 60 2356 2019.0 1918 15280
Waiting: 60 2354 2019.4 1918 15280
Total: 61 4055 4334.0 2584 19277
Percentage of the requests served within a certain time (ms)
50% 2584
66% 4267
75% 5154
80% 5807
90% 9886
95% 16438
98% 18259
99% 18298
100% 19277 (longest request)
整个场景中所有的用户请求的响应状况，每个请求都有一个响应时间，其中50%的用户响应的时间小于2584ms,66％的用户响应时间小于4267，最大的响应时间为19277ms
优化后测试的结果:
[fanlinlin@web ~]$ /opt/apache/bin/ab -c 1000 -n 1000 http://fix.weirenmai.dragon-stone.cn/
This is ApacheBench, Version 2.3 <Revision:655654>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/
Benchmarking fix.weirenmai.dragon-stone.cn (be patient)
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Completed 500 requests
Completed 600 requests
Completed 700 requests
Completed 800 requests
Completed 900 requests
Completed 1000 requests
Finished 1000 requests
Server Software: Apache/2.4.3
Server Hostname: fix.weirenmai.dragon-stone.cn
Server Port: 80
Document Path: /
Document Length: 0 bytes
Concurrency Level: 1000
Time taken for tests: 11.070 seconds
Complete requests: 1000
Failed requests: 0
Write errors: 0
Non-2xx responses: 1000
Total transferred: 637429 bytes
HTML transferred: 0 bytes
Requests per second: 90.33 [#/sec] (mean)
Time per request: 11070.237 [ms] (mean)
Time per request: 11.070 [ms] (mean, across all concurrent requests)
Transfer rate: 56.23 [Kbytes/sec] received
Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 745 1929.5 0 9012
Processing: 529 2289 1451.9 1818 9833
Waiting: 529 2287 1451.8 1818 9833
Total: 544 3033 2312.3 2333 10987
Percentage of the requests served within a certain time (ms)
50% 2333
66% 3002
75% 3811
80% 4183
90% 6512
95% 8925
98% 10694
99% 10809
100% 10987 (longest request)
根据测试结果进行对比 :
对于1000的并发数,总耗时从19.280s下降到11.070s
优化前:
Requests per second: 51.87 [#/sec] (mean)
Time per request: 19279.633 [ms] (mean)
Time per request: 19.280 [ms] (mean, across all concurrent requests)
Transfer rate: 33.91 [Kbytes/sec] received
优化后：
Requests per second: 90.33 [#/sec] (mean)
Time per request: 11070.237 [ms] (mean)
Time per request: 11.070 [ms] (mean, across all concurrent requests)
Transfer rate: 56.23 [Kbytes/sec] received
最能反应服务器性能的时 Request per second,即每秒完成的请求数从51.87提升到90.33。
每个请求花费的时间从19.280ms下降到11.070ms.
每秒的网络流流量从33.91Kbytes提示到56.23Kbytes.
当一个人找不到出路的时候，最好的办法就是将当前能做好的事情做到极致，做到无人能及。