数据分析--MySQL优化
一、前言
查询缓存
1.可以使用如下的语句来判断MySQL是否开启了查询缓存功能：
show variables like '%query_cache%';
- 注：启用MySQL查询缓存能够极大地减低数据库server的CPU使用率，实际使用情况是：开启前CPU使用率120%左右，开启后降到了10%。
2.如果想查看MySQL是否是读取的缓存，可以使用如下的语句：
show status like 'qcache_hits';
- 注：值得注意的是，如果表的数据存在更新的话，和该表相关的所有缓存都会被清空。如果当前的查询正好命中缓存，那么此次查询就会省略之后的所有操作，并直接从缓存中返回数据。
3.查询执行计划
MySQL服务器层对SQL语句进行一系列优化之后，会生成一颗查询指令树，然后执行引擎会利用api调用完成查询指令树并返回结果。可以使用如下的步骤来查看，MySQL优化之后的查询：
1. explain extended select*from actor;
2. show warnings;
- 时间去哪了 (SQL执行时间；SQL等待时间；然后通过分析&推理确认为什么时间去那里了。)
二、是什么导致MySQL查询变慢了？
1.对于MySQL，最简单的衡量查询开销的三个指标如下：
- 响应时间
- 扫描的行数
- 返回的行数
没有哪个指标能够完美地衡量查询的开销，但它们大致反映了MySQL在内部执行查询时需要访问多少数据，并可以大概推算出查询运行的时间。
2.查询慢的原因基本都是：
- 我们的不合理操作导致查询的多余数据太多了。
3.常见原因有以下：
- 查询不需要的记录
- 多表关联时返回全部列
- 总是取出全部列
三、常用优化技巧
1.用索引
最简单且见效最快的方式就是给你的条件加索引（主键索引，普通索引，唯一索引等）。
对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
- 注：索引是要另开辟一块空间存储的，所以不能不要钱滴都加索引。
2.尽量避免在 where 子句中对字段进行 null 值判断，
如果变量可能为空，不应使用 IS NULL 或 IS NOT NULL 进行比较，可使用 ISNULL 函数。
不能用null作索引，任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下，只要这些列中有一列含有null，该列就会从索引中排除。也就是说如果某列存在空值，即使对该列建索引也不会提高性能。
任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。
进行 null 值判断将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
select id from t where num=0
``
##### 3、应尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如：
```mysql
select id from t where num=10 or num=20
可以这样查询：
select id from t where num=10
union all
select id from t where num=20
4、in 和 not in 也要慎用，否则会导致全表扫描，如：
select id from t where num in(1,2,3)
对于连续的数值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
5、下面的查询也将导致全表扫描：
select id from t where name like '%abc%'
若要提高效率，可以考虑全文检索。
select id from t where WHERE LOCATE('abc', name)>0
6、如果在 where 子句中使用参数，也会导致全表扫描。
因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描：
select id from t where num=@num
可以改为强制查询使用索引：
select id from t with(index(索引名)) where num=@num
7、应尽量避免在 where 子句中对字段/索引列进行算术运算、表达式、函数操作，否则系统将可能无法正确使用索引。
- 算术运算：
所指的对字段/索引列进行运算*包括(+，-，，/，! 等)如：
select * from t where num/2=100
应改为:
select * from t where num=100*2
- 函数操作
如：
// (1)错误的例子：
select id from t where substring(name,1,3)='abc' -- name以abc开头的id
// 正确的例子：
select id from t where name like 'abc%';
// (2)错误的例子：
select id from t where datediff(day,createdate,'2005-11-30')=0 -- ‘2005-11-30’生成的id
//正确的例子：
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'
// (3)错误的例子：
select * from test where round(id)=10; //说明，此时id的索引已经不起作用了
//正确的例子：首先建立函数索引
create index test_id_fbi_idx on test(round(id));
//然后
select * from test where round(id)=10;
8、复合索引的使用
在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。
9、不要写一些没有意义的查询，如需要生成一个空表结构：
select col1,col2 into #t from t where 1=0
这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样：
create table #t(...)
10、很多时候用 exists 代替 in 是一个好的选择：
如果查询的两个表大小相当，那么用in和exists差别不大。
如果两个表中一个较小，一个是大表，则子查询表大的用exists，子查询表小的用in：
例如：表A（小表），表B（大表）
-- 效率低，用到了A表上cc列的索引；
select * from A where cc in (select cc from B)
## 改为：
-- mysql效率高，用到了B表上cc列的索引。
select * from A where exists(select cc from B where cc=A.cc)
相反的
-- 效率低，用到了A表上cc列的索引
select * from B where exists(select cc from A where cc=B.cc)
## 改为：
-- 效率高，用到了B表上cc列的索引
select * from B where cc in (select cc from A) ；
11、隐式转换导致索引失效.
这一点应当引起重视.也是开发中经常会犯的错误. 由于表的字段tu_mdn定义为varchar2(20),但在查询时把该字段作为number类型以where条件传给Oracle,这样会导致索引失效.
错误的例子：select * from test where tu_mdn=13333333333;
正确的例子：select * from test where tu_mdn='13333333333';
12、以下使用会使索引失效，应避免使用
a. 使用 <> 、not in 、not exist、!=
b. like “%_” 百分号在前（可采用在建立索引时用reverse(columnName)这种方法处理）
c. 单独引用复合索引里非第一位置的索引列.应总是使用索引的第一个列，如果索引是建立在多个列上, 只有在它的第一个列被where子句引用时，优化器才会选择使用该索引。
d. 字符型字段为数字时在where条件里不添加引号.
e. 当变量采用的是times变量，而表的字段采用的是date变量时.或相反情况。
13、 不要在 SQL 代码中使用双引号。
因为字符常量使用单引号。如果没有必要限定对象名称，可以使用（非 ANSI SQL 标准）括号将名称括起来。
14、关联子查询
MySQL的子查询实现是非常糟糕的。比如下面的：
-- 优化前sql
SELECT * FROM book WHERE book_id IN (SELECT book_id FROM author WHERE author_id = 1)
MySQL对IN()列表中的选项有专门的优化策略，一般会认为MySQL会先执行子查询返回所有包含author_id 为1的book_id。或许你想MySQL的运行时这样子的：
SELECT GROUP_CONCAT(book_id) FROM author WHERE author_id = 1;
SELECT * FROM book WHERE book_id IN (1,21,3,45,656,766,213,123);
但是，MySQL会将相关的外层表压到子查询中的，就是下面的样子：
SELECT * FROM book WHERE EXISTS
(SELECT * FROM author WHERE author_id = 1 AND book.book_id = author.book_id)
原因：因为子查询需要book_id ，所以MySQL认为无法先执行这个子查询，而是先对book 进行全表扫描，然后再根据book_id进行子查询。具体可以EXPLAIN该SQL进行分析。
建议：
使用左外连接（LEFT OUTER JOIN）代替子查询。
-- 优化后的sql
SELECT * from book LEFT OUTER JOIN author USING(book_id) WHERE author.author_id = 1
- 影响因素：还有数据表放的位置等，具体应用场景就只能你自己explain该语句对比哪种性能比较好点
- 确保ON或者USING子句的列上有索引，在创建索引的时候就要考虑到关联的顺序。
- 参考链接(ON和USING)：http://www.mamicode.com/info-detail-138723.html
15、UNION使用
如果希望UNION的各个子句能根据LIMIT只取部分结果集，或者希望能够先排好序再合并结果集的话。
第一个例子：会将author表和user 表两个表都存放到一个临时表中，再从临时表中取出前20条。
-- 优化前sql
(SELECT first_name FROM author ORDER BY last_name)
UNION ALL
(SELECT first_name FROM user ORDER BY last_name)
LIMIT 20
对比上面的这样子，就有很大的改善了。
-- 优化后sql
(SELECT first_name FROM author ORDER BY last_name LIMIT 20)
UNION ALL
(SELECT first_name FROM user ORDER BY last_name LIMIT 20)
LIMIT 20
16、COUNT()查询
比如如果想统计文章id大于25的数量，可以如下：
EXPLAIN SELECT COUNT(*) FROM article WHERE id >25
另外一种思路：可以先查询文章总数，减去小于等于25的数量。仅仅提供思路，具体效果还是你具体情况，自己比较，择优选择
EXPLAIN SELECT (SELECT COUNT(*) FROM article) - COUNT(*) FROM article WHERE id <=25
题外话：
如果需要区分不同颜色的商品数量时，可以如下做法：
seelct count(color = 'blue' OR NULL) as blue,COUNT(color = 'red' OR NULL) AS RED FROM items
四、其它可优化点
1、优先且尽可能使用分区索引。
2、索引列有大量数据重复时，SQL查询可能不会去利用索引
如一表中有字段sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。
3、索引并不是越多越好
索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或 update 时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。
一个表的索引数最好不要超过6个，若太多则应考虑一些不常使用到的列上建的索引是否有必要。
4、应尽可能的避免更新 clustered 索引数据列
因为 clustered 索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将导致整个表记录的顺序的调整，会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列，那么需要考虑是否应将该索引建为 clustered 索引。
5、尽量使用数字型字段
若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
6、尽可能的使用 varchar/nvarchar 代替 char/nchar
因为首先变长字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较小的字段内搜索效率显然要高些。
7、任何地方都不要使用 select * from t ，用具体的字段列表代替“*”，不要返回用不到的任何字段。
8、尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。
9、避免频繁创建和删除临时表，以减少系统表资源的消耗。
10、临时表并不是不可使用，适当地使用它们可以使某些例程更有效，
例如，当需要重复引用大型表或常用表中的某个数据集时。但是，对于一次性事件，最好使用导出表。
11、在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。
12、如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。
13、尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。
14、使用基于游标的方法或临时表方法之前，应先寻找基于集的解决方案来解决问题，基于集的方法通常更有效。
15、与临时表一样，游标并不是不可使用。
对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。