MySQL进阶（8）——应用优化以及查询缓存、内存管理优化

1、应用优化

前面介绍了许多数据库的优化策略，但是在实际生产环境中，由于数据库本身的性能局限性，就必须对前台的应用进行一些优化，来降低数据库的访问压力。

1.1、使用连接池

对于访问数据库来说，建立连接的代价是比较昂贵的，因为我们频繁的创建关闭连接，是比较耗费资源的，我们有必要建立 数据库连接池，以提高访问性能。

1.2、减少对 MySQL 的访问

1.2.1、避免对数据进行重复检索

在编写应用代码时，需要能够理清对数据库的访问逻辑。能够一次连接就获取到结果的，就不用两次连接，这样可以大大减少对数据库无用的重复请求。
比如，需要获取书籍的 id 和 name 字段，则查询如下：

select id, name from tb_book;

之后，在业务逻辑中有需要获取到书籍状态信息，则查询如下：

select id, status from tb_book;

这样，就需要向数据库提交两次请求，数据库就要做两次查询操作。其实完全可以用一条 SQL 语句得到想要的结果。

select id, name, status from tb_book;

1.2.2、增加cache层

在应用中，我们可以在应用中增加 缓存层，来达到减轻数据库负担的目的。缓存层有多种，也有多种实现方式，只要能达到降低数据库的负担，又能满足应用需求就可以。
因此可以部分数据从数据库中抽取出来放到应用端以文本方式存储，或者使用框架提供的一级缓存/二级缓存，或者使用 redis 数据库来缓存数据。

1.3、负载均衡

负载均衡是应用中使用非常普遍的一种优化方法，他的机制就是利用某种均衡算法，将固定的负载量分布到不同的服务器上，以此来降低单台服务器的负载，达到优化的效果。

1.3.1、利用mysql复制分流查询

通过MySQL的主从复制，实现读写分离，使增删改操作走主节点，查询操作走从节点，从而可以降低单台服务器的读写压力。

1.3.2、采用分布式数据库架构

分布式数据库架构适合大数据、负载高的情况，它有良好的拓展性和高可用性。通过在多台服务器之间分布数据，可以实现在多台服务器之间的负载均衡，提高访问效率。

2、MySQL 中查询优化

2.1、概述

开启 MySQL 的查询缓存，当执行完全相同的 SQL 语句的时候，服务器就会直接从缓存中读取结果，当数据被修改，之前的缓存会失效，修改比较频繁的表不适合做查询缓存。

2.2、操作流程

1. 客户端发送一条查询语句给服务器
2. 服务器会先检查查询缓存，如果命中了缓存，则立即返回存储在缓存中的结果，否则进入下一阶段
3. 服务器端会进行 SQL 解析、预处理，在由优化器生成对应的执行计划
4. MySQL 根据优化器生成的执行计划，调用存储引擎的 API 来执行查询
5. 将结果返回给客户端

2.3、查询缓存配置

**注意：**在MySQL8.0中已经去掉了缓存的设置。
1、查看当前MySQL数据库是否支持查询缓存

show variables like 'have_query_cache';

2、查看当前 MySQL 是否开启了查询缓存

show variables like 'query_cache_type';

3、查看查询缓存的占用大小

show variables like 'query_cache_size';

4、查看查询缓存的状态变量

show status like 'Qcache%';

1. 各个变量的含义如下：

   参数	含义
   Qcache_free_blocks	查询缓存中的可用内存块数
   Qcache_free_memory	查询缓存的可用内存量
   Qcache_hits	查询缓存命中数
   Qcache_inserts	添加到查询缓存的查询数
   Qcache_lowmen_prunes	由于内存不足而从查询缓存中删除的查询数
   Qcache_not_cached	非缓存查询的数量（由于 query_cache_type 设置而无法缓存或未缓存）
   Qcache_queries_in_cache	查询缓存中注册的查询数
   Qcache_total_blocks	查询缓存中的块总数

2.4、开启查询缓存

MySQL 的查询缓存默认是关闭的，需要手动配置参数 query_cache_type，来开启查询缓存。query_cache_type 该参数的可取值有三个：

值	含义
OFF或0	查询缓存功能关闭
ON或1	查询缓存功能打开，SELECT 的结果复合缓存条件即会缓存，否则，不予缓存，显式指定SQL_NO_CACHE，不予缓存
DEMAND或2	查询缓存功能按需进行，显式指定 SQL_CACHE 的SELECT语句才会缓存；其他不予缓存

在/usr/my.cnf配置中，增加以下配置：

配置完毕后，重启mysql服务即可生效。
然后就可以在命令行中查看

2.5、查询缓存SELECT选项

可以在SELECT语句中指定两个与查询缓存相关的选项。

SQL_CACHE：如果查询结果是可以缓存的，并且 query_cache_type 系统变量的值为 ON或DEMAND，则缓存查询结果。
SQL_NO_CACHE：服务器不实用查询缓存。它既不检查查询缓存，也不检查结果是否已缓存，也不缓存查询结果。

例子：

SELECT SQL_CACHE id, name FROM customer;
SELECT SQL_NO_CACHE id, name FROM customer;

2.6、查询缓存失效的情况

1）SQL语句不一致的情况，要想命中缓存，查询SQL语句必须一致。

//命令行大小写不一致
SQL1: select count(*) from tb_user;
SQL2: Select count(*) from tb_user;

2）当查询语句中有一些不确定时，则不会缓存。如：now()、current_data()、curdate()、rand()、uuid()、 user()、 database()

SQL1 : select * from tb_item where updatetime < now() limit 1;
SQL2 : select user();
SQL3 : select database();

3）不使用任何表查询语句

select 'A';

4）查询（数据库自带表） mysql，information_schema 或 performance_schema 数据库中的表时，不会走查询缓存

select * from information_schema.engines;

5） 在存储的函数，触发器或事件的主体内执行的查询。

6） 如果表更改，则使用该表的所有高速缓存查询都将变为无效并从高速缓存中删除。这包括使用MERGE映射到已更改表的表的查询。一个表可以被许多类型的语句，如被改变 INSERT， UPDATE， DELETE， TRUNCATE TABLE， ALTER TABLE， DROP TABLE，或 DROP DATABASE 。

3、MySQL 内存管理及优化

3.1、内存优化原则

1）将尽量多的内存分配给 MySQL 做缓存，但要给操作系统和其他程序预留足够的内存。
2）MyISAM 存储引擎的数据文件读取依赖于操作系统自身的 IO 缓存，因此，如果有 MyISAM 表，就要预留更多的内存给操作系统做 IO 缓存。
3）排序区、连接区等缓存是分配给每个数据库会话（session）专用的，其默认值的设置要根据最大连接数合理分配，如果设置太大，不但浪费资源，而且在并发连接较高时会导致物理内存耗尽。

3.2、MyISAM 内存优化

MyISAM 存储引擎使用 key_buffer缓存索引块，加速 MyISAM 索引的读写速度。对于 MyISAM 表的数据块，mysql 没有特别的缓存机制，完全依赖于操作系统的 IO 缓存。

1. key_buffer_size
   key_buffer_size 决定 MyISAM 索引块缓存区的大小，直接影响到 MyISAM 表的存取效率。可以在 MySQL 参数文件中设置 key_buffer_size的值，对于一般 MyISAM 数据库，建议至少将 1/4 可用内存分配给 key_buffer_size。
   在 /usr.my.cnf中作出如下配置：

key_buffer_size=512M

2. read_buffer_size
   如果需要经常顺序扫描 MyISAM 表，可以增大 read_buffer_size 的值来改善性能。但需要注意的是 read_buffer_size 是每个 session 独占的，如果默认值设置太大，就会造成内存浪费。
3. read_rnd_buffer_size
   对于需要做排序的 MyISAM 表的查询，如带有 order by字句的sql，适当增加 read_rnd_buffer_size 的值，可以改善此类的sql性能。但需要注意的是 read_rnd_buffer_size 是每个 session 独占的，如果默认值设置太大，就会造成内存资源的浪费。
   

3.3、InnoDB内存优化

InnoDB 用一块内存区做 IO 缓存池，该缓存池不仅用来缓存 InnoDB 的索引块，而且也用来缓存 InnoDB 的数据块。

1. innodb_buffer_pool_size

该变量决定了 innodb 存储引擎表数据和索引数据的最大缓存区大小。在保证操作系统及其他程序有足够内存可用的情况下，innodb_buffer_pool_size 的值越大，缓存命中率越高，访问InnoDB表需要的磁盘I/O 就越少，性能也就越高。

innodb_buffer_pool_size=512M

2. innodb_log_buffer_size

决定了innodb重做日志缓存的大小，对于可能产生大量更新记录的大事务，增加innodb_log_buffer_size的大小，可以避免innodb在事务提交前就执行不必要的日志写入磁盘操作。

innodb_log_buffer_size=10M