MySQL 全表扫描

Server

将 200G 的 InnoDB 表 db1. t 全表结果保存在客户端 :

mysql -h$host -P$port -u$user -p$pwd -e "select * from db1.t" > $target_file

取/发数据的流程 :

1. 取每一行，写到 net_buffer 中。该内存大小由 net_buffer_length 控制 ，默认: 16k
2. 直到 net_buffer 写满，调用网络接口发出去
3. 当发送成功，就清空 net_buffer，并继续步骤1，2
4. 当返回 EAGAIN 或 WSAEWOULDBLOCK : 本地网络栈（socket send buffer）写满，并等待。直到网络栈重新可写，再继续发送

• socket send buffer (默认定义 /proc/sys/net/core/wmem_default )

查看状态

• State : Sending to client : 服务器端的网络栈写满

show processlist;

解决方法 ：

• 优化查询
• 增大 net_buffer_length

状态

查询语句的状态变化 ：

1. MySQL 查询语句进入执行阶段后，先把状态设置成 Sending data
2. 再发送执行结果的列相关的信息 (meta data) 给客户端
3. 再继续执行语句的流程
4. 执行完成后，把状态设置成空字符串

• Sending data 可能在执行器过程中的任意阶段

锁等待场景 ：

session A	session B
begin;
select * from t where id = 1 for udpate;
	select * from t lock in share mode; (blocked)

读全表被锁 :

show processlist;

• 等锁状态 , 却显示 Sending data
• Sending to client : 当一个线程处于等待客户端接收结果的状态
• Sending data : 只是正在执行

InnoDB

WAL 里 Buffer Pool 配合 redo log，就避免了随机写盘 , 加速更新

• Buffer Pool 还能加速查询

查看 Buffer Pool 命中率 :

show engine innodb status;

稳定的线上服务，内存命中率要在 99% 上 :

控制 InnoDB Buffer Pool 大小 ：

• 一般设置 : 可用物理内存的 60%~80%

innodb_buffer_pool_size

InnoDB 内存管理 : 最近最少使用 (Least Recently Used, LRU) 算法

• 核心 : 淘汰最久未使用的数据

LRU

基本 LRU 算法 :

• state 1 : 链表头部是 P1 : 最近刚刚被访问过的数据页
• state 2 : 当有读请求访问 P3，P3 移到最前面
• state 3 : 当访问数据不在链表中，就新申请个数据页 Px，加到链表头部。但由于内存已经满了，就淘汰链表末尾 Pm
• 缺点 : 当扫描大量历史数据 , 会淘汰 Buffer Pool 中的所有数据 , 那内存命中率会急剧下降，影响性能

改进的 LRU 算法 :

• 按 5:3 比例把 LRU 分为 young 和 old

1. state 1 : 访问数据页 P3，由于 P3 在 young 区，将移到链表头部，变成 state 2
2. state 3 : 当访问数据不在链表中，就淘汰 Pm，把新申请的 Px 放在 LRU_old 处
3. 当 old 区的数据页，每次访问就判断：
   1. 当该数据页在 LRU 中存在时间 > 1 秒，就移到链表头部
   2. 当该数据页在 LRU 中存在时间 < 1 秒，位置保持不变

• 存在时间阈值 (默认 : 1000 ms ) : innodb_old_blocks_time