MySQL - 单表数据量大表优化方案

一. 前言

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化。

二. 单表优化

除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量。

字段

• 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED
• VARCHAR的长度只分配真正需要的空间
• 使用枚举或整数代替字符串类型
• 尽量使用TIMESTAMP而非DATETIME，
• 单表不要有太多字段，建议在20以内
• 避免使用NULL字段，很难查询优化且占用额外索引空间 用整型来存IP

索引

索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描

• 应尽量避免在WHERE子句中对字段进行NULL值判断，否则将导致引擎放弃使用索引而进行全表扫描
• 值分布很稀少的字段不适合建索引，例如"性别"这种只有两三个值的字段
• 字符字段只建前缀索引
• 字符字段最好不要做主键
• 不用外键，由程序保证约束
• 尽量不用UNIQUE，由程序保证约束
• 使用多列索引时主意顺序和查询条件保持一致，同时删除不必要的单列索引

查询SQL优化

可通过开启慢查询日志查找出较慢的SQL。

• 不做列运算: SELECT id WHERE age+1=10
  ,任何对列的操作都将导致全表扫描.它包括数据库教程函数,计算表达式等等,查询时尽量将操作移至等号右边
• SQL语句尽可能简单:一条SQL只能在一个cpu进行运算;大语句拆分成小语句,减少锁时间;一条大SQL可以堵死整个库
• 不用 SELECT *
• 少用 JOIN
• 避免 %xxx式查询
• 不用函数和触发器,在应用程序实现
• OR改写成IN:OR的效率是 n 级别,IN的效率是 log(n)级别。IN的个数建议控制在200以内
• 使用同类型进行比较:比如’123’和’123’比,123和123比
• 尽量避免在WHERE 子句中使用!= <>操作,否则将导致引擎放弃索引使用全表扫描
• 对于连续数值,使用BETWEEN而不用IN
• 列数据不要拿全表,要使用 LIMIT进行分页,每页数量页不要太大

引擎

目前广泛使用的是MyISAM引擎和InnoDB两种引擎。
MyISAM适合SELECT密集型的表，不支持事务。
InnoDB适合insert和update密集型的表,支持事务。

二. 读写分离

也是目前常用的优化，从库读主库写，一般不要采用双主或多主引入很多复杂性，尽量采用文中的其他方案来提高性能。同时目前很多拆分的解决方案同时也兼顾考虑了读写分离。
MySQL数据库 + Docker主从同步搭建配置：https://blog.csdn.net/qq_43030934/article/details/129669236
Django+Docker实现MySQL读写分离基本使用介绍:https://blog.csdn.net/qq_43030934/article/details/129671074

三. 缓存

缓存可以发生在这些层次：

• MySQL内部：在系统调优参数介绍了相关设置
• 数据访问层：比如MyBatis针对SQL语句做缓存，而Hibernate可以精确到单个记录，这里缓存的对象主要是持久化对象Persistence
  Object
• 应用服务层：这里可以通过编程手段对缓存做到更精准的控制和更多的实现策略，这里缓存的对象是数据传输对象Data Transfer
  Object
• Web层：针对web页面做缓存
• 浏览器客户端：用户端的缓存

四. 分库分表

分库分表的中心思想都是将数据分散存储，使得单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。

1.垂直拆分

1.1垂直分库

以表为依据，根据业务将不同表拆分到不同库中。所以拆分完的每个库的表结构都不一样。每个库的数据也不一样。所有库的并集是全量数据。

1.2垂直分表

以字段为依据，根据字段属性将不同字段拆分到不同表中。并且每个表的结构都不一样。每个表的数据也不一样，一般通过一列（主键/外键）关联。所有表的并集是全量数据。

2. 水平拆分

2.1 水平分库

以字段为依据，按照一定策略，将一个库的数据拆分到多个库中。在水平分库中每个库的表结构都一样。每个库的数据都不一样。所有库的并集是全量数据。

2.2 水平分表

以字段为依据，按照一定策略，将一个表的数据拆分到多个表中。特点：每个表的表结构都一样。每个表的数据都不一样。所有表的并集是全量数据。

在业务系统中，为了缓解磁盘IO及CPU的性能瓶颈，到底是垂直拆分，还是水平拆分;具体是分库，还是分表，都需要根据具体的业务需求具体分析。

五. 升级硬件

Scale up，这个不多说了，根据MySQL是CPU密集型还是I/O密集型，通过提升CPU和内存、使用SSD，都能显著提升MySQL性能。