一个好的数据库设计方案对于数据库的性能常常会起到事半功倍的效果。合理的数据库结构不仅可以使数据库占用更小的磁盘空间，而且能够使查询速度更快。数据库结构的设计需要考虑数据冗余、查询和更新的速度、字段的数据类型是否合理等多方面的内容

一、冷热数据分离

冷热数据分离的思路：把1个包含很多字段的表拆分成2个或者多个相对较小的表。这样做的原因是，这些表中某些字段的操作频率很高（热数据），经常要进行查询或者更新操作，而另外一些字段的使用频率却很低（冷数据），冷热数据分离，可以减小表的宽度。如果放在一个表里面，每次查询都要读取大记录，会消耗较多的资源。
MySQL限制每个表最多存储4096列，并且每一行数据的大小不能超过65535字节。表越宽，把表装载进内存缓冲池所占用的内存也就越大，也会消耗更多的IO。

1.1、冷热数据分离的目的

1、减少磁盘IO，保证热数据的内存缓存命中率
2、更有效的利用缓存，避免读入无用的冷数据

1.2、冷热数据分离举例

会员members表 存储会员登录认证信息，该表中有很多字段，如id、姓名、密码、地址、电话、个人描述字段。其中地址、电话、个人描述等字段并不常用，可以将这些不常用的字段分解出另一个表。将这个表取名叫members_detail，表中有member_id、address、telephone、description等字段。这样就把会员表分成了两个表，分别为 members表 和 members_detail表

CREATE TABLE members
(
    id              INT(11) NOT NULL AUTO_INCREMENT,
    username        VARCHAR(50)  DEFAULT NULL,
    password        VARCHAR(50)  DEFAULT NULL,
    last_login_time DATETIME     DEFAULT NULL,
    last_login_ip   VARCHAR(100) DEFAULT NULL,
    PRIMARY KEY (id)
);
CREATE TABLE members_detail
(
    member_id   INT(11) NOT NULL DEFAULT 0,
    address     VARCHAR(255)     DEFAULT NULL,
    telephone   VARCHAR(255)     DEFAULT NULL,
    description TEXT
);

查询会员完整信息

SELECT *
FROM members
         LEFT JOIN members_detail ON members.id = members_detail.member_id;

二、增加中间表

对于需要经常联合查询的表，可以建立中间表以提高查询效率。通过建立中间表，把需要经常联合查询的数据插入中间表中，然后将原来的联合查询改为对中间表的查询，以此来提高查询效率

三、增加冗余字段

设计数据库表时应尽量遵循范式理论的规约，尽可能减少冗余字段，让数据库设计看起来精致、优雅。但是，合理地加入冗余字段可以提高查询速度
表的规范化程度越高，表与表之间的关系就越多，需要连接查询的情况也就越多。尤其在数据量大，而且需要频繁进行连接的时候，为了提升效率，我们也可以考虑增加冗余字段来减少连接

四、优化数据类型

优先选择符合存储需要的最小的数据类型。列的字段越大，建立索引时所需要的空间也就越大，这样一页中所能存储的索引节点的数量也就越少，在遍历时所需要的IO次数也就越多，索引的性能也就越差

4.1、对整数类型数据进行优化

遇到整数类型的字段可以用 INT 型 。这样做的理由是，INT 型数据有足够大的取值范围，不用担心数据超出取值范围的问题。刚开始做项目的时候，首先要保证系统的稳定性，这样设计字段类型是可以的。但在数据量很大的时候，数据类型的定义，在很大程度上会影响到系统整体的执行效率
对于 非负型 的数据（如自增ID、整型IP）来说，要优先使用无符号整型 UNSIGNED 来存储。因为无符号相对于有符号，同样的字节数，存储的数值范围更大。如tinyint有符号为-128-127，无符号为0-255，多出一倍的存储空间

4.2、既可以使用文本类型也可以使用整数类型的字段，要优先使用整数类型

跟文本类型数据相比，大整数往往占用 更少的存储空间 ，因此，在存取和比对的时候，可以占用更少的内存空间。所以，在二者皆可用的情况下，尽量使用整数类型，这样可以提高查询的效率。如：将IP地址转换成整型数据

4.3、避免使用TEXT、BLOB数据类型

MySQL内存临时表不支持TEXT、BLOB这样的大数据类型，如果查询中包含这样的数据，在排序操作时，就不能使用内存临时表，必须使用磁盘临时表进行。并且对于这种数据，MySQL还是要进行二次查询，会使SQL性能变得很差。
如果一定要使用，建议把BLOB 或是 TEXT列，分离到单独的扩展表中，查询时一定不要使用`select *，而只需要取出必要的列。

4.4、避免使用ENUM类型

修改ENUM值需要使用ALTER语句
ENUM类型的ORDER BY 操作效率低，需要额外操作。使用TINYINT来代替ENUM类型

4.5、使用TIMESTAMP存储时间

TIMESTAMP存储的时间范围1970-01-01 00:00:01.000000 UTC 到 2038-01-09 03:14:07.999999 UTC。TIMESTAMP使用 4 字节；DATETIME使用8个字节

4.6、用DECIMAL代替FLOAT和DOUBLE存储精确浮点数

DECIMAL类型为精准浮点数，在计算时不会丢失精度，尤其是财务相关的金融类数据。占用空间由定义的宽度决定，每4个字节可以存储9位数字，并且小数点要占用一个字节。可用于存储比BIGINT更大的整形数据

5、优化插入记录的速度

插入记录时，影响插入速度的主要是索引、唯一性校验、一次插入记录条数等。

5.1、MyISAM 引擎表

5.1.1、禁用索引

对于非空表，插入记录时，MySQL会根据表的索引对插入的记录建立索引。如果插入大量数据，建立索引就会降低插入记录的速度。为了解决这种情况，可以在插入记录之前禁用索引，数据插入完毕后再开启索引

禁用索引

ALTER TABLE table_name DISABLE KEYS ;

开启索引

ALTER TABLE table_name ENABLE KEYS ;

MyISAM引擎的表是在导入数据之后才建立索引

5.1.2、禁用唯一性检查

插入数据时，MySQL会对插入的记录进行唯一性校验。这种唯一性校验会降低插入记录的速度。为了降低这种情况对查询速度的影响，可以在插入记录之前禁用唯一性检查，等到记录插入完毕后再开启。

禁用唯一性

SET UNIQUE_CHECKS = 0;

开启唯一性

SET UNIQUE_CHECKS = 1;

5.1.3、使用批量插入

5.1.4、使用LOAD DATA INFILE 批量导入

当需要批量导入数据时，如果能用LOAD DATA INFILE语句，就尽量使用。因为LOAD DATA INFILE语句导入数据的速度比INSERT语句块

5.2、InnoDB 引擎表

5.2.1、禁用唯一性检查

插入数据时，MySQL会对插入的记录进行唯一性校验。这种唯一性校验会降低插入记录的速度。为了降低这种情况对查询速度的影响，可以在插入记录之前禁用唯一性检查，等到记录插入完毕后再开启。

禁用唯一性

SET UNIQUE_CHECKS = 0;

开启唯一性

SET UNIQUE_CHECKS = 1;

5.2.2、禁用外键检查

插入数据之前执行禁止对外键的检查，数据插入完成之后再恢复对外键的检查

禁用外键检查

SET FOREIGN_KEY_CHECKS = 0;

恢复对外键检查

SET FOREIGN_KEY_CHECKS = 1;

5.2.3、禁用自动提交

插入数据之前禁止事务的自动提交，数据导入完成之后，执行恢复自动提交操作

禁止自动提交

SET AUTOCOMMIT = 0;

恢复自动提交

SET AUTOCOMMIT = 1;

6、使用非空约束

在设计字段的时候，如果业务允许，建议尽量使用非空约束

优点1：进行比较和计算时，省去要对NULL值得字段判断是否为空的开销，提高存储效率
优点2：非空字段也容易创建索引。因为索引NULL列（1字节）需要额外的空间来保存，所以要占用更多的空间。

7、分析表、检查表与优化表

MySQL提供了分析表、检查表和优化表的语句。分析表主要是分析关键字的分布；检查表主要是检查表是否存在错误；优化表主要是消除删除或者更新造成的空间浪费；

7.1、分析表

MySQL中提供了ANALYZE TABLE语句分析表，默认的，MySQL服务会将 ANALYZE TABLE语句写到binlog中，以便在主从架构中，从服务能够同步数据。可以添加参数LOCAL 或者NO_WRITE_TO_BINLOG取消将语句写到binlog中。
使用 ANALYZE TABLE 分析表的过程中，数据库系统会自动对表加一个 只读锁 。在分析期间，只能读取表中的记录，不能更新和插入记录。ANALYZE TABLE语句能够分析InnoDB和MyISAM类型的表，但是不能作用于视图。
ANALYZE TABLE分析后的统计结果会反应到cardinality 的值，该值统计了表中某一键所在的列不重复的值的个数。该值越接近表中的总行数，则在表连接查询或者索引查询时，就越优先被优化器选择使用。也就是索引列的cardinality的值与表中数据的总条数差距越大，即使查询的时候使用了该索引作为查询条件，存储引擎实际查询的时候使用的概率就越小。下面通过例子来验证下。cardinality可以通过SHOW INDEX FROM 表名查看

ANALYZE TABLE语句的基本语法

ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name[,tbl_name]…

7.1.1、准备数据

user1表

CREATE TABLE `user1`
(
    `id`   INT NOT NULL AUTO_INCREMENT,
    `name` VARCHAR(255) DEFAULT NULL,
    `age`  INT          DEFAULT NULL,
    `sex`  VARCHAR(255) DEFAULT NULL,
    PRIMARY KEY (`id`),
    KEY `idx_name` (`name`) USING BTREE
);

解决创建函数时报错

SET GLOBAL log_bin_trust_function_creators = 1;

存储过程(rand_num)

DELIMITER $
CREATE FUNCTION rand_num(from_num INT, to_num INT) RETURNS INT(11)
BEGIN
    DECLARE i INT DEFAULT 0;
    SET i = FLOOR(from_num + RAND() * (to_num - from_num + 1));
    RETURN i;
END $
DELIMITER ;

insert_user

DELIMITER $
CREATE PROCEDURE insert_user(max_num INT)
BEGIN
    DECLARE i INT DEFAULT 0;
    SET autocommit = 0;
    REPEAT
        SET i = i + 1;
        INSERT INTO `user1` (name, age, sex)
        VALUES ("atguigu", rand_num(1, 20), "male");
    UNTIL i = max_num
        END REPEAT;
    COMMIT;
END $
DELIMITER ;

7.1.2、查看 user1 表索引

SHOW INDEX FROM user1;

image.png

7.1.3、分析查询nameSQL

EXPLAIN
SELECT *
FROM user1
WHERE name = 'atguigu';

idx_name索引失效.png

小结：由于查询条件atguigu在全表中数据都是atguigu所以执行优化器选择全表扫描而不是使用索引idx_name

7.1.4、修改数据中的`name`

修改SQL

UPDATE user1 SET NAME = 'atguigu03' WHERE id = 3;

查看索引

SHOW INDEX FROM user1;

image.png

ANALYZE

ANALYZE TABLE user1;

ANALYZE结果.png

Table：表示分析的表的名称
Op：表示执行的操作。analyze 表示进行分析操作
Msg_type：表示信息类型，其值通常是状态（status）、信息（info）、注意（note）、警告（warning）和错误（error）之一
Msg_text：显示信息

7.1.5、小结

查询SQL

EXPLAIN
SELECT *
FROM user1
WHERE name = 'atguigu';

EXPLAIN结果.png

虽然name字段上面有索引，但是执行计划显示ALL
索引的Cardinality越大，表示索引被优化器使用的概率就越大

7.2、检查表

MySQL中可以使用 CHECK TABLE 语句来检查表CHECK TABLE语句能够检查InnoDB和MyISAM类型的表是否存在错误。CHECK TABLE语句在执行过程中也会给表加上 只读锁 。
对于MyISAM类型的表，CHECK TABLE语句还会更新关键字统计数据。而且，CHECK TABLE也可以检查视图是否有错误，比如在视图定义中被引用的表已不存在。

7.2.1、语法格式

CHECK TABLE tbl_name [, tbl_name] ... [OPTION] ... option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}

tbl_name是表名
option参数：option只对MyISAM类型的表有效，对InnoDB类型的表无效
- QUICK ：不扫描行，不检查错误的连接
- FAST ：只检查没有被正确关闭的表
- CHANGED ：只检查上次检查后被更改的表和没有被正确关闭的表
- MEDIUM ：扫描行，以验证被删除的连接是有效的。也可以计算各行的关键字校验和，并使用计算出的校验和验证这一点
- EXTENDED ：对每行的所有关键字进行一个全面的关键字查找。这可以确保表是100%一致的，但是花的时间较长

7.3、优化表

7.3.1、OPTIMIZE TABLE

MySQL中使用 OPTIMIZE TABLE 语句来优化表。但是，OPTILMIZE TABLE语句只能优化表中的VARCHAR 、 BLOB 或 TEXT 类型的字段。一个表使用了这些字段的数据类型，若已经 删除 了表的一大部分数据，或者已经对含有可变长度行的表（含有VARCHAR、BLOB或TEXT列的表）进行了很多 更新，则应使用OPTIMIZE TABLE来重新利用未使用的空间，并整理数据文件的 碎片 。
OPTIMIZE TABLE 语句对InnoDB和MyISAM类型的表都有效。该语句在执行过程中也会给表加上 只读锁

OPTILMIZE TABLE语句的基本语法如下

OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...

LOCAL | NO_WRITE_TO_BINLOG关键字的意义和分析表相同，都是指定不写入二进制日志
在终端执行

OPTIMIZE TABLE student;

image.png

在MyISAM中，是先分析这张表，然后会整理相关的MySQL datafile，之后回收未使用的空间；在InnoDB中，回收空间是简单通过Alter table进行整理空间。在优化期间，MySQL会创建一个临时表，优化完成之后会删除原始表，然后会将临时表rename成为原始表
说明：在多数的设置中，根本不需要运行OPTIMIZE TABLE。即使对可变长度的行进行了大量的更新，也不需要经常运行， 每周一次 或 每月一次 即可，并且只需要对 特定的表 运行

7.3.2、使用 mysqlcheck 命令

命令

mysqlcheck -o DatabaseName TableName -u root -p****

优化所有表

mysqlcheck -o DatabaseName TableName -u root -p****
#  或
mysqlcheck -o --all-databases -u root -p****

8、小结

修改数据类型，节省存储空间的同时，你要考虑到数据不能超过取值范围
增加冗余字段的时候，不要忘了确保数据一致性
把大表拆分，也意味着你的查询会增加新的连接，从而增加额外的开销和运维的成本

66-MySQL其它调优策略- 优化数据库结构

一、冷热数据分离

1.1、冷热数据分离的目的

1.2、冷热数据分离举例

二、增加中间表

三、增加冗余字段

四、优化数据类型

4.1、对整数类型数据进行优化

4.2、既可以使用文本类型也可以使用整数类型的字段，要优先使用整数类型

4.3、避免使用TEXT、BLOB数据类型

4.4、避免使用ENUM类型

4.5、使用TIMESTAMP存储时间

4.6、用DECIMAL代替FLOAT和DOUBLE存储精确浮点数

5、优化插入记录的速度

5.1、MyISAM 引擎表

5.1.1、禁用索引

5.1.2、禁用唯一性检查

5.1.3、使用批量插入

5.1.4、使用LOAD DATA INFILE 批量导入

5.2、InnoDB 引擎表

5.2.1、禁用唯一性检查

5.2.2、禁用外键检查

5.2.3、禁用自动提交

6、使用非空约束

7、分析表、检查表与优化表

7.1、分析表

7.1.1、准备数据

7.1.2、查看 user1 表索引

7.1.3、分析查询nameSQL

7.1.4、修改数据中的`name`

7.1.5、小结

7.2、检查表

7.2.1、语法格式

7.3、优化表

7.3.1、OPTIMIZE TABLE

7.3.2、使用 mysqlcheck 命令

8、小结

你可能感兴趣的:(66-MySQL其它调优策略- 优化数据库结构)

66-MySQL其它调优策略- 优化数据库结构

一、冷热数据分离

1.1、冷热数据分离的目的

1.2、冷热数据分离举例

二、增加中间表

三、增加冗余字段

四、优化数据类型

4.1、对整数类型数据进行优化

4.2、既可以使用文本类型也可以使用整数类型的字段，要优先使用整数类型

4.3、避免使用TEXT、BLOB数据类型

4.4、避免使用ENUM类型

4.5、使用TIMESTAMP存储时间

4.6、用DECIMAL代替FLOAT和DOUBLE存储精确浮点数

5、优化插入记录的速度

5.1、MyISAM 引擎表

5.1.1、禁用索引

5.1.2、禁用唯一性检查

5.1.3、使用批量插入

5.1.4、 使用LOAD DATA INFILE 批量导入

5.2、InnoDB 引擎表

5.2.1、禁用唯一性检查

5.2.2、禁用外键检查

5.2.3、禁用自动提交

6、使用非空约束

7、 分析表、检查表与优化表

7.1、分析表

7.1.1、准备数据

7.1.2、查看 user1 表索引

7.1.3、分析查询nameSQL

7.1.4、修改数据中的name

7.1.5、小结

7.2、检查表

7.2.1、语法格式

7.3、优化表

7.3.1、OPTIMIZE TABLE

7.3.2、使用 mysqlcheck 命令

8、小结

你可能感兴趣的:(66-MySQL其它调优策略- 优化数据库结构)

5.1.4、使用LOAD DATA INFILE 批量导入

7、分析表、检查表与优化表

7.1.4、修改数据中的`name`