索引优化和查询优化--MySQL

索引优化和查询优化

都有哪些维度可以进行数据库调优

  • 索引失效、没有充分利用到索引–索引建立
  • 关联查询太多JOIN(设计缺陷或不得已的需求)–SQL优化
  • 服务器调优及各个参数设置(缓冲、线程数等) --调整my.cnf
  • 数据过多 – 分库分表

SQL查询优化的技术有很多,但大方向上可以分为物理查询优化逻辑查询优化两大块

  • 物理查询优化是通过索引和表连接方式等技术进行优化,这里重点需要掌握索引的使用。
  • 逻辑查询优化就是通过SQL等价变换提升效率,直白一点说,换一种查询写法执行效率可能更高。

索引原则

MySQL中提高性能的一个最有效的方式是对数据表设计合理的索引。索引提供了高效访问数据的方法,并且加快查询的速度,因此索引对查询的速度有着至关重要的影响。

  • 使用索引可以快速地定位表中的某条记录,从而提高数据库查询的速度,提高数据库的性能。
  • 如果查询时没有使用索引,查询语句就会扫描表中的所有记录。在数据量大的情况下,这样查询的速度会很慢。

大多数情况下(默认)采用B+树来构建索引。支持空间列类型的索引使用R-树,并且MEMORY表还支持hash索引。

  1. 全值匹配我最爱

    当使用的列数与索引的列数完全一致时(顺序也必须完全一致),查询效果最佳。

    索引优化和查询优化--MySQL_第1张图片

  2. 最佳左前缀法则

    当索引为联合索引时,要满足从左到右原则。

    CREATE INDEX idx_age_classid_name ON  student(age,classId,NAME);
    

    如索引id_age_classid_name,必须先使用age列,再使用classId列,后使用name列。如果先使用classId列再使用age列,则该索引失效。也可以单独使用age列,索引也能正确使用,也就是必须从左到右开始使用列。

    结论:MySQL可以为多个字段创建索引,一个索引可以包括16个字段。对于多了索引,过滤条件要使用索引必须按照所以建立时的顺序,一次满足,一旦跳过某个字段,索引后面的字段都无法被使用。如果查询条件中没有使用这些字段中第1个字段时,多列(或联合)索引不会被使用。

  3. 主键插入顺序

    对于一个使用InnoDB存储引擎的表来说,在我们没有显式的创建索引时,表中的数据实际上都是存储在聚簇索引的叶子结点的。而

    记录又是存储在数据页中的,数据页和记录又是按照记录主键值从小到大的顺序进行排序的,所以如果我们插入的记录的主键值是依

    次增大的话,那我们每插满一个数据页就换到下一个数据页继续插,而如果我们插入的主键值忽大忽小的话,就比较麻烦了。

    假设某个数据页存储的记录已经满了,我们需要把当前页分裂成两个页面,把本页中的一些记录移动到新创建的这个页中。这就意味

    着会有性能损耗!所以我们最好让插入的记录的主键值一次递增,最好让主键具有AUTO_INCREMENT,让存储引擎自己为表生成主

    键,而不是我们手动插入。

  4. 计算、函数、类型转换(自动或手段)导致索引失效

    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE student.name LIKE 'abc%';
    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE LEFT(student.name,3) = 'abc';
    

    创建索引

    CREATE INDEX idx_name ON student(NAME);
    

    第一种:索引优化生效

    mysql> EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE student.name LIKE 'abc%';
    

    索引优化和查询优化--MySQL_第2张图片

    第二种:索引优化失效

    mysql> EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE LEFT(student.name,3) = 'abc';
    

    索引优化和查询优化--MySQL_第3张图片

    mysql>  SELECT SQL_NO_CACHE * FROM student WHERE LEFT(student.name,3) = 'abc';
    

    索引优化和查询优化--MySQL_第4张图片

    type为“ALL”,表示没有使用到索引,查询时间为 3.62秒,查询效率较之前低很多。

    再举例:

    student表的字段stuno上设置有索引

    CREATE INDEX idx_sno ON student(stuno);
    EXPLAIN SELECT SQL_NO_CACHE id, stuno, NAME FROM student WHERE stuno+1 = 900001;
    

    索引优化和查询优化--MySQL_第5张图片

    索引优化生效:

    EXPLAIN SELECT SQL_NO_CACHE id, stuno, NAME FROM student WHERE stuno = 900000;
    

    再举例:

    student表的字段name上设置有索引

    CREATE INDEX idx_name ON student(NAME);
    EXPLAIN SELECT id, stuno, name FROM student WHERE SUBSTRING(name, 1,3)='abc';
    

    索引优化和查询优化--MySQL_第6张图片

    EXPLAIN SELECT id, stuno, NAME FROM student WHERE NAME LIKE 'abc%';
    

    image-20220227105100844

  5. 类型转换导致索引失效

    下列哪个sql语句可以用到索引。(假设name字段上设置有索引)

    # 未使用到索引
    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE name=123;
    

    image-20220227105239127

    # 使用到索引
    
    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE name='123';
    

    image-20220227105304442

    name=123发生类型转换,索引失效。(隐式的类型转换)

  6. 范围条件右边的列索引失效

    ALTER TABLE student DROP INDEX idx_name;
    ALTER TABLE student DROP INDEX idx_age;
    ALTER TABLE student DROP INDEX idx_age_classid;
    EXPLAIN SELECT SQL_NO_CACHE * FROM student
    WHERE student.age=30 AND student.classId>20 AND student.name = 'abc' ;
    
    student.classId>20的右侧的student.name = 'abc'的索引就会失效
    

    image-20220227110722837

    create index idx_age_name_classid on student(age,name,classid);
    

    将范围查询条件放置语句最后:

    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE student.age=30 AND student.name = 'abc' AND student.classId>20 ;
    #直接交换sql语句的位置是没有用的,需要改变联合索引的位置
    

    image-20220227110816425

    应用开发中范围查询,例如:金额查询,日期查询往往都是范围查询。应将查询条件防止where语句最后。

  7. 不等于(!= 或者<>)索引失效

    当sql语句中有!=或者<>会出现索引失效的问题,尝试改写为等于,或采用覆盖索引

  8. is null可以使用索引,is not null无法使用索引

    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE age IS NULL;
    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE age IS NOT NULL;
    

    结论:最好在设计数据表的时候就将字段设置为NOT NULL约束,比如你可以将INT类型的字段,默认值设置为0。将字符类型的默认值设置为空字符串。同理,在查询中使用not like也无法使用索引,导致全表扫描。

  9. like以通配符%开头索引失效

image-20220227111347919

【强制】页面搜索严禁左模糊或者全模糊,如果需要请走搜索引擎来解决。

  1. OR 前后存在非索引的列,索引失效

    OR的前后条件都具备索引,如果缺少一个就会出现索引失效

    # 未使用到索引
    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE age = 10 OR classid = 100;
    

    image-20220227111436908

    #使用到索引
    EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE age = 10 OR name = 'Abel';#or后面的字段也有索引
    

    在这里插入图片描述

  2. 数据库和表的字符集统一使用utf8mb4

统一使用utf8mb4( 5.5.3版本以上支持)兼容性更好,统一字符集可以避免由于字符集转换产生的乱码。不同的 字符集 进行比较前需要进行 转换 会造成索引失效。

一般性建议:

  • 对于单列索引,尽量选择针对当前query过滤性更好的索引
  • 在选择组合索引的时候,当前query中过滤性最好的额字段在索引字段顺序中,位置越靠前越好。
  • 在选择组合索引的时候,尽量选择能够包含当前query中的where子句中更多字段的索引。
  • 在选择组合索引的时候,如果某个字段可能出现范围查询时,尽量把这个字段放在索引次序的最后面。

总之,书写SQL语句时,尽量避免造成索引失效的情况。

关联查询优化

采用左外连接
EXPLAIN SELECT SQL_NO_CACHE * FROM `type` LEFT JOIN book ON type.card = book.card;

image-20220227113129705

结论:type 有All

添加索引优化

ALTER TABLE book ADD INDEX Y ( card);  #【被驱动表】,可以避免全表扫描
EXPLAIN SELECT SQL_NO_CACHE * FROM `type` LEFT JOIN book ON type.card = book.card;

索引优化和查询优化--MySQL_第7张图片

可以看到第二行的 type 变为了 ref,rows 也变成了优化比较明显。这是由左连接特性决定的。LEFT JOIN 条件用于确定如何从右表搜索行,左边一定都有,所以 右边是我们的关键点,一定需要建立索引 。

ALTER TABLE `type` ADD INDEX X (card); #【驱动表】,无法避免全表扫描 

EXPLAIN SELECT SQL_NO_CACHE * FROM `type` LEFT JOIN book ON type.card = book.card;

索引优化和查询优化--MySQL_第8张图片

DROP INDEX Y ON book; 

EXPLAIN SELECT SQL_NO_CACHE * FROM `type` LEFT JOIN book ON type.card = book.card;

image-20220227113347336

采用内连接

对于内连接来说,查询优化器可以决定谁作为驱动表,谁作为被驱动表出现的。

如果表的链接条件中只能有一个字段有索引,则由索引的字段所在的表会作为被驱动表出现。

EXPLAIN  SELECT SQL_NO_CACHE * FROM  `type` INNER JOIN book ON type.card=book.card;

索引优化和查询优化--MySQL_第9张图片

对于内连接来说,在两个表的链接条件都存在索引的情况下,会选择小表作为驱动表。“小表驱动大表”

JOIN原理

Simple Nested-Loop Join(简单嵌套循环连接)

算法相当简单,从表A中取出一条数据1,遍历表B,将匹配到的数据放到result…以此类推,驱动表A中的每一条记录被与驱动表B的记录进行判断:

索引优化和查询优化--MySQL_第10张图片

可以看到这种方式效率是非常低下的,以上述表A数据100条,表B数据1000条计算,则A*B=10万次。开销统计如下:

索引优化和查询优化--MySQL_第11张图片

当然mysql肯定不会这么粗暴的去进行表的连接,所以就出现了后面的两种对Nested-Loop Join优化算法。

Index Nested-Loop Join(索引嵌套循环连接)

Index Nested-Loop Join其优化的思路主要是为了减少内层表数据的匹配次数,所以要求被驱动表上必须有索引才行。通过外层表匹配条件直接与外层表索引进行匹配,避免和内层表的每条记录去进行比较,这样极大的减少了对内层表的匹配次数。

索引优化和查询优化--MySQL_第12张图片

驱动表中的每条记录通过被驱动表的索引进行访问,因为索引查询的成本是比较固定的,故mysql优化器都倾向于使用记录数较少的表作为驱动表(外表)。

索引优化和查询优化--MySQL_第13张图片

如果被驱动表加索引,效率是非常高的,但如果索引不是主键索引,所以还得进行一次回表查询。相比,被驱动表的索引是主键索引,效率会更高。

Bolock Nested-Loop Join(块嵌套循环连接)

如果存在索引,那么会使用index的方式进行join,如果join的列没有索引,被驱动表要扫描的次数太多了。每次访问被驱动表,其表中的记录都会被加载到内存中,然后再从驱动表中起一条与其匹配,匹配结束后清除内存,然后再从驱动表中加载一条记录,然后把被驱动表的记录再加载到内存匹配,这样周而复始,大大增加了IO的次数。为了减少被驱动表的IO次数,就出现了BlockNested-Loop Join的方式。

不再是逐条获取驱动表的数据,而是一块一块的获取,引入了join buffer缓冲区,将驱动表join相关的部分数据列(大小受join buffer的限制)缓存到join buffer中,然后全表扫描被驱动表,然后全表扫描被驱动表,被驱动表的每一条记录一次性和join buffer中的所有驱动表记录进行匹配(内存中操作),将简单嵌套循环中的多次比较合并成一次,降低了被驱动表的访问频率。

注意:

这里缓存的不只是关联表的列,select后面的列也会缓存起来。

在一个有N个join关联的sql中会分配N-1个join buffer。所以查询的时候尽量减少不必要的字段,可以让join buffer中存放更多的列。

索引优化和查询优化--MySQL_第14张图片

索引优化和查询优化--MySQL_第15张图片

参数设置:

  • block_nested_loop

通过show variables like ‘%optimizer_switech%’ 查看block_nested_loop 状态。默认是开启的。

  • join_buffer_size

驱动表能不能一次加载完,要看join buffer不能不能存储所有的数据,默认情况下join_buffer_size =256k。

索引优化和查询优化--MySQL_第16张图片

总结:

  • 整体效率比较:INLJ > BNLJ > SNLJ
  • 永远用小结果集驱动大结果集(其本质就是减少外层循环的数据数量)
  • 为被驱动表匹配的条件增加索引(减少内层表的循环匹配次数)
  • 增大join buffer size的大小(一次缓存的数据越多,那么内层宝的扫表次数就越少)
  • 减少驱动表不必要的字段查询(字段越少,join buffer所缓存的数据就越多)
  • Hash join(mysql8.0.18加入)

子查询优化

MySQL从4.1版本开始支持子查询,使用子查询可以进行SELECT语句的嵌套查询,即一个SELECT查询的结果作为另一个SELECT语句的条件。 子查询可以一次性完成很多逻辑上需要多个步骤才能完成的SQL操作。

子查询是 MySQL 的一项重要的功能,可以帮助我们通过一个 SQL 语句实现比较复杂的查询。但是,子查询的执行效率不高。

原因:

① 执行子查询时,MySQL需要为内层查询语句的查询结果建立一个临时表 ,然后外层查询语句从临时表中查询记录。查询完毕后,再 撤销这些临时表 。这样会消耗过多的CPU和IO资源,产生大量的慢查询。

② 子查询的结果集存储的临时表,不论是内存临时表还是磁盘临时表都 不会存在索引 ,所以查询性能会受到一定的影响。

③ 对于返回结果集比较大的子查询,其对查询性能的影响也就越大。

在MySQL中,可以使用连接(JOIN)查询来替代子查询。
连接查询 不需要建立临时表,其 速度比子查询要快 ,如果查询中使用索引的话,性能就会更好。

结论:
尽量不要使用NOT IN 或者 NOT EXISTS,用LEFT JOIN xxx ON xx WHERE xx IS NULL替代

排序优化

问题:
在 WHERE 条件字段上加索引,但是为什么在 ORDER BY 字段上还要加索引呢?

回答:

在MySQL中,支持两种排序方式,分别是FileSort 和 Index排序。

  • Index排序中,索引可以保证数据的有序行,不需要再进行排序,效率更高。
  • FileSort排序则一般在内存中进行排序,占用CPU较多。如果待排结果较大,会产生临时文件I/O到磁盘进行排序的情况,效率较低。

优化建议:

SQL 中,可以在 WHERE 子句和 ORDER BY 子句中使用索引,目的是在 WHERE 子句中 避免全表扫描 ,在 ORDER BY 子句 避免使用 FileSort 排序 。当然,某些情况下全表扫描,或者 FileSort 排序不一定比索引慢。但总的来说,我们还是要避免,以提高查询效率。
尽量使用 Index 完成 ORDER BY 排序。如果 WHERE 和 ORDER BY 后面是相同的列就使用单索引列;如果不同就使用联合索引。
无法使用 Index 时,需要对 FileSort 方式进行调优。

结论:

  • 两个索引同时存在,mysql自动选择最优的方案。但是,随着数据量的变化,选择的索引也会随之变化的。
  • 当【范围条件】和【group by 或者 order by】的字段出现二选一时,优先观察条件字段的过滤数量,如果过滤的数量足够多,而需要排序的数据并不多时,优先把索引放在范围字段上。反之,亦然。
filesort算法:双路排序和单路排序

双路排序 (慢)

MySQL 4.1之前是使用双路排序 ,字面意思就是两次扫描磁盘,最终得到数据, 读取行指针和order by列 ,对他们进行排序,然后扫描

已经排序好的列表,按照列表中的值重新从列表中读取对应的数据输出

从磁盘取排序字段,在buffer进行排序,再从 磁盘取其他字段 。

取一批数据,要对磁盘进行两次扫描,众所周知,IO是很耗时的,所以在mysql4.1之后,出现了第二种改进的算法,就是单路排序。

单路排序 (快)
从磁盘读取查询需要的 所有列 ,按照order by列在buffer对它们进行排序,然后扫描排序后的列表进行输出, 它的效率更快一些,避免

了第二次读取数据。并且把随机IO变成了顺序IO,但是它会使用更多的空间, 因为它把每一行都保存在内存中了。

结论及引申出的问题

由于单路是后出的,总体而言好过双路
但是用单路有问题

  • 在sort_buffer中,单路比多路要多占用很多的空间,因为单路是把所有字段都取出来,所以有可能取出的数据的总大小超出了sort_buffer的容量,导致每次只能去sort_buffer容量大小的数据,进行排序(创建tmp文件,多路合并),排完再取sort_buffer容量大小,再排…从而多次I/O。
  • 单路本来想生一次I/O操作,反而导致了大量的I/O操作,反而得不偿失。

优化策略:

1.尝试提高 sort_buffer_size

  • 不管用哪种算法,提高这个参数都会提高效率,要根据系统的能力去提高,因为这个参数是针对每个进程(connection)的1M-8M之间调整的。

    SHOW VARIABLES LIKE '%sort_buffer_size%'
    

索引优化和查询优化--MySQL_第17张图片

2.尝试提高 max_length_for_sort_data

  • 提高这个参数,会增加用改进算法的概率。

    SHOW VARIABLES LIKE ‘%max_length_for_sort_data%’;

  • 但是如果设的太高,数据总容量超出sort_buffer_size的概率就增大,明显症状是高的磁盘I/O活动和低的处理器使用率。如果需要返回的列的总长度大于max_length_for_sort_data,使用双路算法,否则使用单路算法。

3.Order by 时select * 是一个大忌。最好只Query需要的字段。

  • 当Query的字段大小总和小于max_length_for_sort_data,而且排序字段不是TEXT|BLOB类型时,会用改进后的算法–单路排序,否则用多路排序。
  • 两种算法的数据都有可能超出sort_buffer_size的容量,超出之后,会创建tmp文件进行合并排序,导致多次I/O,但是用单路排序算法的风险会更大一些,所以要提高sort_buffer_size。

GROUP BY 优化

  • group by 使用索引的原则几乎跟order by一致 ,group by 即使没有过滤条件用到索引,也可以直接使用索引。
  • group by 先排序再分组,遵照索引建的最佳左前缀法则
  • 当无法使用索引列,增大 max_length_for_sort_data 和 sort_buffer_size 参数的设置
  • where效率高于having,能写在where限定的条件就不要写在having中
  • 减少使用order by,和业务沟通能不排序就不排序,或将排序放到程序端去做。Order by、group by、distinct这些语句较为耗费CPU,数据库的CPU资源是极其宝贵的。
  • 包含了order by、group by、distinct这些查询的语句,where条件过滤出来的结果集请保持在1000行以内,否则SQL会很慢。

优化分页查询

一般分页查询时,通过创建覆盖索引能够比较好地提高性能。一个常见又非常头疼的问题就是limit 2000000,10,此时需要MySQL排序前20000010记录,仅仅返回2000000-20000010的记录,其他记录丢弃,查询排序的代价非常大。

EXPLAIN SELECT * FROM student LIMIT 2000000,10;

image-20220227161653794

优化思路一:

在索引上完成排序分页操作,最后根据主键关联回原表查询所需要的其他列内容。

EXPLAIN SELECT * FROM student t,(SELECT id FROM student ORDER BY id LIMIT 2000000,10) a 
WHERE t.id = a.id;

image-20220227161759096

优化思路二

该方案适用于主键自增的表,可以把Limit 查询转换成某个位置的查询 。

EXPLAIN SELECT * FROM student WHERE id > 2000000 LIMIT 10;

image-20220227161850700

优先考虑覆盖索引

什么是覆盖索引?

直接通过二级索引对应的数据找到了查询结果,无需回表

理解方式一:索引是高效找到行的一个方法,但是一般数据库也能使用索引找到一个列的数据,因此它不必读取整个行。毕竟索引叶子节点存储了它们索引的数据;当能通过读取索引就可以得到想要的数据,那就不需要读取行了。一个索引包含了满足查询结果的数据就叫做覆盖索引。

理解方式二:非聚簇复合索引的一种形式,它包括在查询里的SELECT、JOIN和WHERE子句用到的所有列(即建索引的字段正好是覆盖查询条件中所涉及的字段)。

简单说就是, 索引列+主键 包含 SELECT 到 FROM之间查询的列 。

举例一:

#删除之前的索引
DROP INDEX idx_age_stuno ON student;

CREATE INDEX idx_age_name ON student(age,NAME);  

EXPLAIN SELECT * FROM student WHERE age <>20;  #select之后查询的列比索引的列要多,因此不满足覆盖索引的条件。

EXPLAIN SELECT age,NAME FROM student WHERE age <>20;  #select之后查询的列比索引的列刚好与上述索引相同,因此满足覆盖索引的条件。直接使用索引可以避免回表操作。

image-20220227225224920

覆盖索引的利弊

好处

  1. 避免Innodb表进行索引的二次查询(回表)

    Innodb是以聚集索引的顺序来存储,对于Innodb来说,二级索引在叶子结点中所保存的是行的主键信息,如果是用二级索引查询数据,在查找到相应的键值后,还需要主键进行二次查询才能获取我们真是所需要的数据。在覆盖索引中,二级索引的键值中可以获取所要的数据,避免了对主键的二次查询,减少了IO操作,提升了查询效率

  2. 可以把随机IO变成顺序IO加快查询效率

    由于覆盖索引是按键值的顺序存储的,对于IO密集型的范围查找来说,对比随机从磁盘读取每一行的数据IO要少的多,因此利用覆盖索引在访问时也可以把磁盘的随机读取的IO转变成索引查询的顺序IO。

    由于覆盖索引可以减少树的搜索次数,显著提升查询性能,所以使用覆盖索引是一个常用的性能优化手段。

弊端
索引字段的维护 总是有代价的。因此,在建立冗余索引来支持覆盖索引时就需要权衡考虑了。这是业务DBA,或者称为业务数据架构师的工作。

索引下推(Index Condition Pushdowm)

使用前后对比

Index Condition Pushdowm(ICP)是MySQL5.6中新特性,是一种在存储引擎层使用索引过滤数据的优化方式。

  • 如果没有ICP,存储引擎会遍历索引以定位基表中的行,并将它们返回给MySQL服务器,由MySQL服务器评估WHERE后面的条件是否保留行。
  • 启用ICP后,**如果部分WHERE条件可以仅使用索引中的列进行筛选,则MySQL服务器虎把这部分WHERE条件放到存储引擎筛选。**然后,存储引擎通过使用索引条目来筛选数据,并且只有在满足这一条件时才从表中读取行。
    • 好处:ICP可以减少存储引擎必须访问基表的次数和MySQL服务器必须访问存储引擎的次数。
    • 但是,ICP的加速效果取决于在存储引擎内通过ICP筛选掉的数据的比例。
ICP的开启/关闭
  • 默认情况下启动索引条件下推。可以通过设置系统变量optimizer_switch控制:index_condition_pushdowm
#关闭索引下推
SET optimizer_switch = 'index_condition_pushdowm=off';

#打开索引下推
SET optimizer_switch = 'index_condition_pushdowm=on';
  • 当使用索引条件下推时,EXPLAIN语句输出结果中Extra列内容显示为Using index condition。
ICP的使用条件

ICP的使用条件:

  • 只能用于二级索引(secondary index)
  • explain显示的执行计划中type值(join 类型)为 range 、 ref 、 eq_ref 或者ref_or_null。
  • 并非全部where条件都可以用ICP筛选,如果where条件的字段不在索引列中,还是要读取整表的记录到server端做where过滤。
  • ICP可以用于MyISAM和InnnoDB存储引擎
  • MySQL 5.6版本的不支持分区表的ICP功能,5.7版本的开始支持。

其他查询优化策略

EXISTS和IN区分

哪种情况下应该使用使用EXISTS,哪种情况下应该用IN?

答:索引是个前提,其实选择与否还是要看表的大小,你可以将选择的标准理解为小表驱动大表。这这种方式下效率是最好的。

SELECT * FROM A WHERE cc IN (SELECT cc FROM B)

SELECT * FROM A WHERE EXISTS( SELECT cc FROM B WHERE B.cc =A.cc)

哪个表小就用哪个表来驱动,A表小就用EXISTS,B表小就用IN。

COUNT(*)与COUNT(具体字段)效率

索引优化和查询优化--MySQL_第18张图片

关于SELECT(*)

在表查询中,建议明确字段,不要使用 * 作为查询的字段列表,推荐使用SELECT <字段列表> 查询。原因:

① MySQL 在解析的过程中,会通过 查询数据字典 将"*"按序转换成所有列名,这会大大的耗费资源和时间。

② 无法使用 覆盖索引

LIMIT 1 对优化的影响

针对的是会扫描全表的 SQL 语句,如果你可以确定结果集只有一条,那么加上 LIMIT 1的时候,当找到一条结果的时候就不会继续扫描了,这样会加快查询速度。

如果数据表已经对字段建立了唯一索引,那么可以通过索引进行查询,不会全表扫描的话,就不需要加上 LIMIT 1 了。

多使用COMMIT

只要有可能,在程序中尽量多使用 COMMIT,这样程序的性能得到提高,需求也会因为 COMMIT 所释放
的资源而减少。

COMMIT 会有所释放的资源:

  • 回滚段上用于恢复数据的信息
  • 被程序语句获得的锁
  • redo / undo log buffer 中的空间
  • 管理上述 3 种资源中的内部花费

主键的设计

自增ID的问题

自增ID做主键,简单易懂,几乎所有数据库都支持自增类型,只是实现上各自有所不同而已。自增ID除了简单,其他都是缺点,总体来看

存在以下几方面的问题:

可靠性不高

存在自增ID回溯的问题,这个问题直到最新版本的MySQL 8.0才修复。

安全性不高

对外暴露的接口可以非常容易猜测对应的信息。比如:/User/1/这样的接口,可以非常容易猜测用户ID的值为多少,总用户数量有多少,

也可以非常容易地通过接口进行数据的爬取。

性能差

自增ID的性能较差,需要在数据库服务器端生成。

交互多

业务还需要额外执行一次类似 last_insert_id() 的函数才能知道刚才插入的自增值,这需要多一次的网络交互。在海量并发的系统中,多1

条SQL,就多一次性能上的开销。

局部唯一性

最重要的一点,自增ID是局部唯一,只在当前数据库实例中唯一,而不是全局唯一,在任意服务器间都是唯一的。对于目前分布式系统来

说,这简直就是噩梦。

推荐 主键设计

非核心业务 :对应表的主键自增ID,如告警、日志、监控等信息。

核心业务 :主键设计至少应该是全局唯一且是单调递增。全局唯一保证在各系统之间都是唯一的,单调 递增是希望插入时不影响数据库性能。 这里推荐最简单的一种主键设计:UUID。

UUID的特点: 全局唯一,占用36字节,数据无序,插入性能差。

认识UUID

  • 为什么UUID是全局唯一的?
  • 为什么UUID占用36个字节?
  • 为什么UUID是无序的?

MySQL数据库的UUID组成如下所示:

UUID = 时间+UUID版本(16字节)- 时钟序列(4字节) - MAC地址(12字节)

索引优化和查询优化--MySQL_第19张图片

为什么UUID是全局唯一的?
在UUID中时间部分占用60位,存储的类似TIMESTAMP的时间戳,但表示的是从1582-10-15 00:00:00.00到现在的100ns的计数。可以看到UUID存储的时间精度比TIMESTAMPE更高,时间维度发生重复的概率降低到1/100ns。
时钟序列是为了避免时钟被回拨导致产生时间重复的可能性。MAC地址用于全局唯一。

为什么UUID占用36个字节?
UUID根据字符串进行存储,设计时还带有无用"-"字符串,因此总共需要36个字节。

为什么UUID是随机无序的呢?
因为UUID的设计中,将时间低位放在最前面,而这部分的数据是一直在变化的,并且是无序。
改造UUID
若将时间高低位互换,则时间就是单调递增的了,也就变得单调递增了。MySQL 8.0可以更换时间低位和时间高位的存储方式,这样UUID就是有序的UUID了。
MySQL 8.0还解决了UUID存在的空间占用的问题,除去了UUID字符串中无意义的"-"字符串,并且将字符串用二进制类型保存,这样存储空间降低为了16字节。
可以通过MySQL8.0提供的uuid_to_bin函数实现上述功能,同样的,MySQL也提供了bin_to_uuid函数进行转化:

SET @uuid = UUID();
SELECT @uuid,uuid_to_bin(@uuid),uuid_to_bin(@uuid,TRUE);

image-20220228102546116

通过函数uuid_to_bin(@uuid,true)将UUID转化为有序UUID了。全局唯一 + 单调递增,这不就是我们想要 的主键!

有序UUID性能测试

16字节的有序UUID,相比之前8字节的自增ID,性能和存储空间对比究竟如何呢?

我们来做一个测试,插入1亿条数据,每条数据占用500字节,含有3个二级索引,最终的结果如下所示:

索引优化和查询优化--MySQL_第20张图片

从上图可以看到插入1亿条数据有序UUID是最快的,而且在实际业务使用中有序UUID在 业务端就可以生 成 。还可以进一步减少SQL的交互次数。

另外,虽然有序UUID相比自增ID多了8个字节,但实际只增大了3G的存储空间,还可以接受。

在当今的互联网环境中,非常不推荐自增ID作为主键的数据库设计。更推荐类似有序UUID的全局 唯一的实现。 另外在真实的业务系统中,主键还可以加入业务和系统属性,如用户的尾号,机房的信息等。这样 的主键设计就更为考验架构师的水平了。

如果不是MySQL8.0 怎么办?

手动赋值字段做主键! 比如,设计各个分店的会员表的主键,因为如果每台机器各自产生的数据需要合并,就可能会出现主键 重复的问题。

可以在总部 MySQL 数据库中,有一个管理信息表,在这个表中添加一个字段,专门用来记录当前会员编 号的最大值。

门店在添加会员的时候,先到总部 MySQL 数据库中获取这个最大值,在这个基础上加 1,然后用这个值 作为新会员的“id”,同时,更新总部 MySQL 数据库管理信息表中的当 前会员编号的最大值。

这样一来,各个门店添加会员的时候,都对同一个总部 MySQL 数据库中的数据表字段进 行操作,就解 决了各门店添加会员时会员编号冲突的问题。

你可能感兴趣的:(Mysql,mysql,数据库,database)