根据学习搜集的信息,结合网络内容进行的总结。
思维导图文档地址
错误和不足还请大佬指正 ヽ(=・ω・=)丿
聚合查询、多表查询、表数据量过大查询、深度分页查询
页面加载过慢、接口压测响应时间过长(超过1s)
调试工具:Arthas
运维工具:Prometheus、Skywalking
慢查询日志记录了所有执行时间超过指定参数(long_query_time, 单位:秒,默认10秒)的所有SQL语句。
如果要开启慢查询日志,需要在MySQL的配置文件(/etc/my.cnf)中配置如下信息:
# 开启MySQL慢日志查询开关
slow_query_log=1
# 设置慢日志的时间为2秒,SQL语句执行时间超过2秒,就会视为慢查询,记录慢查询日志
long_query_time=2
配置完成后重启MySQL服务器进行测试,查看慢日志文件记录的信息
/var/lib/mysql/localhost-slow.log
在SELECT语句前加上关键字EXPLAIN或DESC获取SQL查询情况。
当前sql可能会使用到的索引
当前sql实际用到的索引(可进行判断是否命中索引)
当前索引占用大小(可进行判断是否命中索引)
查找使用了索引,需要的数据都存在于索引列中,不需要回表查询
查找使用了索引,但是需要回表查询数据
sql的连接类型,可用来查询当前sql语句的好坏。
NULL:当前sql语句执行没有使用到表,基本不存在。
system:查询的是MySQL内置的表,基本不用。
const:根据主键索引查询。
eq_ref:主键索引查询或唯一索引查询,仅返回一行数据。
ref:非唯一索引(如普通索引)查询,可查询返回多行数据。
range:走索引进行范围查询
index:全索引查询,检索整个索引树,效率不高 (应进行优化)
all:不走索引,全盘扫描 (应进行优化)
索引是帮助MySQL高效获取数据的数据结构(有序)。在数据之外,数据库系统还维护着满足特定查找算法的数据结构(B+树),这些数据结构以某种方式引用(指向)数据,这样就可以在数据结构上实现高级查找算法。
MySQL默认是Innodb存储引擎,适合比较庞大的应用场景
InnoDB 是一个事务安全的存储引擎,它具备提交、回滚以及崩溃恢复的功能以保护用户数据。InnoDB 的行级别锁定以及 Oracle 风格的一致性无锁读提升了它的多用户并发数以及性能。InnoDB 将用户数据存储在聚集索引中以减少基于主键的普通查询所带来的 I/O 开销。为了保证数据的完整性,InnoDB 还支持外键约束。
MyISAM既不支持事务、也不支持外键、其优势是访问速度快,但是表级别的锁定限制了它在读写负载方面的性能,因此它经常应用于只读或者以读为主的数据场景。
MySQL的索引底层结构是B+树,是一种多路平衡搜索树。
1、所有关键字保存在叶子节点,并且叶子节点之间通过链表连接,形成一个有序的叶子节点序列。
2、非叶子节点只存储索引字段的值和子节点的指针,不保存实际的数据。这样可以使得一个节点可以存储更多的关键字,减少了树的高度,加快搜索速度。
3、叶子节点包含所有索引字段的值和指向对应数据的指针。
1、路径长度短:B+树具有平衡性,所有叶子节点的深度相同,因此在查询过程中只需要沿着树的高度进行几次磁盘I/O操作,所以查询速度较快。
2、顺序访问优势:B+树的叶子节点之间使用链表连接,并且叶子节点的关键字是有序的,因此对于范围查询操作,可以通过顺序扫描叶子节点来获取有序的数据结果,提高查询速度。
3、最小化磁盘I/O操作:B+树具有较高的填充因子,每个磁盘页上存储的关键字数量较多,能够减少磁盘I/O操作的次数,提高查询效率。
将数据存储与索引放到了一块,索引结构的叶子结点保存了行数据,聚簇索引必须有,而且只能有一个。
将数据与索引分开存储,索引结构的叶子节点关联的是对应的主键,可以存在多个。
1、如果存在主键,主键索引就是聚集索引
2、如果不存在主键,将使用第一个唯一(UNIQUE)索引作为聚集索引
3、如果表灭有主键,或没有合适的唯一索引,则INNODB会自动生成一个rowid作为隐藏的聚集索引
通过二级索引查不到全部需要的数据,则会先找到对应的主键值,到聚簇索引中查找整行数据,这过程叫回表。
覆盖索引指的是使用了索引,并且需要返回的列,在该索引中都可以找到。
注:
1、使用id查询,直接走聚集索引查询,一次索引扫描,直接返回数据,性能高。
2、如果返回的列没有创建索引,可能会触发回表查询,尽量避免使用select *。
在数据量较大时,使用覆盖索引+子查询能够提升查询效率
1、针对于数据量较大,且查询比较频繁的表建立索引。(单表超过10万数据)
2、针对于常作为查询条件、排序、分组操作的字段创建索引
3、尽量选择区分度高的列作为索引,尽量建立唯一索引,区分度越高,使用索引的效率越高
4、如果是字符串类型的字段,字段的长度较长,可以针对于字段的特点,建立前缀索引
5、尽量使用联合索引,减少单列索引,差查询时,联合索引很多时候可以覆盖索引,节省存储空间,避免回表,提高查询效率
6、要控制索引数量,索引越多,维护索引结构的代价也就越大,会影响增删改的效率
7、如果索引列不能存储NULL值,请在创建表时候使用NOT NULL约束它。当优化器知道每列是否包含NULL值时,它可以更好地确定那个索引最有效地用于查询
1、违反了最左前缀法则,最左前缀法则指的是如果使用了联合索引,查询从索引的最左前列开始,并且不跳过索引中的列。
2、范围查询右边的列不能使用索引查询
3、索引列上进行了运算操作
4、字符串不加单引号,MySQL的查询优化器会自动的进行类型转换,造成索引失效
5、以%开头的Like模糊查询会造成索引失效,如果仅是尾部模糊匹配,索引不会失效
参考《阿里开发手册嵩山版》;比如设置合适的数值(tinyint、 int、 bigint),要根据实际情况选择;比如设置合适的字符串类型(char和varchar),char定长效率高,varchar可变长度,效率稍低
根据创建原则和索引失效进行优化
1、SELECT语句务必指明字段名称,尽量避免直接使用select *
2、SQL语句要避免造成索引失效的写法
3、尽量用union all代替union,union会多一次过滤,效率低
4、避免在where子句中对字段进行表达式操作
5、join优化,能用innerjion就不用left jion和right jion,如果必须使用一定要以小表为驱动,内连接会对两个表进行优化,优化把小表放在外面,大表放在里面。left jion或right jion 不会重新调整顺序
如果数据库的使用场景的读操作比较多,为避免写操作阻塞读操作影响性能,可以采用读写分离的架构。
主从复制的跟新是二进制日志,二进制日志BINLOG记录了所有的DDL(数据定义语言)语句和DML(数据操纵语言)语句,但不包括查询(SELECT和SHOW)语句
1、Master主库在事务提交时,会把数据变更记录在二进制日志文件BINLOG中
2、从库读取主库的二进制文件,写入到从库的中继日志Relay Log
3、lave重做中继日志中的事件,将改变反映成自己的数据
1、项目业务数据逐渐增多,或业务发展比较迅速,单表的数据达到1000W或20G以后(根据实际,仅供参考)
2、优化已解决不了性能问题
3、IO瓶颈(磁盘IO、网络IO)、CPU瓶颈(聚合查询、连接数太多)
以表为依据,根据业务将不同表拆分到不同库中
特点
1、按业务对数据分级管理、监控、维护、扩展
2、在高并发下,提高磁盘IO和数据量连接数
以字段为依据,根据字段属性将不同字段拆分到不同表中
拆分规则:
1、把不常用的字段单独放在一张表中
2、把text、blob等大字段拆分出来放在附表中
特点:
1、冷热数据分离
2、减少IO过度争抢,两表互不影响
将一个库的数据拆分到多个库中
特点:
1、解决了单库大数据量,高并发的性能瓶颈问题
2、提高了系统的稳定性和可用性
将一个表的数据拆分到多个表中(可以在同一个库内,避免OI争抢并减少锁表的几率
1、分布式事务一致性问题
2、跨节点关联查询
3、跨节点分页、排序函数
4、主键避重
使用分库分表中间件sharding-sphere、mycat
事务是一组操作的集合,它是一个不可分割的工作单元,事务把所有的操作作为一个整体,一起向系统提交或撤销操作请求,即这些操作要么同时成功,要么同时失败
事务是不可分刻个最小单元,要么全部成功,要么全部失败
事务完成时,必须使用、所有的数据都保持一致的状态
数据库系统提供的隔离机制,保证事务在不受外部并发操作影响的独立环境下运行
事务一旦提交或回滚,它对数据库中的数据的改变是永久的
幻读发生在同一个事务内,对同一数据项的两次读取返回了不同的结果。这通常是因为在两次查询之间,另一个事务插入或删除了符合查询条件的记录。
幻读发生在同一个事务内,对同一查询的两次执行一次查到了数据一次没有查到数据。这通常是因为在两次查询之间,另一个事务插入或删除了符合查询条件的记录。
一个事务读到另外一个事务还没有提交的数据,如果未提交的事务发生了回滚,那么第一个进行读的事务读取的数据是无效的
最低的隔离级别,可能会出现脏读、不可重复读和幻读。
可以防止脏读,但可能会出现不可重复读和幻读。
可以防止脏读和不可重复读,但可能会出现幻读。
可以防止脏读、不可重复读和幻读,会使用较多的锁,因此可能会导致性能问题,特别是在高并发的环境中。
缓冲池是数据库系统在内存中分配的一块区域,用于存储从磁盘读取的数据页(Data Pages)。由于磁盘I/O操作相对较慢,缓冲池的存在可以显著提高数据库的读取性能。当数据库需要访问某个数据页时,系统首先会在缓冲池中查找该页。如果该页已经在缓冲池中(即命中),则可以直接从内存中读取,避免了磁盘I/O操作。如果该页不在缓冲池中,则需要从磁盘读取到缓冲池中,然后再进行访问。
缓冲页是缓冲池中的基本存储单元,它对应于磁盘上的一个数据页。每个缓冲页在内存中都有一个副本,用于临时存储从磁盘读取的数据。缓冲页可以包含表数据、索引数据或其他类型的数据库信息。
Redo Log Buffer是内存中的一块区域,用于临时存储即将写入磁盘的Redo Log记录。它是数据库系统在处理事务时生成和管理的。
Redo Log File是存储在磁盘上的文件,用于持久化存储Redo Log记录。它是数据库系统在恢复操作时使用的。
1、当事务提交时,相关的Redo Log记录必须被写入磁盘,以确保事务的持久性(预写日志原则)。
2、根据数据库系统的配置,Redo Log Buffer可能会在达到一定大小或经过一定时间后被刷新。
Redo Log File是存储在磁盘上的文件,用于持久化存储Redo Log记录。它是数据库系统在恢复操作时使用的。
Redo Log File记录了所有已提交事务对数据库所做的更改。在系统崩溃或异常终止后,数据库可以通过重放Redo Log File中的记录来恢复到崩溃前的状态。
Redo Log File通常是顺序写入的,包含多个日志序列号(Log Sequence Number, LSN)标识的记录。这些记录按照事务提交的顺序排列,确保恢复操作的正确性。
用于在事务回滚或系统崩溃后恢复数据库到事务开始前的状态。
事务回滚:Undo Log记录了事务对数据库所做的所有更改的反向操作。如果一个事务需要回滚,数据库可以通过应用Undo Log中的记录来撤销该事务的所有更改,从而恢复到事务开始前的状态。redo log保证了事物的持久性, undo log 保证了事物的原子性和一致性
MVCC(Multi-Version Concurrency Control,多版本并发控制)是一种数据库管理系统中用于提高并发性能的技术。它允许多个事务同时读取和写入数据库,而不会相互干扰。MVCC通过为每个数据项维护多个版本,使得读操作不会阻塞写操作,写操作也不会阻塞读操作。具体体现主要依赖于数据库记录中的隐藏字段、undo log日志、readView
最近修改事务ID,记录插入本条记录或最后一次修改该记录的事务ID
回滚指针,指向这条记录的上一个版本,用于配合undo log
隐藏主键,如果表结构没有指定主键,将会生成该隐藏字段
当insert时产生的undo log日志只在回滚时需要,在事务提交后可立即删除。update、delete时查收呢很难过的undo log日志不仅在回滚时需要,mvcc版本访问也需要,不会立即被删除
不同事物或相同事务对同一条记录进行修改,会导致该记录的undo log生成一条记录版本链表,链表的头部是最新的旧记录的地址,链表的尾部是此条旧记录上一条旧记录的地址
readview是快照读SQL执行时MVCC提取数据的依据,记录并维护系统当前活跃的事务(未提交的)id
读取的是记录的最新版本,读取时还要保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。
简单的select(不加锁)就是快照读,快照读读取的是记录数据的可见版本,有可能是历史数据,不加锁,时非阻塞读。
m_ids:当前活跃的事务ID集合
min_trx_id: 最小活跃事务ID
max_trx_id:预分配实物id,当前最大实物id+1 (因为事务id是自增的)
creator_trx_id: readview创建者的事务id
trx_id == creator_trx_id: 可以访问该版本
trx_id < min_trx_id:可以访问该版本
trx_id > max_trx_id:不可以访问该版本
min_trx_id <= max_trx_id: 如果trx_id不在m_ids中可以访问该版本
答:
我们当时做压测的时候有的接口非常的慢,接口的响应时间超过了2秒以上,因为我们当时的系统部署了运维的监控系统Skywalking ,在展示的报表中可以看到是哪一个接口比较慢,并且可以分析这个接口哪部分比较慢,这里可以看到SQL的具体的执行时间,所以可以定位是哪个sql出了问题 如果,项目中没有这种运维的监控系统,其实在MySQL中也提供了慢日志查询的功能,可以在MySQL的系统配置文件中开启这个慢日志的功能,并且也可以设置SQL执行超过多少时间来记录到一个日志文件中,我记得上一个项目配置的是2秒,只要SQL执行的时间超过了2秒就会记录到日志文件中,我们就可以在日志文件找到执行比较慢的SQL了。
答:
如果一条sql执行很慢的话,我们通常会使用mysql自动的执行计划explain来去查看这条sql的执行情况,比如在这里面可以通过key和key_len检查是否命中了索引,如果本身已经添加了索引,也可以判断索引是否有失效的情况,第二个,可以通过type字段查看sql是否有进一步的优化空间,是否存在全索引扫描或全盘扫描,第三个可以通过extra建议来判断,是否出现了回表的情况,如果出现了,可以尝试添加索引或修改返回字段来修复
答:
索引在项目中还是比较常见的,它是帮助MySQL高效获取数据的数据结构,主要是用来提高数据检索的效率,降低数据库的IO成本,同时通过索引列对数据进行排序,降低数据排序的成本,也能降低了CPU的消耗
答:
MySQL的默认的存储引擎InnoDB采用的B+树的数据结构来存储索引,选择B+树的主要的原因是:第一阶数更多,路径更短,第二个磁盘读写代价B+树更低,非叶子节点只存储指针,叶子阶段存储数据,第三是B+树便于扫库和区间查询,叶子节点是一个双向链表
答:
第一:在B树中,非叶子节点和叶子节点都会存放数据,而B+树的所有的数据都会出现在叶子节点,在查询的时候,B+树查找效率更加稳定 第二:在进行范围查询的时候,B+树效率更高,因为B+树都在叶子节点存储,并且叶子节点是一个双向链表
答:
聚簇索引主要是指数据与索引放到一块,B+树的叶子节点保存了整行数据,有且只有一个,一般情况下主键作为聚簇索引 非聚簇索引值的是数据与索引分开存储,B+树的叶子节点保存对应的主键,可以有多个,一般我们自己定义的都是非聚簇索引
答:
实跟刚才介绍的聚簇索引和非聚簇索引是有关系的,回表的意思就是通过二级索引找到对应的主键值,然后再通过主键值找到聚集索引中所对应的整行数据,这个过程就是回表 【注:如果面试官直接问回表,则需要先介绍聚簇索引和非聚簇索引】
答:
覆盖索引是指select查询语句使用了索引,在返回的列,必须在索引中全部能够找到,如果我们使用id查询,它会直接走聚集索引查询一次索引扫描,直接返回数据,性能高。 如果按照二级索引查询数据的时候,返回的列中没有创建索引,有可能会触发回表查询,尽量避免使用select *,尽量在返回的列中都包含添加索引的字段
答:
超大分页一般都是在数据量比较大时,我们使用了limit分页查询,并且需要对数据进行排序,这个时候效率就很低,我们可以采用覆盖索引和子查询来解决。 先分页查询数据的id字段,确定了id之后,再用子查询来过滤,只查询这个id列表中的数据就可以了。因为查询id的时候,走的覆盖索引,所以效率可以提升很多
答:
这个情况有很多,不过都有一个大前提,就是表中的数据要超过10万以上,我们才会创建索引,并且添加索引的字段是查询比较频繁的字段,一般也是像作为查询条件,排序字段或分组的字段这些。 还有就是,我们通常创建索引的时候都是使用复合索引来创建,一条sql的返回值,尽量使用覆盖索引,如果字段的区分度不高的话,我们也会把它放在组合索引后面的字段。 如果某一个字段的内容较长,我们会考虑使用前缀索引来使用,当然并不是所有的字段都要添加索引,这个索引的数量也要控制,因为添加索引也会导致新增改的速度变慢。
答:
这个情况比较多,我说一些自己的经验,以前遇到过的。 比如,索引在使用的时候没有遵循最左匹配法则,第二个是,模糊查询,如果%号在前面也会导致索引失效。如果在添加索引的字段上进行了运算操作或者类型转换也都会导致索引失效。我们之前还遇到过一个就是,如果使用了复合索引,中间使用了范围查询,右边的条件索引也会失效。 所以,通常情况下,想要判断出这条sql是否有索引失效的情况,可以使用explain执行计划来分析。
答:
这个在项目还是挺常见的,当然如果直说sql优化的话,我们会从这几方面考虑,比如建表的时候、使用索引、sql语句的编写、主从复制,读写分离,还有一个是如果量比较大的话,可以考虑分库分表
答:
这个我们主要参考的阿里出的那个开发手册《嵩山版》,就比如,在定义字段的时候需要结合字段的内容来选择合适的类型,如果是数的话,像tinyint、int 、bigint这些类型,要根据实际情况选择。如果是字符串类型,也是结合存储的内容来选择char和varchar或者text类型
答:
首先是创建索引的时候,要符合索引创建原则,选择合适的列作为索引,能使用复合索引的尽量使用复合索引,将经常查询且区分度高的列作为复合索引的一部分来更好的实现覆盖索引,避免回表提升查询效率,也要注意索引的数量,过多的索引会消耗数据库大量资源,反而影响效率
答:
这个也有很多,比如SELECT语句务必指明字段名称,不要直接使用select * ,还有就是要注意SQL语句避免造成索引失效的写法;如果是聚合查询,尽量用union all代替union ,union会多一次过滤,效率比较低;如果是表关联的话,尽量使用innerjoin ,减少使用left join right join,如必须使用 一定要以小表为驱动
答:
嗯,这个比较清楚,ACID,分别指的是:原子性、一致性、隔离性、持久性;我举个例子: A向B转账500,转账成功,A扣除500元,B增加500元,原子操作体现在要么都成功,要么都失败 在转账的过程中,数据要一致,A扣除了500,B必须增加500 在转账的过程中,隔离性体现在A向B转账,不受其他事务干扰 持久性体现在转账成功后,要把钱持久化,除了花掉不会减少消失。
答:
我们在项目开发中,多个事务并发进行是经常发生的,并发也是必然的,有可能导致一些问题 第一是脏读, 当一个事务正在访问数据并且对数据进行了修改,而这种修改还没有提交到数据库中,这时另外一个事务也访问了这个数据,因为这个数据是还没有提交的数据,那么另外一个事务读到的这个数据是“脏数据”,依据“脏数据”所做的操作可能是不正确的。 第二是不可重复读:比如在一个事务内多次读同一数据。在这个事务还没有结束时,另一个事务也访问该数据。那么,在第一个事务中的两次读数据之间,由于第二个事务的修改导致第一个事务两次读取的数据可能不太一样。这就发生了在一个事务内两次读到的数据是不一样的情况,因此称为不可重复读。 第三是幻读(Phantom read):幻读与不可重复读类似。它发生在一个事务(T1)读取了几行数据,接着另一个并发事务(T2)插入了一些数据时。在随后的查询中,第一个事务(T1)就会发现多了一些原本不存在的记录,就好像发生了幻觉一样,所以称为幻读。
答:
解决方案是对事务进行隔离,MySQL支持四种隔离级别,分别有: 第一个是,未提交读(read uncommitted)它解决不了刚才提出的所有问题,一般项目中也不用这个。 第二个是读已提交(read committed)它能解决脏读的问题的,但是解决不了不可重复读和幻读。 第三个是可重复读(repeatable read)它能解决脏读和不可重复读,但是解决不了幻读,这个也是mysql默认的隔离级别。 第四个是串行化(serializable)它可以解决刚才提出来的所有问题,但是由于让是事务串行执行的,性能比较低。所以,我们一般使用的都是mysql默认的隔离级别:可重复读
答:
其中redo log日志记录的是数据页的物理变化,服务宕机可用来同步数据,而undo log 不同,它主要记录的是逻辑日志,当事务回滚时,通过逆操作恢复原来的数据,比如我们删除一条数据的时候,就会在undo log日志文件中新增一条delete语句,如果发生回滚就执行逆操作; redo log保证了事务的持久性,undo log保证了事务的原子性和一致性
答:
事务的隔离性是由锁和mvcc实现的。 其中mvcc的意思是多版本并发控制。指维护一个数据的多个版本,使得读写操作没有冲突,它的底层实现主要是分为了三个部分,第一个是隐藏字段,第二个是undo log日志,第三个是readView读视图 隐藏字段是指:在mysql中给每个表都设置了隐藏字段,有一个是trx_id(事务id),记录每一次操作的事务id,是自增的;另一个字段是roll_pointer(回滚指针),指向上一个版本的事务版本记录地址 undo log主要的作用是记录回滚日志,存储老版本数据,在内部会形成一个版本链,在多个事务并行操作某一行记录,记录不同事务修改数据的版本,通过roll_pointer指针形成一个链表 readView解决的是一个事务查询选择版本的问题,在内部定义了一些匹配规则和当前的一些事务id判断该访问那个版本的数据,不同的隔离级别快照读是不一样的,最终的访问的结果不一样。如果是rc隔离级别,每一次执行快照读时生成ReadView,如果是rr隔离级别仅在事务中第一次执行快照读时生成ReadView,后续复用
答:
MySQL主从复制的核心就是二进制日志(DDL(数据定义语言)语句和 DML(数据操纵语言)语句),它的步骤是这样的: 第一:主库在事务提交时,会把数据变更记录在二进制日志文件 Binlog 中。 第二:从库读取主库的二进制日志文件 Binlog ,写入到从库的中继日志 Relay Log 。 第三:从库重做中继日志中的事件,将改变反映它自己的数据
答:
这个是使用过的,因为我们做的项目是微服务开发,每个微服务对应了一个数据库,是根据业务进行拆分的,这个其实就是垂直拆分。 包括我们当时的业务(xxx),一开始也是单库,后来这个业务逐渐发展,业务量上来的很迅速,其中(xx)表已经存放了超过1000万的数据,我们做了很多优化也不好使,性能依然很慢,所以当时也使用了水平分库。 我们一开始先做了3台服务器对应了3个数据库,由于库多了,需要分片,我们当时采用的mycat来作为数据库的中间件。数据都是按照id(自增)取模的方式来存取的。 当然一开始的时候,那些旧数据,我们做了一些清洗的工作,我们也是按照id取模规则分别存储到了各个数据库中,好处就是可以让各个数据库分摊存储和读取的压力,解决了我们当时性能的问题
adView,后续复用