在日常开发中,你会发现当你删除表的数据后,整个数据库文件大小还是没有变化。这就是数据库表的空间回收问题。
首先我们还是针对 MySQL 中应用最广泛的 InnoDB 引擎展开讨论。一个 InnoDB 表包含两部分,即:表结构定义和数据。
在 MySQL 8.0 版本以前,表结构是存在以.frm 为后缀的文件里。
而 MySQL 8.0 版本,则已经允许把表结构定义放在系统数据表中了。因为表结构定义占用的空间很小,所以我们今天主要讨论的是表数据。
参数innodb_file_per_table的作用:
配置成on,表示每个InnoDB表数据存储在一个.ibd后缀的文件中。
配置成off,则表示表的数据存放在系统共享空间,也就是根据数据字典放在一块。
两者的区别就是
1.如果表数据是存储在系统共享空间中的,即使删除了表,空间也不会被回收的;
2.如果表数据是存储在单个文件中的,通过drop table命令删除的时候就会将数据文件删除掉。
show global variables where Variable_name = 'innodb_file_per_table'
从 MySQL 5.6.6 版本开始,它的默认值就是 ON 了。
因为,一个表单独存储为一个文件更容易管理,而且在你不需要这个表的时候,通过 drop table 命令,系统就会直接删除这个文件。而如果是放在共享表空间中,即使表删掉了,空间也是不会回收的。
总所周知MySQL数据结构是B+树,现在假设删除掉r4的记录,InnoDB只会把r4这个记录标记为删除,如果之后插入一条10-20的记录,就会复用这个r4的位置,但是磁盘文件的大小并不会因为标记为删除而减小,类似于假删除。
当整个页从B+树里面摘掉以后,可以复用到任何位置,可以存储任何新增的数据。如果相邻的两个数据页利用率都很小,系统就会把这两个页上的数据合到其中一个页上,另外一个数据页就被标记为可复用。
如果我们用delete命令把整个表的数据删除呢?结果就是,所有的数据页都会被标记为可复用。但是磁盘上,文件不会变小。
实际上,delete命令其实只是把记录的位置,或者数据页标记为了“可复用”,但磁盘文件的大小是不会变的。也就是说,通过delete命令是不能回收表空间的。这些可以复用,而没有被使用的空间,看起来就像是“空洞”。
假设上图PageA满了,我们在新增一条数据8会怎样.
可以看到,由于page A满了,再插入一个ID是8的数据时,就不得不再申请一个新的页面 page C来保存数据了。页分裂完成后,page A的末尾就留下了空洞(注意:实际上,可能不止1 个记录的位置是空洞)。另外,更新索引上的值,可以理解为删除一个旧的值,再插入一个新值。不难理解,这也是会造 成空洞的。 也就是说,经过大量增删改的表,都是可能是存在空洞的。所以,如果能够把这些空洞去掉,就 能达到收缩表空间的目的。 而重建表,就可以达到这样的目的。
方式一:新建一张表结构一样的表
1.可以新建一个与表A结构相同的表B,
2.然后按照主键ID递增的顺序,把数据一行一行地从表A里读出来再插入到表B中。
由于表B是新建的表,所以表A主键索引上的空洞,在表B中就都不存在了。
3.显然地,表B的主键 索引更紧凑,数据页的利用率也更高。如果我们把表B作为临时表,数据从表A导入表B的操作完 成后,用表B替换A,从效果上看,就起到了收缩表A空间的作用。
方式二:alter table t engine=innodb,ALGORITHM=copy;(DDL)
可以使用**alter table t engine=innodb,ALGORITHM=copy;**命令来重建表。在MySQL 5.5版本之前,这个命 令的执行流程跟我们前面描述的差不多,区别只是这个临时表B不需要你自己创建,MySQL会自 动完成转存数据、交换表名、删除旧表的操作。
显然,花时间最多的步骤是往临时表插入数据的过程,如果在这个过程中,有新的数据要写入到 表A的话,就会造成数据丢失。因此,在整个DDL过程中,表A中不能有更新。也就是说,这个 DDL不是Online的。
方式三:alter table t engine=innodb,ALGORITHM=inplace;(Online DDL)
而在MySQL 5.6 M 版本开始引入的 版 Online DDL,之前的sql语句就变为了alter table t engine=innodb,ALGORITHM=inplace;
1.建立一个临时文件,扫描表A主键的所有数据页;
2.用数据页中表A的记录生成B+树,存储到临时文件中;
3.生成临时文件的过程中,将所有对A的操作记录在一个日志文件(rowlog)中,对应的是图 中state2的状态;
4.临时文件生成后,将日志文件中的操作应用到临时文件,得到一个逻辑数据上与表A相同的数据文件.
5.用临时文件替换表A的数据文件。
引入Online DDL的区别就是由于日志文件记录和重放操作这个功能的存在,这个方 案在重建表的过程中,允许对表A做增删改操作。这也就是Online DDL名字的来源。
在执行 alter table t engine=innodb,ALGORITHM=inplace; 语句的时候,需要获取到MDL锁,但是这个写锁在真正拷贝数据 之前就退化成读锁了。
Online DDL 其实是会先获取MDL写锁, 再退化成MDL读锁;但MDL写锁持有时间比较短,所以可以称为Online; 而MDL读锁,不阻止数据增删查改,但会阻止其它线程修改表结构;
- 拿MDL写锁
- 降级成MDL读锁
- 真正做DDL
- 升级成MDL写锁
- 释放MDL锁 1、2、4、5如果没有锁冲突,执行时间非常短。第3步占用了DDL绝大部分时间,这期间这个表可以正常读写数据,是因此称为“online
为什么要退化呢?为了实现Online,MDL读锁不会阻塞增删改操作。
那为什么不干脆直接解锁呢?为了保护自己,禁止其他线程对这个表同时做DDL。
区别:
两者的区别就是
方式二是根据源表重建出来的数据是存在临时表中的(tmp:“tmp_table”),表示的是强拷贝表,是将源表中重建的数据存放在一个临时表中,这个临时表是在server层中创建的。
方式三是根据源表重建出来的数据是存在临时文件中的(tmp_file),这个临时文件是InnoDB创建的,这个过程是在引擎层中发生的,对于server层来说就相当于原地操作的