MySQL 8.0新特性-数据字典

欢迎关注MySQL 8.0必知必会系列课程。

    MySQL8.0必知必会-自动化部署                 https://edu.51cto.com/course/16368.html

    MySQL8.0必知必会之参数标准化配置       https://edu.51cto.com/course/16358.html

---

1 主要内容

    • 数据字典表

    • 元数据文件

    • INFORMATION_SCHEMA的变化

    • Innodb的变化-SDI

    • 使用数据字典后的变化

    • 数据字典的局限性

2 数据字典表

2.1 在MySQL 8.0 以前的版本中

    • 字典数据存储在元数据文件和非事务系统表中

    • 存储引擎 MyISAM innodb csv

    • SELECT TABLE_SCHEMA,TABLE_NAME,ENGINE FROM information_schema.TABLES a WHERE a.TABLE_SCHEMA in ('mysql') order by 1,3;

2.2 MySQL 8.0

    • 事务数据字典，数据库对象的信息存储在事务表中。

    • 存储引擎 innodb

    • 数据字典表是不可见的

    • 无法读取 SELECT

    • 不会出现在输出中SHOW TABLES

    • 未列在INFORMATION_SCHEMA.TABLES 表中

    • 在大多数情况下INFORMATION_SCHEMA，可以查询相应的表（名称相同）。

    • 从概念上讲，INFORMATION_SCHEMA提供了一个MySQL公开数据字典元数据的视图

2.3 查看隐藏的Data Dictionary表

    1) cmake编译时，必须使用-DWITH_DEBUG=1

    2) 设置debug参数

    SET SESSION debug='+d,skip_dd_table_access_check’;

    3) 查询mysql.tables字典表

    SELECT name, schema_id, hidden, type FROM mysql.tables where schema_id=1 AND hidden='System’;

    4) 访问字典表

    SHOW CREATE TABLE mysql.catalogs\G

l 隐藏的数据字典表

l 打开debug

l 未打开debug

l 数据字典表

catalogs	目录信息。
character_sets	有关可用字符集的信息。
collations	有关每个字符集的排序规则的信息。
column_statistics	列值的直方图统计信息。
column_type_elements	有关列使用的类型的信息。
columns	有关表中列的信息。
dd_properties	标识数据字典属性（例如其版本）的表。服务器使用它来确定是否必须将数据字典升级到较新的版本。
events	有关事件计划程序事件的信息。
foreign_keys， foreign_key_column_usage	有关外键的信息。
index_column_usage	有关索引使用的列的信息。
index_partitions	有关索引使用的分区的信息。
index_stats	用于存储ANALYZE TABLE执行时生成的动态索引统计信息。
indexes	有关表索引的信息。
innodb_ddl_log	存储DDL日志以进行崩溃安全的DDL操作。
parameter_type_elements	有关存储过程和函数参数的信息，以及有关存储函数的返回值的信息。
parameters	有关存储过程和函数的信息。
resource_groups	有关资源组的信息。
routines	有关存储过程和函数的信息。
schemata	有关schemata的信息。该表提供了有关数据库的信息。
st_spatial_reference_systems	有关空间数据的可用空间参考系统的信息。
table_partition_values	有关表分区使用的值的信息。
table_partitions	有关表使用的分区的信息。
table_stats	有关ANALYZE TABLE执行时生成的动态表统计信息的信息。
tables	有关数据库中表的信息。
tablespace_files	有关表空间使用的文件的信息。
tablespaces	有关活动表空间的信息。
triggers	有关触发器的信息。
view_routine_usage	有关视图与它们使用的存储函数之间的依赖关系的信息。
view_table_usage	用于跟踪视图及其基础表之间的依赖关系。

3 元数据存储

    • 先前存储在元数据文件中的数据现在存储在数据字典表

    • 被删除的元数据文件

    • .frm：表元数据文件。

    • .par：分区定义文件。

    • .TRN ：触发命名空间文件。

    • .TRG ：触发器参数文件。

    • .isl：InnoDB符号链接文件，包含在数据目录外部创建的每表文件表空间文件的位置。

    • db.opt：数据库配置文件。

l isl 文件

    • Mysql 5.7.22

    • create table test(a int) DIRECTORY=‘/home/mysql/’ ENGINE= innodb;

    • Mysql 8.0.11

    • create table test1(a int) DIRECTORY=‘/home/mysql/’ ENGINE= innodb;

4 数据存储

    • 字典数据存储在innodb表

    • 数据字典表和非数据字典系统表都存储在mysql数据库

    • mysql.ibd

    • 位于datadir目录中

    • 存储数据库字典表

    • 只用于MySQL 数据字典数据

    • 文件名字禁止修改，不能被其他表空使用

    • 具备事务的特性

    • commit

    • rollback

    • crash-recovery

5 字典对象缓存

    • 共享的全局缓存

    • 将先前访问的数据字典对象存储在内存中，便于重用对象，减少磁盘I / O

    • 使用 LRU的策略删除最近最少使用的对象

    • tablespace定义缓存分区

    • 存储数据字典表空间定义对象

    • tablespace_definition_cache

    • 可以存储在字典对象高速缓存中的表空间定义对象数（已使用和未使用）的数量。

    • 默认值为256。

    • 0，表示仅保存使用的表空间定义对象

    • 当在用的表空间定义对象数量小于tablespace_definition_cache的值时，可以保存未使用的表空间定义对象

6 INFORMATION_SCHEMA

6.1 数据字典表的视图

    • datadir下没有information_schema目录

    • 直接从数据字典表获取信息，查询效率更高

    • 改进点：

    • 查询INFORMATION_SCHEMA表时，不创建临时表

    • 直接通过数据字典表获取数据，不在通过目录扫描（show databases,show tables）或文件打开(从frm读取信息)获取数据。

    • 允许使用索引构建有效的执行计划

    • 缓存STATISTICS和 TABLES中的表统计信息

6.2 执行计划

    EXPLAIN SELECT COLLATION_NAME FROM INFORMATION_SCHEMA.COLLATION_CHARACTER_SET_APPLICABILITY WHERE CHARACTER_SET_NAME = 'utf8mb4';

7 统计信息

7.1 INFORMATION_SCHEMA表包含提供表统计信息的列：

    • STATISTICS.CARDINALITY

    • TABLES.AUTO_INCREMENT

    • TABLES.AVG_ROW_LENGTH

    • TABLES.CHECKSUM

    • TABLES.CHECK_TIME

    • TABLES.CREATE_TIME

    • TABLES.DATA_FREE

    • TABLES.DATA_LENGTH

    • TABLES.INDEX_LENGTH

    • TABLES.MAX_DATA_LENGTH

    • TABLES.TABLE_ROWS

    • TABLES.UPDATE_TIME

    • 统计信息来源于mysql.index_stats、mysql.table_stats

    • 缓存的统计信息有过期时间

    • 缓存的统计信息不可用或已过期时，MySQL将从存储引擎中检索最新的统计信息，并更新mysql.index_stats和 mysql.table_stats字典表。

    • 查询优先检索缓存的统计信息，直到缓存的统计信息过期

7.2 以下情况不更新统计信息：

    • 缓存统计信息尚未过期时。

    • information_schema_stats_expiry 设置为0。

    • 当服务器打开read_only， super_read_only， transaction_read_only，或 innodb_read_only模式。

    • 当查询还需要获取Performance Schema数据时。

    • 手工更新给定表的缓存值，请使用 ANALYZE TABLE

    7.3 information_schema_stats_expiry

    • 定义缓存统计信息到期时间段

    • 单位：秒

    • 默认值为86400秒（24小时） ，但时间段可以延长至一年。

    • 0：要始终直接从存储引擎检索最新统计信息并绕过缓存值

    • 会话变量

    • 每个客户端会话都可以定义自己的到期值。

    • 从存储引擎检索并由一个会话缓存的统计信息可供其他会话使用。

8 序列化字典信息（SDI）

8.1 元数据存储的两种方式：

    • 数据字典表

    • 序列化字典信息（SDI）

    • 不同存储引擎SDI的存储方式：

    • Innodb存储引擎：存储在其表空间文件中

    • 其他存储引擎： 将SDI数据存储在对应schema目录下.sdi文件中

    • SDI数据以紧凑JSON格式存储

8.2 innodb

    •  存储在除临时表空间和撤消表空间文件之外的所有表空间文件中

    • 仅记录了表空间中包含的表和表空间对象的描述。

    • 仅通过表空间中的表上的DDL操作进行更新

    • 单独使用一个16K的索引页，以压缩的方式存储SDI 信息

    • 提供了元数据冗余。例如，如果数据字典变得不可用，则可以InnoDB 使用ibd2sdi工具直接从表空间文件中提取对象元数据

    • /usr/local/mysql8/bin/ibd2sdi --dump-file=test.sdi /mysqldb/db_vastdata8/data/sakila/city.ibd

9 使用数据字典后的变化

9.1 innodb_read_only

    • 阻止所有存储引擎的创建和删除表操作

    • 任何存储引擎的表创建和删除操作都会修改mysql系统数据库中的数据字典表

    • ANALYZE TABLE 失败，因为它更新了表统计信息，这些统计信息存储在数据字典中。

    • ALTER TABLE tbl_name ENGINE=engine_name 失败，因为它更新了存储在数据字典中的存储引擎名称。

9.2 CREATE TABLE dst_tbl LIKE src_tbl

    • 要求它 src_tbl是一个基表，如果它是一个INFORMATION_SCHEMA 数据字典表视图的表，则会失败。

    • create table t like information_schema.tables;

9.3 mysqldump 和mysqlpump

    • 只导出该数据库中的非数据字典表

    • proc and event表不在使用

    • 导出routines and events时，必须使用--all-databases --routines --events

    • --routines 需要select on *.*权限

    • 导出routine and event 时，无法导出creation and modification timestamps

    •  stored routine 创建时，如果包括非法字符，会直接报错。以前的版本只是抛出warning

10 数据字典的局限性

    • MySQL服务器无法识别手动创建的数据库目录。

    • 不支持在数据目录下手动创建数据库目录（例如，使用mkdir）

    • DDL操作耗时变长

    • 不是单纯的修改.frm文件

    • 需要写入redo log和undo log

    • [mysql@localhost data]$ mkdir zhumh