MySQL基础入门:MySQL日志文件解析

前言

在MySQL服务器运行过程中,除了会产生各种数据文件外,还会记录各种日志文件,这些日志文件不仅仅记录MySQL的数据库的运行情况、用户操作、错误信息等,还和MySQL服务器的数据息息相关。
MySQL基础入门:MySQL日志文件解析_第1张图片

1. MySQL日志文件

MySQL主要有以下几类日志文件:重做日志(redo log)、回滚日志(undo log)、二进制日志(binlog)、错误日志(errorlog)、慢查询日志(slow query log)、一般查询日志(general log)、中继日志(relay log)

1.1 Redo Log (重做日志)

redo log也叫做重做日志,是保证事务持久性的重要机制。用于崩溃恢复,防止在发生故障的时间点,尚有脏页未写入磁盘,在重启mysql服务的时候,根据redo log进行重做,从而达到事务的持久性这一特性。

redo log是在事务begin时就开始记录(并不是事务commit时才记录,因为整个事务做的操作可能很多,如果在commit的时候才写redo log,此时一旦发生异常,redo log还没写,这就太晚了,无法确保事务的持久性)。

redo log 是物理日志,记录的是“在某个数据页上做了什么修改”。另外,redo log是循环写入固定的文件,而且是顺序写入磁盘的。

在一个事务中,可能会发生多次的数据修改,对应的就是多个数据页多个偏移量位置的字段变更,也就是说会产生多条redo log,而且因为在同一个事物中,这些redo log,也是不可再分的,也就是说,一个组的redo log在持久化的时候,不能部分成功,部分失败,否则的话,就会破坏事务的原子性。

另外为了提升性能redo log是按照块组织在一起,然后写入到磁盘中的,类似于数据的页,而且引入了redo log buffer,默认的大小为16MB。buffer中分了很多的block,每个block的大小为512kb,每一个事务产生的所有redo log称为一个group。

1.2 Undo Log (回滚日志)

数据库事务开始之前,会将要修改的记录放到Undo日志里,当事务回滚时或者数据库崩溃时,可以利用UndoLog撤销未提交事务对数据库产生的影响。

  • Undo log的作用:
  1. 事务回滚 - 原子性: 当事务回滚时或者数据库崩溃时,可以利用Undo Log来进行数据回滚。
  2. 多个行版本控制(MVCC)- 隔离性: 即在InnoDB存储引擎中MVCC的实现是通过Undo来完成。当用户读取一行记录时,若该记录已经被其他事务占用,当前事务可以通过Undo读取之前的行版本信息,以此实现非锁定读取。

1.3 Binary Log (二进制日志)

binary 就是bin log,即二进制日志文件,这个文件记录了MySQL所有的DML操作。通过binlog日志我们可以做数据恢复,增量备份,主主复制和主从复制等等。

  • binlog日志包括两类文件:
  1. 二进制日志索引文件(文件名后缀为.index): 用于记录所有的二进制文件。
  2. 二进制日志文件(文件名后缀为.00000* ): 记录数据库所有的DDL和DML(除了数据查询语句select)语句事件。
    MySQL基础入门:MySQL日志文件解析_第2张图片

1.3.1 查看binlog日志是否开启

mysql> show variables like '%log_bin%';
+---------------------------------+----------------------------------+
| Variable_name                   | Value                            |
+---------------------------------+----------------------------------+
| log_bin                         | ON                               |
| log_bin_basename                | /www/server/data/mysql-bin       |
| log_bin_index                   | /www/server/data/mysql-bin.index |
| log_bin_trust_function_creators | OFF                              |
| log_bin_use_v1_row_events       | OFF                              |
| sql_log_bin                     | ON                               |
+---------------------------------+----------------------------------+
6 rows in set (0.00 sec)

启用binlog,在 my.cnf 配置文件中加入 log-bin 配置,表示启用binlog,如果没有给定值,写成 log-bin=,则默认名称为主机名。(注:名称若带有小数点,则只取第一个小数点前的部分作为名称)

[mysqld]
## 我配置的文件名为mysql-bin
log-bin=mysql-bin

1.3.2 查看binlog日志master 状态

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000009 | 80774638 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

上面的查询结果表示最后(最新)一个binlog日志的编号名称(mysql-bin.000009),及其最后一个操作事件pos结束点(Position)值

1.3.3 查看binlog日志列表

mysql> show master logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000008 |  60794094 |
| mysql-bin.000009 |  80774638 |
+------------------+-----------+
2 rows in set (0.00 sec)

表示,当前我的MySQL服务有两个binlog文件mysql-bin.000008mysql-bin.000009

1.4 Error Log (错误日志)

错误日志记录了MySQL 服务器运行过程中所有较为严重的警告和错误信息,以及MySQL服务器每次启动和关闭的详细信息。

在默认情况下,系统记录错误日志的功能是关闭的( 我所使用的 MySQL 5.7 是开启的 ),错误信息被输出到标准错误输出( Stderr )。

1.4.1 查看错误日志

mysql> show variables like "log_error";
+---------------+-----------------------+
| Variable_name | Value                 |
+---------------+-----------------------+
| log_error     | ./VM-16-15-centos.err |
+---------------+-----------------------+
1 row in set (0.00 sec)

根据查询结果,错误日志保存在数据目录下名为VM-16-15-centos.err的文件中。如果查询结果为stderr,则表示输出到屏幕,错误的信息只会输出到我们的终端屏幕,并不会记录在日志中。

MySQL基础入门:MySQL日志文件解析_第3张图片

1.4.2 开启错误日志

在配置文件[mysqld]组添加如下一行配置:

# log_error记录了错误日志所在位置及文件名
log_error = /www/server/data/VM-16-15-centos.err

1.5 Slow Query Log (慢查询日志)

慢查询日志是记录查询时长超过指定时间的日志,慢查询日志主要用来记录时间较长的查询语句,通过慢查询日志可以找出查询时间较长的、执行效率较低的语句,以便进行优化。

默认情况下,慢查询日志功能是关闭的。如果不是调优需要,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。

1.5.1 查看慢查询日志

mysql> show variables like "%slow_query%";
+---------------------+---------------------------------+
| Variable_name       | Value                           |
+---------------------+---------------------------------+
| slow_query_log      | ON                              |
| slow_query_log_file | /www/server/data/mysql-slow.log |
+---------------------+---------------------------------+
2 rows in set (0.00 sec)

MySQL基础入门:MySQL日志文件解析_第4张图片

MySQL通过long_query_time参数来指定慢查询时间,时间以秒为单位。如果查询时间超过了这个时间值,这个查询语句将被记录到慢查询日志,如果不设置,默认时间为 10 秒。

mysql> show variables like "%long_query_time%";
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 3.000000 |
+-----------------+----------+
1 row in set (0.00 sec)

1.5.2 开启和关闭慢查询日志

#开启慢查询日志 0关闭 1开启
SET GLOBAL slow_query_log=1;

#修改慢日志记录SQL的最低阈值时间,单位秒
SET GLOBAL long_query_time=3;

1.6 General Log (一般查询日志)

一般查询日志会记录MySQL所有的SQL语句,不管是查询语句,还是DML语句,还是DDL语句,还是DCL语句,这些语句统统都会被记录在general log文件中。就连我们连接和断开MySQL数据库的这些语句。

MySQL会把它收到的所有SQL语句按照接收的顺序依次记录在general log中。默认情况下一般查询日志是关闭的(OFF状态),并且默认保存在数据包目录中。

1.6.1 查看一般查询日志

mysql> show variables like "%general%";
+------------------+--------------------------------------+
| Variable_name    | Value                                |
+------------------+--------------------------------------+
| general_log      | OFF                                  |
| general_log_file | /www/server/data/VM-16-15-centos.log |
+------------------+--------------------------------------+
2 rows in set (0.01 sec)

genral_log: 用于控制是否开启general log。等于0表示关闭,等于1表示开启。默认是0。

general_log_file: 指定general log日志的保存路径和文件名,如果不配置这个参数的话,默认会以MySQL服务器的hostname作为general log日志的文件名称,具体文件为:hostname.log 。日志的存放路径,如果不指定,则默认放在datadir参数所指定的目录下,也可以在这个参数中指定具体的路径+名称

MySQL基础入门:MySQL日志文件解析_第5张图片

1.6.1 开启一般查询日志

通用日志有一个默认的保存路径,和我们的数据库文件在同一个目录下,我们只需要开启即可。

mysql> set @@global.general_log = 1;
Query OK, 0 rows affected (0.03 sec)

然后我们在查看一般查询日志的状态,就会发现已经是ON。

1.7 Relay Log (中继日志)

一般情况下它在MySQL主从同步读写分离集群的从节点才开启。主节点一般不需要这个日志。
MySQL基础入门:MySQL日志文件解析_第6张图片
如上图,master主节点的binlog传到slave从节点后,被写到relay log里,它是一个临时的日志文件,用于存储从master节点同步过来的binlog日志内容,它里面的内容和master节点的binlog日志里面的内容是一致的。然后slave从节点从这个relaylog日志文件中读取数据应用到数据库中,来实现数据的主从复制。

总结

MySQL日志文件是数据库的重要组成部分,本文介绍的七种日志文件,随便一种都可以延伸出很多知识点。但是作为MySQL基础入门文章,我们只对日志文件做简单的了解,并没有进行深入的探索,虽然偏理论性知识,但是对使用和学习MySQL非常重要。

结束语

你知道的越多,不知道的就越多。

程序员的修养就是对技术发自内心的欣赏和敬畏!倘若文中表述有误,还请谅解,并欢迎与我讨论,自主思考永远比被动接受更有效!

你可能感兴趣的:(MySQL数据库,mysql,数据库)