初探MySQL之日志

日志管理

MySQL 支持丰富的日志类型，如下：

• 事务日志：transaction log
  • 事务日志的写入类型为“追加”，因此其操作为“顺序IO”；通常也被称为：预写式日志 write ahead
• logging
  • 事务日志文件： ib_logfile0， ib_logfile1
• 错误日志 error log
• 通用日志 general log
• 慢查询日志 slow query log
• 二进制日志 binary log
• 中继日志 reley log，在主从复制架构中，从服务器用于保存从主服务器的二进制日志中读取的事件

1.1 事务日志

1.1.1 事务日志介绍

• 事务日志：transaction log
• 事务型存储引擎自行管理和使用，建议和数据文件分开存放，redo log和undo log

1.1.2 Innodb事务日志相关配置

show variables like '%innodb_log%';
	innodb_log_file_size 50331648 每个日志文件大小
	innodb_log_files_in_group 2 日志组成员个数
	innodb_log_group_home_dir ./ 事务文件路径
	innodb_flush_log_at_trx_commit 默认为1

1.1.3 事务日志性能优化

innodb_flush_log_at_trx_commit=0|1|2|3

说明：
设置为1，同时sync_binlog = 1表示最高级别的容错
innodb_use_global_flush_log_at_trx_commit的值确定是否可以使用SET语句重置此变量

1.2 错误日志

1.2.1 错误日志

• mysqld启动和关闭过程中输出的事件信息
• mysqld运行中产生的错误信息
• event scheduler运行一个event时产生的日志信息
• 在主从复制架构中的从服务器上启动从服务器线程时产生的信息

1.2.2 错误文件路径

SHOW GLOBAL VARIABLES LIKE 'log_error'

范例：

MariaDB [hellodb]> show global variables like 'log_error';
+---------------+---------------------+
| Variable_name | Value               |
+---------------+---------------------+
| log_error     | /var/log/mysqld.log |
+---------------+---------------------+
1 row in set (0.00 sec)

1.2.3 是否记录警告信息至错误日志文件

#默认值1
log_warnings=1|0

范例：

MariaDB [hellodb]> show global variables like 'log_warnings';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_warnings  | 2     |
+---------------+-------+
1 row in set (0.00 sec)

1.3 通用日志

通用日志：记录对数据库的通用操作，包括错误的SQL语句
通用日志可以保存在：file（默认值）或 table（mysql.general_log表）

1.3.1通用日志相关设置

general_log=ON|OFF
general_log_file=HOSTNAME.log
log_output=TABLE|FILE|NONE

范例

#修改通用日志，记录通用日志至mysql.general_log表中
MariaDB [hellodb]> set global log_output="table";
Query OK, 0 rows affected (0.00 sec)

MariaDB [hellodb]> show global variables like 'log_output';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | TABLE |
+---------------+-------+
1 row in set (0.00 sec)

MariaDB [mysql]> select * from mysql.general_log\G
...省略...
*************************** 6. row ***************************
event_time: 2019-11-25 11:03:41.163896
user_host: root[root] @ localhost []
thread_id: 9
server_id: 1
command_type: Query
argument: xxx
*************************** 7. row ***************************
event_time: 2019-11-25 11:03:44.549211
user_host: root[root] @ localhost []
thread_id: 8
server_id: 1
command_type: Query
argument: select * from general_log
7 rows in set (0.000 sec)

1.4 慢查询日志

• 慢查询日志：记录执行查询时长超出指定时长的操作

1.4.1 慢查询相关变量

slow_query_log=ON|OFF #开启或关闭慢查询
long_query_time=N #慢查询的阀值，单位秒
slow_query_log_file=HOSTNAME-slow.log #慢查询日志文件
log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,
query_cache,query_cache_miss,tmp_table,tmp_table_on_disk
#上述查询类型且查询时长超过long_query_time，则记录日志
log_queries_not_using_indexes=ON #不使用索引或使用全索引扫描，不论是否达到慢查询阀值的语句是否记录日志，默认OFF，即不记录
log_slow_rate_limit = 1 #多少次查询才记录，mariadb特有
log_slow_verbosity= Query_plan,explain #记录内容
log_slow_queries = OFF 同slow_query_log #MariaDB 10.0/MySQL 5.6.1 版后已删除

1.4.2 使用profile工具

#打开后，会显示语句执行详细的过程
set profiling = ON
#查看语句,注意结果中的query_id值
show profiles ;
#显示语句的详细执行步骤和时长
Show profile for query #
#显示cpu使用情况
Show profile cpu for query #

1.5 二进制日志 #重点内容

• 记录导致数据改变或潜在导致数据改变的SQL语句
• 记录已提交的日志
• 不依赖于存储引擎类型
  • 功能：通过“重放”日志文件中的事件来生成数据副本
• 注意：建议二进制日志和数据文件分开存放
• 注意：二进制日志是对日志的增删改

1.5.1 二进制日志记录三种格式

• 基于“语句”记录：statement，记录语句，默认模式（ MariaDB 10.2.3 版本以下 ），日志量较少
• 基于“行”记录：row，记录数据，日志量较大
• 混合模式：mixed, 让系统自行判定该基于哪种方式进行，默认模式（MariaDB 10.2.4及版本以上）

1.5.2 格式配置

MariaDB [hellodb]> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | MIXED |
+---------------+-------+
1 row in set (0.00 sec)

1.5.3 二进制日志文件的构成

有两类文件

• 日志文件：mysql|mariadb-bin.文件名后缀，二进制格式
  如：mariadb-bin.000001
• 索引文件：mysql|mariadb-bin.index，文本格式

1.5.4 二进制日志相关的服务器变量

sql_log_bin=ON|OFF：#是否记录二进制日志，默认ON
log_bin=/PATH/BIN_LOG_FILE：#指定文件位置；默认OFF，表示不启用二进制日志功能，上述两项都开启才可
binlog_format=STATEMENT|ROW|MIXED：#二进制日志记录的格式，默认STATEMENT
max_binlog_size=1073741824：#单个二进制日志文件的最大体积，到达最大值会自动滚动，默认为1G
**说明：文件达到上限时的大小未必为指定的精确值**
sync_binlog=1|0：#设定是否启动二进制日志即时同步磁盘功能，默认0，由操作系统负责同步日志到磁盘
expire_logs_days=N：#二进制日志可以自动删除的天数。 默认为0，即不自动删除

1.5.5 二进制日志相关配置

1.5.5.1 查看mariadb自行管理使用中的二进制日志文件列表，及大小

SHOW {BINARY | MASTER} LOGS

1.5.5.2 查看使用中的二进制日志文件

SHOW MASTER STATUS

MariaDB [hellodb]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      328 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

1.5.5.3 查看二进制文件中的指定内容

SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]

范例

show binlog events in 'mysql-bin.000001' from 6516 limit 2,3

1.5.5.4 mysqlbinlog：二进制日志的客户端命令工具

命令格式：

mysqlbinlog [OPTIONS] log_file…
--start-position=# 指定开始位置
--stop-position=#
--start-datetime= #时间格式：YYYY-MM-DD hh:mm:ss
--stop-datetime=
--base64-output[=name]
-v -vvv

范例：

mysqlbinlog --start-position=678 --stop-position=752 /var/lib/mysql/mariadbbin.000003 -v
mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003 -vvv

1.5.6 二进制日志事件的格式

# at 328
#151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1
exec_time=0 error_code=0
use `mydb`/*!*/;
SET TIMESTAMP=1446712300/*!*/;
CREATE TABLE tb1 (id int, name char(30))
/*!*/;
事件发生的日期和时间：151105 16:31:40
事件发生的服务器标识：server id 1
事件的结束位置：end_log_pos 431
事件的类型：Query
事件发生时所在服务器执行此事件的线程的ID：thread_id=1
语句的时间戳与将其写入二进制文件中的时间差：exec_time=0
错误代码：error_code=0
事件内容：GTID：Global Transaction ID，mysql5.6以mariadb10以上版本专属属性：GTID

1.5.7 清除指定二进制日志

PURGE { BINARY | MASTER } LOGS { TO 'log_name' | BEFORE datetime_expr }

范例：

PURGE BINARY LOGS TO 'mariadb-bin.000003'; #删除mariadb-bin.000003之前的日志
PURGE BINARY LOGS BEFORE '2017-01-23';
PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

1.5.8 删除所有二进制日志，index文件重新记数

RESET MASTER [TO #]; #删除所有二进制日志文件，并重新生成日志文件，文件名从#开始记数，默认从1开始，一般是master主机第一次启动时执行，MariaDB10.1.6开始支持TO #

1.5.9 切换日志文件

FLUSH LOGS;

二进制文件滚动记录，通过命令FLUSH LOGS;强行滚动日志，再查询二进制日志文件，发现了新的滚动文件

MariaDB [hellodb]> FLUSH LOGS;
Query OK, 0 rows affected (0.01 sec)

MariaDB [hellodb]> SHOW MASTER LOGS;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |       375 |
| mysql-bin.000002 |       418 |
| mysql-bin.000003 |       371 |
+------------------+-----------+
3 rows in set (0.00 sec)

1.5.10 开启二进制日志文件，系统默认不开启

vim /etc/my.cnf
[mysqld]
log-bin=/data/mysql/logbin/mysql-bin
##**注意：log-bin后面跟的是二进制日志文件头部，必须写上，否则mysql服务无法启动**
##**注意：二进制文件，最好和数据分别放在不同的文件或磁盘，以便于二进制文件进行恢复备份
systemctl restart mysqld
mkdir -p /data/mysql/logbin/
chown -R mysql.mysql /data/mysql/logbin/