mysql数据库log_MySQL之六----MySQL数据库各种日志管理

事务日志:

事务日志的写入类型为“追加”,因此其操作为“顺序IO”;通常也被称为:预写式日志 write ahead logging

事务日志文件: ib_logfile0, ib_logfile1

日志

事务日志 transaction log

错误日志 error log

通用日志 general log

慢查询日志 slow query log

二进制日志 binary log

中继日志 relay log

事务日志:transaction log

事务型存储引擎自行管理和使用,建议和数据文件分开存放

redo log

undo log

Innodb事务日志相关配置:

show variables like '%innodb_log%';

innodb_log_file_size 5242880 每个日志文件大小

innodb_log_files_in_group 2 日志组成员个数

innodb_log_group_home_dir ./ 事务文件路径

innodb_flush_log_at_trx_commit 默认为1

示例:

修改事务日志的文件存放路径,比如,我们需要将事务日志存放在/data/logs目录下,此时,我们需要新建一个目录。

[root@centos7-1~]#mkdir /data/logs 新建一个logs目录

[root@centos7-1~]#ll -d /data/logs

drwxr-xr-x 2 root root 6 Nov 20 09:22 /data/logs

[root@centos7-1~]#chown mysql.mysql /data/logs 修改目录的所属组和所有者

[root@centos7-1~]#ll -d /data/logs

drwxr-xr-x 2 mysql mysql 6 Nov 20 09:22 /data/logs

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第1张图片

指定事务路径:

vim /etc/my.cnf

[mysqld]

innodb_log_group_home_dir=/data/logs

systemctl restart mariadb 重启mysql服务

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第2张图片

查看得知,此时的事务存放文件路径已修改过来了:

96bfa198d14dd92b04bee51eef4e9d97.png

innodb_flush_log_at_trx_commit

说明:设置为1,同时sync_binlog = 1表示最高级别的容错

innodb_use_global_flush_log_at_trx_commit的值确定是否可以使用SET语句重置此变量

1默认情况下,日志缓冲区将写入日志文件,并在每次事务后执行刷新到磁盘。这是完全遵守ACID特性

0提交时没有任何操作; 而是每秒执行一次日志缓冲区写入和刷新。 这样可以提供更好的性能,但服务器崩溃可以清除最后一秒的事务

2每次提交后都会写入日志缓冲区,但每秒都会进行一次刷新。 性能比0略好一些,但操作系统或停电可能导致最后一秒的交易丢失

3模拟MariaDB 5.5组提交(每组提交3个同步),此项MariaDB 10.0支持

查看set语句是否可以重置变量。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第3张图片

错误日志

mysqld启动和关闭过程中输出的事件信息

mysqld运行中产生的错误信息

event scheduler运行一个event时产生的日志信息

在主从复制架构中的从服务器上启动从服务器线程时产生的信息

错误日志相关配置

SHOW GLOBAL VARIABLES LIKE 'log_error' 只能配置错误日志,不能修改

错误文件路径

log_error=/PATH/TO/LOG_ERROR_FILE

是否记录警告信息至错误日志文件

log_warnings=1|0 默认值1

在配置文件中可以看到错误日志的路径:

vim /etc/my.cnf

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第4张图片

当前可以跟踪数据库的日志信息:

[root@centos7~]#tail -f /var/log/mariadb/mariadb.log

InnoDB: The log sequence number in ibdata files does not match

InnoDB: the log sequence number in the ib_logfiles!

InnoDB: Restoring possible half-written data pages from the doublewrite buffer...

191120 9:42:03 InnoDB: Waiting for the background threads to start

191120 9:42:04 Percona XtraDB (http://www.percona.com) 5.5.59-MariaDB-38.11 started; log sequence number 1685378

191120 9:42:04 [Note] Plugin 'FEEDBACK' is disabled.

191120 9:42:04 [Note] Server socket created on IP: '0.0.0.0'.

191120 9:42:04 [Note] Event Scheduler: Loaded 0 events

191120 9:42:04 [Note] /usr/libexec/mysqld: ready for connections.

Version: '5.5.60-MariaDB' socket: '/var/lib/mysql/mysql.sock' port: 3306 MariaDB Server

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第5张图片

通用日志:记录对数据库的通用操作,包括错误的SQL语句

文件:file,默认值

表:table

通用日志相关设置

general_log=ON|OFF

general_log_file=HOSTNAME.log

log_output=TABLE|FILE|NONE

将general_log=OFF改为ON

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第6张图片

show variables  like 'general_log%'; 查看主机名生成的LOG日志。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第7张图片

show variables  like 'log_output';默认显示的是file文件。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第8张图片

set   global  log_output='table';将log日志改为表内。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第9张图片

优化思路:可以查询哪些数据库命令经常使用,如果频繁使用,就需要加上索引,减少查询慢,导致mysql服务性能下降,方便以后使用。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第10张图片

慢查询日志

慢查询日志:记录执行查询时长超出指定时长的操作

slow_query_log=ON|OFF 开启或关闭慢查询

long_query_time=N 慢查询的阀值,单位秒

slow_query_log_file=HOSTNAME-slow.log 慢查询日志文件

log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,

query_cache,query_cache_miss,tmp_table,tmp_table_on_disk上述查询类型且查询时长超过long_query_time,则记录日志

log_queries_not_using_indexes=ON 不使用索引或使用全索引扫描,不论是否达到慢查询阀值的语句是否记录日志,默认OFF,即不记录

log_slow_rate_limit = 1 多少次查询才记录,mariadb特有

log_slow_verbosity= Query_plan,explain 记录内容

log_slow_queries = OFF 同slow_query_log 新版已废弃

生产中将以下两项的慢查询开关打开即可:

启动slow_query_log=ON启动起此配置内容,有助于后期排错

log_queries_not_using_indexes=ON 不使用索引或使用全索引扫描,不论是否达到慢查询阀值的语句是否记录日志,默认OFF,即不记录。

在mysql配置文件中修改配置:

vim /etc/my.cnf

启用以下几项内容,其他作为默认值,可不修改:

slow_query_log=ON|OFF 开启或关闭慢查询

long_query_time=2 慢查询的阀值,单位秒(可以改为2秒,3秒),根据实际情况修改

log_queries_not_using_indexes=ON 不使用索引或使用全索引扫描,不论是否达到慢查询阀值的语句是否记录日志,默认OFF,即不记录

分析哪条命令慢导致mysql查询慢的原因:

1、set profiling=ON; 开启功能

2、show profiles; 先查看当前文件的ID号。

3、show profile for query 4;查看某个ID号的具体信息。

MariaDB [hellodb]> set profiling=ON; 开启功能

Query OK, 0 rows affected (0.00 sec)

MariaDB [hellodb]> select @@profiling;

+-------------+

| @@profiling |

+-------------+

| 1 |

+-------------+

1 row in set (0.00 sec)

MariaDB [hellodb]> show index from students;

+----------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |

+----------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

| students | 0 | PRIMARY | 1 | StuID | A | 25 | NULL | NULL | | BTREE | | |

+----------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

1 row in set (0.01 sec)

MariaDB [hellodb]> select * from students where age=10000;

Empty set (0.00 sec)

MariaDB [hellodb]> show profiles;查看当前所有执行过的mysql命令中哪个时延最长,具体看看哪个数据比较慢。

+----------+------------+-----------------------------------------+

| Query_ID | Duration | Query |

+----------+------------+-----------------------------------------+

| 1 | 0.00235329 | select @@profiling |

| 2 | 0.00398939 | select * from testlog where age=10000 |

| 3 | 0.00893150 | show index from students |

| 4 | 0.00510308 | select * from students where age=10000 |

+----------+------------+-----------------------------------------+

4 rows in set (0.00 sec)

MariaDB [hellodb]> show profile for query 4; 比如查看query_ID 4的内容,看看是什么原因导致当前的mysql运行慢,都耗费了多长的时间。

+--------------------------------+----------+

| Status | Duration |

+--------------------------------+----------+

| starting | 0.000020 |

| Opening tables | 0.000017 |

| System lock | 0.000003 |

| Table lock | 0.000003 |

| Opening tables | 0.000002 |

| After opening tables | 0.000055 |

| closing tables | 0.000005 |

| Unlocking tables | 0.000011 |

| Waiting for query cache lock | 0.000003 |

| Unlocking tables | 0.000002 |

| checking query cache for query | 0.000031 |

| checking permissions | 0.000006 |

| Opening tables | 0.000009 |

| After opening tables | 0.000046 |

| System lock | 0.000028 |

| Table lock | 0.000009 |

| Waiting for query cache lock | 0.000066 |

| init | 0.000088 |

| optimizing | 0.001249 |

| statistics | 0.000922 |

| preparing | 0.000043 |

| executing | 0.000004 |

| Sending data | 0.001897 |

| end | 0.000062 |

| query end | 0.000033 |

| closing tables | 0.000009 |

| Unlocking tables | 0.000012 |

| freeing items | 0.000405 |

| updating status | 0.000013 |

| Waiting for query cache lock | 0.000004 |

| updating status | 0.000029 |

| Waiting for query cache lock | 0.000003 |

| updating status | 0.000003 |

| storing result in query cache | 0.000009 |

| cleaning up | 0.000004 |

+--------------------------------+----------+

35 rows in set (0.01 sec

二进制日志

二进制日志

记录导致数据改变或潜在导致数据改变的SQL语句

记录已提交的日志

不依赖于存储引擎类型

功能:通过“重放”日志文件中的事件来生成数据副本

注意:建议二进制日志和数据文件分开存放

中继日志:relay log

主从复制架构中,从服务器用于保存从主服务器的二进制日志中读取的事件

二进制日志记录格式

二进制日志记录三种格式

基于“语句”记录:statement,记录语句,默认模式

基于“行”记录:row,记录数据,日志量较大

混合模式:mixed, 让系统自行判定该基于哪种方式进行

格式配置

show variables like ‘binlog_format';

二进制日志文件的构成

有两类文件

日志文件:mysql|mariadb-bin.文件名后缀,二进制格式

如: mariadb-bin.000001

索引文件:mysql|mariadb-bin.index,文本格式

二进制日志相关的服务器变量:

sql_log_bin=ON|OFF:是否记录二进制日志,默认ON

log_bin=/PATH/BIN_LOG_FILE:指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开启才可

binlog_format=STATEMENT|ROW|MIXED:二进制日志记录的格式,默认STATEMENT 可将格式改为row格式最好。

max_binlog_size=1073741824:单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G

说明:文件达到上限时的大小未必为指定的精确值

sync_binlog=1|0:设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘

expire_logs_days=N:二进制日志可以自动删除的天数。 默认为0,即不自动删除

示例:

定义二进制文件路径和文件前缀名称,会将数据库文件和二进制程序分离存放。

mkdir /data/logbin 创建二进制文件路径

chown mysql.mysql /data/logbin

31b491d1b2556fe742b2075838f27d86.png

修改MYSQL配置文件,指向对应的二进制配置文件路径:

vim  /etc/my.cnf

log_bin=/data/logbin/mysql-bin

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第11张图片

重启mysql服务,查看当前的mysql二进制文件,此时已生成二进制文件。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第12张图片

可以临时关闭二进制程序文件,如果我们在导入大批量的数据日志,已经确定要导入,可以临时关闭二进制日志程序,提高效率。

还原数据时,不禁用二进制程序,恢复数据时,没必要再记录到生成恢复时的二进制日志程序,所以也需要禁用。

set  sql_log_bin=OFF  临时关闭二进制程序,不需要重启mysql服务。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第13张图片

二进制日志相关配置

查看mariadb自行管理使用中的二进制日志文件列表,及大小

SHOW {BINARY | MASTER} LOGS

查看使用中的二进制日志文件

SHOW MASTER STATUS

查看二进制文件中的指定内容

SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT[offset,] row_count]

show binlog events in ‘mysql-bin.000001' from 6516 limit 2,3

查看mariadb自行管理使用中的二进制日志文件列表,及大小

查看使用中的二进制日志文件

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第14张图片

查看二进制文件中的指定内容

3b1023fbd794258626c2f2e2ef3de81e.png

示例: show binlog events in ‘mysql-bin.000001' from 6516 limit 2,3   从6516开始跳过前两个看三个文件。

show binlog events in ‘mysql-bin.000001' from 6516 limit  4    从6516开始查看前四个内容。

mysqlbinlog:二进制日志的客户端命令工具

命令格式:

mysqlbinlog [OPTIONS] log_file…

--start-position=# 指定开始位置

--stop-position=#

--start-datetime=

--stop-datetime=

时间格式:YYYY-MM-DD hh:mm:ss

--base64-output[=name]

-v -vvv

可以查看二进制日志的详细信息:

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第15张图片

删除数据库中表内容恢复之

指定mysql二进制数据库路径,暂时禁用行格式的二进制日志,此时默认就是字符格式。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第16张图片

启用二进制日志功能,并插入一张表格内容:

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第17张图片

此时,删除hello表格:

delete  from hello;

然后通过二进制格式日志进行恢复,将最新的二进制日志文件导入到/root/mysql.log文件中。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第18张图片

此时并将二进制日志功能暂时关闭,避免生成恢复时的二进制日志记录:

set  sql_log_bin=off;

cdbe4021cb1475c1189efe50bb587d14.png

修改 导出的二进制日志文件:

vim  /root/mysql.log

找到误操作的命令,将其注释掉或者删除此行。

8eb52203ab8878a885957f29c377937f.png

mysql -pmagedu  hellodb

查看之前被删除的文件,已经恢复了误删除的文件。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第19张图片

二进制日志事件的格式:

# at 328

#151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1 exec_time=0

error_code=0

use `mydb`/*!*/;

SET TIMESTAMP=1446712300/*!*/;

CREATE TABLE tb1 (id int, name char(30))

/*!*/;

事件发生的日期和时间:151105 16:31:40

事件发生的服务器标识:server id 1

事件的结束位置:end_log_pos 431

事件的类型:Query

事件发生时所在服务器执行此事件的线程的ID:thread_id=1

语句的时间戳与将其写入二进制文件中的时间差:exec_time=0

错误代码:error_code=0

事件内容:

GTID:Global Transaction ID,mysql5.6以mariadb10以上版本专属属性:GTID

清除指定二进制日志:  建议保留半个月以上的二进制日志

PURGE { BINARY | MASTER } LOGS

{ TO 'log_name' | BEFORE datetime_expr }

示例:

PURGE BINARY LOGS TO ‘mariadb-bin.000003’;删除3之前的日志

PURGE BINARY LOGS BEFORE '2017-01-23';

PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

删除所有二进制日志,index文件重新记数

RESET MASTER [TO #]; 删除所有二进制日志文件,并重新生成日志文件,文件名从#开始记数,默认从1开始,一般是master主机第一次启动时执行,MariaDB10.1.6开始支持TO #

切换日志文件:

FLUSH LOGS;

示例:

清除二进制日志文件,PURGE BINARY LOGS TO 'mysql-bin.000004'; 清除的是4以前的日志文件,不包含本身。

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第20张图片

RESET MASTER [TO #]; 删除所有二进制日志文件,并重新生成日志文件,文件名从#开始记数,默认从1开始,一般是master主机第一次启动时执行,MariaDB10.1.6开始支持TO #

mysql数据库log_MySQL之六----MySQL数据库各种日志管理_第21张图片

总结:

以下可以在生产中进行设置参数:

sql_log_bin=ON|OFF:是否记录二进制日志,默认ON

log_bin=/PATH/BIN_LOG_FILE:指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开启才可,第一项默认开启,此项指定二进制日志路径即可。

binlog_format=row:二进制日志记录的格式,默认STATEMENT 可将格式改为row格式最好,但是日志比较大,占用内存空间。

max_binlog_size=1073741824:单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G 可以将数据设置大点,比如10G

说明:文件达到上限时的大小未必为指定的精确值

sync_binlog=1|0:设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘,为了数据安全,可以改为1,为了追求高性能改为0.

expire_logs_days=N:二进制日志可以自动删除的天数。 默认为0,即不自动删除

你可能感兴趣的:(mysql数据库log)