MySQL 日志详解

 

一、MySQL 日志分类

       MySQL 日志主要包含：错误日志、查询日志、慢查询日志、事务日志、二进制日志。

• 错误日志： -log-err （记录启动、运行、停止 MySQL 服务时出现的信息）
• 查询日志：-log  （记录建立的客户端连接和执行的语句）
• 慢查询日志：-log-slow-queries （记录所有执行超过 long_query_time 秒的所有查询）
• 二进制日志：-log-bin （记录所有更改数据的语句，还用于复制、恢复数据库）
• 事务日志：  （InnoDB 特有的日志，可以帮助提高事务的效率）

　　其中，更新日志：-log-update （二进制日志已经代替了老的更新日志，更新日志在 MySQL 5.1 中不再使用）

 

1、错误日志      

       在MySQL数据库中，错误日志功能是默认开启的，而且无法被关闭。默认情况，错误日志存储在mysql数据库的数据文件中。错误日志文件通常的名称为hostname.err（hostname表示服务器的主机名）。

       错误日志可以自己配置，错误日志可以通过log-error和log-warnings来定义，其中log-error：配置是否启用错误日志功能和错误日志的存储位置？log-warning：配置是否将警告信息也定义至错误日志中？

       错误日志记录信息：服务器启动关闭信息、运行错误信息、时间调度器运行一个事件时产生的信息、在服务器上启动进程产生的信息。

 

2、查询日志

       默认情况，查询日志是关闭的。因为查询日志会记录用户所有的操作，其中还包括增删改查等信息，如果在高并发的环境下会产生大量的信息，导致不必要的磁盘IO，会影响 MySQL 的性能。

 

3、慢查询日志

       慢查询日志是用来记录执行时间超过指定时间的查询语句。通过慢查询日志，可以查找出哪些查询语句的执行效率很低，以便进行优化。一般建议开启，它对服务器性能影响很小，但是可以记录MySQL服务器上执行很长时间的查询语句。可以帮助我们定义性能问题。

 

4、事务日志

       事务日志（InnoDB特有的日志）可以帮助提高事务的效率。使用事务日志，存储引擎在修改表的数据时只需要修改其内存拷贝，再把改修改行为记录到持久在硬盘上的事务日志中，而不用每次都将修改的数据本身持久到磁盘。事务日志采用追加的方式，因此写日志的操作是磁盘上一小块区域内的顺序I/O，而不像随机I/O需要在磁盘的多个地方移动磁头，所以采用事务日志的方式相对来说要快得多。事务日志持久以后，内存中被修改的数据在后台可以慢慢的刷回到磁盘。目前大多数的存储引擎都是这样实现的，我们通常称之为预写式日志，修改数据需要写两次磁盘。如果数据的修改已经记录到事务日志并持久化，但数据本身还没有写回磁盘，此时系统崩溃，存储引擎在重启时能够自动恢复这部分修改的数据。具有的恢复方式则视存储引擎而定。

 

5、二进制日志

        二进制日志也叫作变更日志，主要用于记录修改数据或有可能引起数据改变的mysql语句，并且记录了语句发生时间、执行时长、操作的数据等等。所以说通过二进制日志可以查询mysql数据库中进行了哪些变化。一般大小体积上限为1G。

 

 

二、如何查看日志？

1、查看日志信息

引擎为 MyISAM 所查询出来的结果：

mysql> show global variables like '%log%';
+-----------------------------------------+----------------------------------------+
| Variable_name                           | Value                                  |
+-----------------------------------------+----------------------------------------+
| back_log                                | 50                                     |
| binlog_cache_size                       | 32768                                  |
| binlog_direct_non_transactional_updates | OFF                                    |
| binlog_format                           | MIXED                                  |
| expire_logs_days                        | 0                                      |
| general_log                             | OFF                                    |
| general_log_file                        | /local/server/mysql/data/kjm2.log      |
| log                                     | OFF                                    |
| log_bin                                 | ON                                     |
| log_bin_trust_function_creators         | OFF                                    |
| log_bin_trust_routine_creators          | OFF                                    |
| log_error                               | /local/server/mysql/data/kjm2.err      |
| log_output                              | FILE                                   |
| log_queries_not_using_indexes           | OFF                                    |
| log_slave_updates                       | OFF                                    |
| log_slow_queries                        | OFF                                    |
| log_warnings                            | 1                                      |
| max_binlog_cache_size                   | 18446744073709547520                   |
| max_binlog_size                         | 1073741824                             |
| max_relay_log_size                      | 0                                      |
| relay_log                               | mysql-relay                            |
| relay_log_index                         |                                        |
| relay_log_info_file                     | relay-log.info                         |
| relay_log_purge                         | ON                                     |
| relay_log_space_limit                   | 0                                      |
| slow_query_log                          | OFF                                    |
| slow_query_log_file                     | /local/server/mysql/data/kjm2-slow.log |
| sql_log_bin                             | ON                                     |
| sql_log_off                             | OFF                                    |
| sql_log_update                          | ON                                     |
| sync_binlog                             | 0                                      |
+-----------------------------------------+----------------------------------------+
31 rows in set (0.01 sec)

 

引擎为innoDB 所查询出来的结果：

mysql> show global variables like '%log%';
+-----------------------------------------+--------------------------------+
| Variable_name                           | Value                          |
+-----------------------------------------+--------------------------------+
| back_log                                | 250                            |
| binlog_cache_size                       | 32768                          |
| binlog_checksum                         | CRC32                          |
| binlog_direct_non_transactional_updates | OFF                            |
| binlog_error_action                     | IGNORE_ERROR                   |
| binlog_format                           | STATEMENT                      |
| binlog_gtid_simple_recovery             | OFF                            |
| binlog_max_flush_queue_time             | 0                              |
| binlog_order_commits                    | ON                             |
| binlog_row_image                        | FULL                           |
| binlog_rows_query_log_events            | OFF                            |
| binlog_stmt_cache_size                  | 32768                          |
| binlogging_impossible_mode              | IGNORE_ERROR                   |
| expire_logs_days                        | 0                              |
| general_log                             | OFF                            |
| general_log_file                        | /var/lib/mysql/kafka2.log      |
| innodb_api_enable_binlog                | OFF                            |
| innodb_flush_log_at_timeout             | 1                              |
| innodb_flush_log_at_trx_commit          | 2                              | ===>【事务日志】详解[1]
| innodb_locks_unsafe_for_binlog          | OFF                            |
| innodb_log_buffer_size                  | 33554432                       |
| innodb_log_compressed_pages             | ON                             |
| innodb_log_file_size                    | 536870912                      |
| innodb_log_files_in_group               | 2                              | ===>【事务日志】至少2个
| innodb_log_group_home_dir               | ./                             | ===>【事务日志】定义innodb事务日志组的文件目录
| innodb_mirrored_log_groups              | 1                              | ===>【事务日志】表示对日志组做镜像
| innodb_online_alter_log_max_size        | 134217728                      |
| innodb_undo_logs                        | 128                            |
| log_bin                                 | OFF                            |
| log_bin_basename                        |                                |
| log_bin_index                           |                                |
| log_bin_trust_function_creators         | OFF                            |
| log_bin_use_v1_row_events               | OFF                            |
| log_error                               | ./kafka2.err                   | ===>【错误日志】错误日志输出目录以及错误日志文件名
| log_output                              | FILE                           |
| log_queries_not_using_indexes           | OFF                            |
| log_slave_updates                       | OFF                            |
| log_slow_admin_statements               | OFF                            |
| log_slow_slave_statements               | OFF                            |
| log_throttle_queries_not_using_indexes  | 0                              |
| log_warnings                            | 1                              | ===>【错误日志】是否把警告信息添加进错误日志中 
| max_binlog_cache_size                   | 18446744073709547520           |
| max_binlog_size                         | 1073741824                     |
| max_binlog_stmt_cache_size              | 18446744073709547520           |
| max_relay_log_size                      | 0                              |
| relay_log                               |                                |
| relay_log_basename                      |                                |
| relay_log_index                         |                                |
| relay_log_info_file                     | relay-log.info                 |
| relay_log_info_repository               | FILE                           |
| relay_log_purge                         | ON                             |
| relay_log_recovery                      | OFF                            |
| relay_log_space_limit                   | 0                              |
| simplified_binlog_gtid_recovery         | OFF                            |
| slow_query_log                          | OFF                            | ===>【慢日志】查看慢日志是否开启
| slow_query_log_file                     | /var/lib/mysql/kafka2-slow.log | ===>【慢日志】查看慢日志的文件目录以及文件名
| sql_log_bin                             | ON                             |
| sql_log_off                             | OFF                            |
| sync_binlog                             | 0                              |
| sync_relay_log                          | 10000                          |
| sync_relay_log_info                     | 10000                          |
+-----------------------------------------+--------------------------------+
61 rows in set (0.00 sec)

 

2、查看慢查询日志的超时时间

mysql> show global variables like 'long%';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)

       其中这个慢查询时间并不是只表示语句自身执行超过10秒还包含由于其他资源被征用造成阻塞的查询执行时间或其他原因等都被记录到慢查询中。所以这个慢查的时长表示从查询开始到查询结束中间包含可能的任何原因所经历的所有时间。

 

3、查看事务日志

       事务日志（InnoDB特有的日志）可以帮助提高事务的效率。

mysql> show global variables like 'innodb%log%'; 
+----------------------------------+-----------+
| Variable_name                    | Value     |
+----------------------------------+-----------+
| innodb_api_enable_binlog         | OFF       |
| innodb_flush_log_at_timeout      | 1         |
| innodb_flush_log_at_trx_commit   | 1         |
| innodb_locks_unsafe_for_binlog   | OFF       |
| innodb_log_buffer_size           | 8388608   |
| innodb_log_compressed_pages      | ON        |
| innodb_log_file_size             | 50331648  |
| innodb_log_files_in_group        | 2         |
| innodb_log_group_home_dir        | ./        |
| innodb_mirrored_log_groups       | 1         |
| innodb_online_alter_log_max_size | 134217728 |
| innodb_undo_logs                 | 128       |
+----------------------------------+-----------+
12 rows in set (0.00 sec)

       innodb_flush_log_at_trx_commit:在事务提交时innodb是否同步日志从缓冲到文件中1表示事务以提交就同步不提交每隔一秒同步一次，性能会很差造成大量的磁盘I/O；定义为2表示只有在事务提交时才会同步但是可能会丢失整个事务。

       innodb_log_group_home_dir：定义innodb事务日志组的位置。

       innodb_mirrored_log_groups：表示对日志组做镜像。

 

4、查看二进制日志信息

        二进制日志也叫作变更日志，主要用于记录修改数据或有可能引起数据改变的mysql语句，并且记录了语句发生时间、执行时长、操作的数据等等。所以说通过二进制日志可以查询mysql数据库中进行了哪些变化。一般大小体积上限为1G。

mysql> show global variables like '%log_bin%';
+---------------------------------+------------------------------------------+
| Variable_name                   | Value                                    |
+---------------------------------+------------------------------------------+
| log_bin                         | ON                                       |
| log_bin_basename                | /local/server/mysql/data/mysql-bin       |
| log_bin_index                   | /local/server/mysql/data/mysql-bin.index |
| log_bin_trust_function_creators | OFF                                      |
| log_bin_use_v1_row_events       | OFF                                      |
| sql_log_bin                     | ON                                       |
+---------------------------------+------------------------------------------+
6 rows in set (0.01 sec)

 

mysql> show global variables like '%binlog%';
+-----------------------------------------+----------------------+
| Variable_name                           | Value                |
+-----------------------------------------+----------------------+
| binlog_cache_size                       | 32768                |
| binlog_checksum                         | CRC32                |
| binlog_direct_non_transactional_updates | OFF                  |
| binlog_error_action                     | IGNORE_ERROR         |
| binlog_format                           | MIXED                |
| binlog_gtid_simple_recovery             | OFF                  |
| binlog_max_flush_queue_time             | 0                    |
| binlog_order_commits                    | ON                   |
| binlog_row_image                        | FULL                 |
| binlog_rows_query_log_events            | OFF                  |
| binlog_stmt_cache_size                  | 32768                |
| binlogging_impossible_mode              | IGNORE_ERROR         |
| innodb_api_enable_binlog                | OFF                  |
| innodb_locks_unsafe_for_binlog          | OFF                  |
| max_binlog_cache_size                   | 18446744073709547520 |
| max_binlog_size                         | 1073741824           |
| max_binlog_stmt_cache_size              | 18446744073709547520 |
| simplified_binlog_gtid_recovery         | OFF                  |
| sync_binlog                             | 0                    |
+-----------------------------------------+----------------------+
19 rows in set (0.04 sec)

 

sql_log_bin ={ON|OFF}	用于控制会话级别二进制日志功能的开启或关闭。默认为ON，表示启用记录功能。用户可以在会话级别修改此变量的值，但其必须具有SUPER权限。
binlog_cache_size =32768	#默认值32768 Binlog Cache用于在打开了二进制日志（binlog）记录功能的环境，是MySQL 用来提高binlog的记录效率而设计的一个用于短时间内临时缓存binlog数据的内存区域。一般来说，如果我们的数据库中没有什么大事务，写入也不是特别频繁，2MB～4MB是一个合适的选择。但是如果我们的数据库大事务较多，写入量比较大，可与适当调高binlog_cache_size。同时，我们可以通过binlog_cache_use 以及 binlog_cache_disk_use来分析设置的binlog_cache_size是否足够，是否有大量的binlog_cache由于内存大小不够而使用临时文件（binlog_cache_disk_use）来缓存了。
binlog_stmt_cache_size= 32768	#当非事务语句使用二进制日志缓存，但是超出binlog_stmt_cache_size时，使用一个临时文件来存放这些语句。
log_bin = mysql-bin	#指定binlog的位置，默认在数据目录下。
binlog-format= {ROW|STATEMENT|MIXED}	#指定二进制日志的类型，默认为MIXED。如果设定了二进制日志的格式，却没有启用二进制日志，则MySQL启动时会产生警告日志信息并记录于错误日志中。
sync_binlog = 10	#设定多久同步一次二进制日志至磁盘文件中，0表示不同步，任何正数值都表示对二进制每多少次写操作之后同步一次。当autocommit的值为1时，每条语句的执行都会引起二进制日志同步，否则，每个事务的提交会引起二进制日志同步
max_binlog_cache_size= 32768	{4096 .. 18446744073709547520}      #二进定日志缓存空间大小，5.5.9及以后的版本仅应用于事务缓存，其上限由max_binlog_stmt_cache_size决定。
max_binlog_stmt_cache_size= 32768	{4096 .. 18446744073709547520}    #二进定日志缓存空间大小，5.5.9及以后的版本仅应用于事务缓存
expire_log_days = 0	{0..99}    #设定二进制日志的过期天数，超出此天数的二进制日志文件将被自动删除。默认为0，表示不启用过期自动删除功能。如果启用此功能，自动删除工作通常发生在MySQL启动时或FLUSH日志时。