mysql-mysqlbinlog的使用详解
一、背景
二进制日志在MySQL数据库中有着至关重要的作用，而读取二进制日志的工具就显得同样重要了，官方的mysqlbinlog就是读取二进制日志的工具，这里就结合官网和自己的实践整理一下
（PS: 最近总在学习新知识，担心老的知识不用会忘，所以梳理一下，新欢旧爱都要宠着）
二、介绍
1.参数简介
| Option Name | Description | Introduced | Deprecated |
|---|---|---|---|
| --base64-output | 此选项确定何时使用BINLOG语句将事件显示为以base-64字符串编码 。该选项具有以下允许值（不区分大小写）：
|
||
| --bind-address | 在具有多个网络接口的计算机上，使用此选项选择用于连接到MySQL服务器的接口 | ||
| --binlog-row-event-max-size | 指定基于行的二进制日志事件的最大大小，以字节为单位。如果可能，将行分组为小于此大小的事件。该值应为256的倍数。默认值为4GB | ||
| --character-sets-dir | 字符集的安装目录 | ||
| --connection-server-id | 此选项用于测试MySQL服务器是否支持 该选项的有效默认值和最小值取决于mysqlbinlog是在阻塞模式还是非阻塞模式下运行。当 mysqlbinlog在阻塞模式下运行时，默认值（最小值）为1；默认值为1。在非阻塞模式下运行时，默认值（和最小值）为0。 |
||
| --database | 仅列出该数据库的条目，如果二进制格式是基于语句的，那么只有显示use db_name及下面的语句可以输出，而insert test.tab_name的语句并不会输出，而选择基于行模式的二进制格式，则会输出该库下表的修改，不过你用的是何种形式的sql，有没有使用use | ||
| --debug | 编写调试日志, | ||
| --debug-check | 程序退出时，打印一些调试信息。 | ||
| --debug-info | 程序退出时，打印调试信息以及内存和CPU使用情况统计信息。 | ||
| --default-auth | 有关使用哪个客户端身份验证插件的提示 | ||
| --defaults-extra-file | 在全局选项文件之后但在用户选项文件之前（在Unix上）读取此选项文件。如果文件不存在或无法访问，则发生错误。如果 file_name不是绝对路径名，则相对于当前目录进行解释 |
||
| --defaults-file | 仅使用给定的选项文件。如果文件不存在或无法访问，则发生错误。 | ||
| --defaults-group-suffix | 不仅阅读常规选项组，而且阅读具有常规名称和后缀的组 | ||
| --disable-log-bin | 禁用二进制日志记录 | ||
| --exclude-gtids | 不要显示gtid_set中列出的任何组 |
||
| --force-if-open | 读取二进制日志文件，即使它们已打开或未正确关闭 | ||
| --force-read | 使用此选项，如果mysqlbinlog读取了它无法识别的二进制日志事件，它将打印警告，忽略该事件，然后继续。如果没有此选项，则mysqlbinlog会在读取到此类事件时停止。 | ||
| --get-server-public-key | 从服务器请求基于RSA密钥对的密码交换所需的公共密钥。此选项适用于使用caching_sha2_password身份验证插件进行身份验证的客户端 。对于该插件，除非请求，否则服务器不会发送公钥。对于未使用该插件进行身份验证的帐户，将忽略此选项。如果不使用基于RSA的密码交换，也将被忽略， |
5.7.23 | |
| --help | Display help message and exit | ||
| --hexdump | 显示日志注释的十六进制转储 | ||
| --host | 从给定主机上的MySQL服务器获取二进制日志 | ||
| --idempotent | 告诉MySQL服务器在处理更新时使用幂等模式 | ||
| --include-gtids | 仅显示gtid_set中列出的组 |
||
| --local-load | 对于与LOAD DATA语句相对应的数据加载操作 ， mysqlbinlog从二进制日志事件中提取文件，将它们作为临时文件写入本地文件系统，并编写 LOAD DATA LOCAL语句以导致文件被加载。默认情况下，mysqlbinlog将这些临时文件写入特定于操作系统的目录。该--local-load选项可用于显式指定mysqlbinlog应该在其中 准备本地临时文件的目录 | ||
| --login-path | 从.mylogin.cnf登录路径文件中的命名登录路径读取选项 |
||
| --no-defaults | 不要读取任何选项文件,如果使用时有如下报错mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8'可以使用该选项绕过 | ||
| --offset | 跳过日志中的N个条目 | ||
| open_files_limit | 指定要保留的打开文件描述符的数量。 | ||
| --password | 用于连接服务器的MySQL帐户的密码。密码值是可选的。如果未给出，则 mysqlbinlog提示输入一个。如果给出，则--password=或 -p与后面的密码之间 必须没有空格。如果未指定密码选项，则默认为不发送密码 |
||
| --plugin-dir | 在其中查找插件的目录 | ||
| --port | 用于连接到远程服务器的TCP / IP端口号。 | ||
| --print-defaults | 打印程序名称及其从选项文件中获得的所有选项。 | ||
| --protocol | 用于连接到服务器的传输协议 | ||
| --raw | 默认情况下，mysqlbinlog读取二进制日志文件并以文本格式写入事件。 --raw选项告诉mysqlbinlog以其原始二进制格式编写它们。 它的使用要求也使用--read-from-remote-server，因为文件是从服务器请求的。 mysqlbinlog为从服务器读取的每个文件写一个输出文件。 --raw选项可用于备份服务器的二进制日志。 使用--stop-never选项，备份是在线的，因为mysqlbinlog保持与服务器的连接。 默认情况下，输出文件将以与原始日志文件相同的名称写入当前目录。 可以使用--result-file选项修改输出文件名。 | ||
| --read-from-remote-master | 通过将选项值分别设置为BINLOG-DUMP-NON-GTIDS或BINLOG-DUMP-GTIDS，分别使用COM_BINLOG_DUMP或COM_BINLOG_DUMP_GTID命令从MySQL服务器读取二进制日志。 如果将--read-from-remote-master = BINLOG-DUMP-GTIDS与--exclude-gtids结合使用，则可以在源上过滤掉事务，从而避免不必要的网络流量。 连接参数选项与此选项或--read-from-remote-server选项一起使用。 这些选项是--host，--password，--port，--protocol，--socket和--user。 如果两个远程选项均未指定，则连接参数选项将被忽略。 使用此选项需要REPLICATION SLAVE特权。 |
||
| --read-from-remote-server | 从MySQL服务器读取二进制日志，而不是读取本地日志文件。此选项要求远程服务器正在运行。它仅适用于远程服务器上的二进制日志文件，不适用于中继日志文件。 | ||
| --result-file | 如果没有--raw选项，则此选项指示mysqlbinlog将文本输出写入到的文件。 使用--raw，mysqlbinlog为从服务器传输的每个日志文件写入一个二进制输出文件，默认情况下使用与原始日志文件相同的名称将它们写入当前目录。 在这种情况下，--result-file选项值被视为修改输出文件名的前缀。 | ||
| --rewrite-db | 从基于行或基于语句的日志中读取时，请将所有出现的from_name重写为to_name。 对于基于行的日志，对行进行重写；对于基于语句的日志，对USE子句进行重写。 在5.7.8之前的MySQL版本中，此选项仅在还原使用基于行的格式记录的表时使用。 警告 如前所述，用作此选项值的重写规则是形式为'from_name-> to_name'的字符串，因此必须用引号将其引起来。 与--database选项一起使用时，--rewrite-db选项将首先应用； 然后使用重写的数据库名称应用--database选项。 在这方面，提供选项的顺序没有区别。 |
||
| --secure-auth | 不要以旧（4.1之前）格式将密码发送到服务器。这样可以防止除使用较新密码格式的服务器以外的其他连接。 从MySQL 5.7.5开始，此选项已被弃用 |
Yes | |
| --server-id | 仅显示由具有给定服务器ID的服务器创建的事件 | ||
| --server-id-bits | 仅使用server_id的前N位来标识服务器。 如果二进制日志是由mysqld编写的，其中server-id-bits设置为小于32，并且用户数据存储在最高有效位中，则在mysqlbinlog中将--server-id-bits设置为32，可以看到此数据。 NDB Cluster发行版随附提供或从NDB Cluster源构建的mysqlbinlog版本仅支持此选项。 |
||
| --server-public-key-path | PEM格式的文件的路径名，其中包含服务器用于基于RSA密钥对的密码交换所需的公用密钥的客户端副本。 此选项适用于使用sha256_password或caching_sha2_password身份验证插件进行身份验证的客户端。 对于未通过这些插件之一进行身份验证的帐户，将忽略此选项。 如果不使用基于RSA的密码交换，也将被忽略，例如客户端使用安全连接连接到服务器时。 如果给出了--server-public-key-path = file_name并指定了有效的公钥文件，则它优先于--get-server-public-key。 对于sha256_password，仅当使用OpenSSL构建MySQL时，此选项才适用。 |
5.7.23 | |
| --set-charset | 在输出中 添加一条语句，以指定用于处理日志文件的字符集。 SET NAMES charset_name | ||
| --shared-memory-base-name | 在Windows上，共享内存名称，用于使用共享内存与本地服务器建立的连接。默认值为 仅当在shared_memory启用了支持共享内存连接的系统变量的情况下启动服务器时，此选项才适用 。 |
||
| --short-form | 仅显示日志中包含的语句，而没有任何其他信息或基于行的事件。这仅用于测试，不应在生产系统中使用。 | ||
| --skip-gtids | 不要在输出中显示任何GTID。 从一个或多个包含GTID的二进制日志写入转储文件时，这是必需的 | ||
| --socket | Unix socket file or Windows named pipe to use | ||
| --ssl | Enable connection encryption | ||
| --ssl-ca | File that contains list of trusted SSL Certificate Authorities | ||
| --ssl-capath | Directory that contains trusted SSL Certificate Authority certificate files | ||
| --ssl-cert | File that contains X.509 certificate | ||
| --ssl-cipher | Permissible ciphers for connection encryption | ||
| --ssl-crl | File that contains certificate revocation lists | ||
| --ssl-crlpath | Directory that contains certificate revocation-list files | ||
| --ssl-key | File that contains X.509 key | ||
| --ssl-mode | Desired security state of connection to server | 5.7.11 | |
| --ssl-verify-server-cert | Verify host name against server certificate Common Name identity | ||
| --start-datetime | 开始时间 | ||
| --start-position | 开始pos点 | ||
| --stop-datetime | 结束时间 | ||
| --stop-never | 此选项与--read-from-remote-server一起使用。 它告诉mysqlbinlog保持与服务器的连接。 否则，当从服务器传输了最后一个日志文件时，mysqlbinlog将退出。 --stop-never意味着--to-last-log，因此仅需要在命令行上命名要传输的第一个日志文件。 --stop-never通常与--raw一起使用以进行实时二进制日志备份，但也可以不与--raw一起使用，以在服务器生成日志事件时保持日志事件的连续文本显示。 |
||
| --stop-never-slave-server-id | 使用--stop-never，mysqlbinlog在连接到服务器时报告服务器ID 65535。 --stop-never-slave-server-id明确指定要报告的服务器ID。 它可以用来避免与副本服务器或另一个mysqlbinlog进程的ID发生冲突。 | ||
| --stop-position | 结束pos点 | ||
| --tls-version | 允许的TLS协议进行加密连接。 该值是一个或多个逗号分隔的协议名称的列表。 可以为此选项命名的协议取决于用于编译MySQL的SSL库 | 5.7.10 | |
| --to-last-log | 不要在从MySQL服务器请求的二进制日志的结尾处停止，而要继续打印直到最后一个二进制日志的结尾。 如果将输出发送到同一MySQL服务器，则可能导致无限循环。 此选项需要--read-from-remote-server。 | ||
| --user | 连接到远程服务器时要使用的MySQL帐户的用户名。 | ||
| --verbose | 重建行事件，并将其显示为带注释的SQL语句。如果两次给出此选项（通过传递“ -vv”或“ --verbose --verbose”），则输出将包含指示列数据类型和某些元数据的注释，以及行查询日志事件（如果已配置）。 | ||
| --verify-binlog-checksum | 验证二进制日志文件中的校验和。 | ||
| --version | 显示版本信息并退出。 |
2.重要参数的相关演示
2.1 截取位置相关参数
# 参数：--start-datetime,--stop-datetime,--start-position,--stop-position,--database
# 示例
mysqlbinlog --start-position=194 mysql-bin.000021
# 有些同学可能发现即使我们指定了起始的pos点，但是日志仍然是从4开始的，这是为什么呢，可能影响的原因是我们的二进制日志格式为row,那么我们就需要加上--base64-output=decode-rows这个参数选项
mysqlbinlog --start-position=194 --base64-output=decode-rows mysql-bin.000021
# 如此一来，你会发现这时候的pos点已经从194开始了
mysqlbinlog --start-datetime='2021-04-08 09:23:55' --base64-output=decode-rows mysql-bin.000022
# 起始时间和结束时间也同理,那如果start-position和start-datetime同时存在会怎么样呢，实践证明会取更靠后的选项，即时间的位置更靠后取时间，pos点的位置更靠后则取pos点
mysqlbinlog --start-position=3983 --start-datetime='2021-04-08 09:25:27' --base64-output=decode-rows -vv mysql-bin.000022
结果如下图：
# 反过来，--stop-position和--stop-datetime同时存在的时候则是取更靠前的，即指定的时间在文件中更靠前则取时间，pos点在文件中更靠前则取pos点
mysqlbinlog --stop-position=2945 --stop-datetime='2021-04-08 09:21:58' --base64-output=decode-rows -vv mysql-bin.000022结果如下图：
2.2 输出格式相关参数
# 参数：--base64-output，--verbose
# 现在的二进制基本都是采用row格式，官方也是推荐的row格式，所以这两个参数就显得极为重要了，接下来就演示下这两个参数的意义，原始什么参数都不加的
mysqlbinlog --start-position=2111 --stop-position=2212 mysql-bin.000022
结果如下图
# 可以看到结果并不是你想看到的，至少不是我想看到的，如果你的眼睛自带编译解码等功能，那当我没有说，然后我们接下来加上--base64-output参数
mysqlbinlog --start-position=2111 --stop-position=2212 --base64-output=decode-rows mysql-bin.000022结果如下图
# 我们可以看到上图已经看不到乱码了，但是我们依然不知道这个二进制在表达着什么，那么我们再加上-vv
mysqlbinlog --start-position=2111 --stop-position=2212 --base64-output=decode-rows -vv mysql-bin.000022结果如下图：
此时我们已经清楚的知道了段时间的数据库发生了什么事件了
2.3 db相关参数
# 参数：--database，--rewrite-db
mysqlbinlog --start-position=2111 --stop-position=2212 --base64-output=decode-rows -vv --database=binlog_test1 mysql-bin.000022
mysqlbinlog --start-position=2111 --stop-position=2212 --base64-output=decode-rows -vv --database=binlog_test2 --rewrite-db "binlog_test1->binlog_test2" mysql-bin.0000223.常用范例
3.1 从远程服务器拽取二进制日志
mysqlbinlog --read-from-remote-server mysql-bin.123 --host=192.168.1.1 --port=3306 -vv --base64-output=decode-rows --user user --password > binlog.123想到一个补一个吧
官网链接：MySQL :: MySQL 5.7 Reference Manual :: 4.6.7 mysqlbinlog — Utility for Processing Binary Log Files