mysql的binlog解析

1. binlog是什么

   mysql用于主从同步的二进制日志，主服务器数据发生更新后会把变动记录binlog文件，然后从服务器会拉取binlog文件解析，实现数据同步。
   

2. Binlog记录更新的方式

3. Statement：文件中存的是sql语句，优点是传输的数据量比较少，缺点是很难保证主从一致。比如rand（）会在不同的地方产生不同的值。
4. Row：文件中存的是更新的那一行的数据内容，优点是不会出错，缺点是传输的数据量比较大

5. Mixed：兼顾两种优点，会产生歧义的用row模式，不会产生歧义的用state模式
   我们这里要解析的是row模式的binlog，sql语句解出来对我们并没有什么用

6. 解析的目的

   针对一些需要频繁在数据库中查找的数据，在内存或者redis中维护一块缓存镜像，通过解析binlog实现镜像数据的增量同步。

7. 利用mysql内部通讯协议获取binlog

8. 拉取过程：连接mysql服务器后，发送一个请求包过去，然后就对那个socket一直不断的拉取数据。
9. 请求包的格式：3字节的包长 + 1字节的 seq + payload
10. payload

字段类型	字段名	字段说明
1	[12] COM_BINLOG_DUMP	dump命令，值为12
4	binlog-pos	请求的binglog的位置，server从这个位置开始返回数据流
2	flags	0x01表示非阻塞，没有新数据时会返回eof_packet，默认为阻塞
4	server-id	从服务器的server-id
string[EOF]	binlog-filename	请求的binglog文件名

注意：flag 设为0x00 在Maria db 表现还是为非阻塞，请在mysql上测试。

发送包的组包代码如下

int32_t bus_dump_cmd_t::write_packet(int fd)
    {
        char buf[1024];
        uint32_t bodysz = 0;
        uint32_t offset = 4;
        buf[offset] = _cmd;
        bodysz += 1;
        int4store(buf + offset + bodysz, _binlog_pos);
        bodysz += 4;
        int2store(buf + offset + bodysz, _flags);
        bodysz += 2;
        int4store(buf + offset + bodysz, _server_id);
        bodysz += 4;

        std::size_t binlog_filename_len = _binlog_filename.size();
        memcpy(buf + offset + bodysz, _binlog_filename.c_str(), binlog_filename_len);
        bodysz += binlog_filename_len;

        /* set seq id */
        buf[offset - 1] = 0x00;

        int3store(buf, bodysz);

        int ret = write(fd, buf, bodysz + 4);
        if (ret != int(bodysz + 4))
        {
            g_logger.error("write dump cmd packet fail, error:%s", strerror(errno));
            return -1;
        }
        return 0;
    }

• 返回包的格式：
• 3 字节包长 + 1字节的seq + 一字节状态码 + event
• 包长为 小端模式
• 状态码 有两个 0x00 表示后面是正常event， 0xff 表示是一个 ERR_packet，里面是一些错误信息。
• 错误包的格式

Type	Name	Description
int<1>	header	[ff] header of the ERR packet
int<2>	error_code	error-code
if capabilities & CLIENT_PROTOCOL_41 {
string[1]	sql_state_marker	marker of the SQL State
string[5]	sql_stateSQL State
}
string	error_message	human readable error message

如上图所示，有 2字节的错误码 + 6字节的状态码 + 一串错误信息

详细的代码和文档

https://github.com/liujian0616/binlogsub