mysql 的binlog使用（二）

在binlog中的数据类型

log_name	pos	event	serverid	endlogpos	info
mysql-bin.000025	364	Query	1	437	begin
mysql-bin.000025	437	Query	1	602	DELETE FROM **(对应sql)
mysql-bin.000025	602	Xid	1	629	COMMIT /* xid=48 */

总得来说，虽然结构明显，但是多条数据凑合起来才能算一个操作，不是很好统计； 虽然python-mysql-replication的出现可以稍微处理一下，但是毕竟还是偏底层了一点；

因此我又发现了一个堪称神奇的东西：maxwell’s deamon;
虽然查询资料的时候，老是查到伟大物理学家麦克斯韦的订立，但是这丝毫不影响我继续将这个工具用下去的决心；

应用

• 标准输出如下：

标准输出
./maxwell --user='root' --password='ZTj8tInzrmXjpt0v'  --host='106.75.147.184' --producer=stdout

它支持很多种消息工具：比如Kafka ，Kinesis ， Google Cloud Pub/Sub ，RabbitMQ ，Redis；官网上说，它对kafka的支持是最好的，但是这里我觉得适合自己才是最好的；
一次采用redis的pub,sub;

• 输出到redis的pub:

输出到redis
./maxwell --user='root' --password='ZTj8tInzrmXjpt0v'  --host='host' --producer=redis --redis_host='redis.hostname' ----redis_pub_channel="first"

--redis_host                        Host of Redis server                                                                              
--redis_port                        Port of Redis server                                                                              
--redis_auth                        Authentication key for a password-protected Redis server                                          
--redis_database                    Database of Redis server                                                                          
--redis_pub_channel                 Redis Pub/Sub channel for publishing records                                                      
--redis_list_key                    Redis LPUSH List Key for adding to a queue                                                        
--redis_type                        Selects either Redis Pub/Sub or LPUSH. Default to Pub/Sub    

处理后的字段含义

• “type”:”insert”, 最常见的是你会在这里看到插入/更新/删除。如果你引导一个表格，你会看到“bootstrap-insert”，而DDL语句（稍后解释）有它们自己的类型。
  • ”xid”:23396, 这是InnoDB与该行关联的交易的“交易ID”。在服务器的生命周期内它是唯一的，就我所知。

  • “server_id”:23042, 接受此事务的服务器的mysql server_id。

  • “thread_id”:108, thread_id或多或少是生成数据的客户端连接的唯一标识符。

  • “commit”:true,

  如果您需要在流处理器中重新组装事务，则可以使用此字段并xid执行此操作。数据将如下所示：

  没有commit，xid = 142
  没有commit，xid = 142
  行commit=true，xid = 142
  没有commit，xid = 155

插入操作的处理效果

mysql> insert into test.e set m = 4.2341, c = now(3), comment = 'I am a creature of light.';
{
   "database":"test",
   "table":"e",
   "type":"insert",
   "ts":1477053217,
   "xid":23396,
   "commit":true,
   "position":"master.000006:800911",
   "server_id":23042,
   "thread_id":108,
   "data":{
      "id":1,
      "m":4.2341,
      "c":"2016-10-21 05:33:37.523000",
      "comment":"I am a creature of light."
   }
}

更新操作的处理效果：

mysql> update test.e set m = 5.444, c = now(3) where id = 1;
{
   "database":"test",
   "table":"e",
   "type":"update",
   "ts":1477053234,
   ...
   "data":{
      "id":1,
      "m":5.444,
      "c":"2016-10-21 05:33:54.631000",
      "comment":"I am a creature of light."
   },
   "old":{
      "m":4.2341,
      "c":"2016-10-21 05:33:37.523000"
   }
}