Flink结合canal同步数据

企业运维的数据库最常见的是mysql；但是mysql有个缺陷：当数据量达到千万条的时候，mysql的相关操作会变的非常迟缓；

如果这个时候有需求需要实时展示数据；对于mysql来说是一种灾难；而且对于mysql来说，同一时间还要给多个开发人员和用户操作；

所以经过调研，将mysql数据实时同步到hbase中；

最开始使用的架构方案：

Mysql---logstash—kafka---sparkStreaming---hbase---web

Mysql—sqoop---hbase---web

但是无论使用logsatsh还是使用kafka，都避免不了一个尴尬的问题：

他们在导数据过程中需要去mysql中做查询操作：

比如logstash：

 

比如sqoop：

不可避免的，都需要去sql中查询出相关数据，然后才能进行同步；这样对于mysql来说本身就是增加负荷操作；

所以我们真正需要考虑的问题是：有没有什么方法，能将mysql数据实时同步到hbase；但是不增加mysql的负担；

答案是有的：可以使用canal或者maxwell来解析mysql的binlog日志

那么之前的架构就需要改动了：

Mysql---canal—kafka—flink—hbase—web

开发

     第一步：开启mysql的binlog日志

    Mysql的binlog日志作用是用来记录mysql内部增删等对mysql数据库有更新的内容的记录（对数据库的改动），对数据库的查询select或show等不会被binlog日志记录;主要用于数据库的主从复制以及增量恢复。

mysql的binlog日志必须打开log-bin功能才能生存binlog日志

-rw-rw---- 1 mysql mysql   669 8月  10 21:29 mysql-bin.000001

-rw-rw---- 1 mysql mysql   126 8月  10 22:06 mysql-bin.000002

-rw-rw---- 1 mysql mysql 11799 8月  15 18:17 mysql-bin.000003

修改/etc/my.cnf,在里面添加如下内容

[mysqld]

log-bin=/var/lib/mysql/mysql-bin    【binlog日志存放路径】

binlog-format=ROW     【日志中会记录成每一行数据被修改的形式】

server_id=1   【指定当前机器的服务ID（如果是集群，不能重复）】

配置完毕之后，登录mysql，输入如下命令：

show variables like ‘%log_bin%’

出现如下形式，代表binlog开启；

 

第二步：安装canal

    Canal介绍

   canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。

   起源：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

工作原理

原理相对比较简单：

1、canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议

2、mysql master收到dump请求，开始推送binary log给slave(也就是canal)

3、canal解析binary log对象(原始为byte流)

使用canal解析binlog，数据落地到kafka

(1):解压安装包：canal.deployer-1.0.23.tar.gz

tar -zxvf canal.deployer-1.0.23.tar.gz -C /export/servers/canal

修改配置文件：

vim /export/servers/canal/conf/example/instance.properties

 

(2):编写canal代码

     仅仅安装了canal是不够的；canal从架构的意义上来说相当于mysql的“从库”，此时还并不能将binlog解析出来实时转发到kafka上，因此需要进一步开发canal代码；

Canal已经帮我们提供了示例代码，只需要根据需求稍微更改即可；

Canal提供的代码：

https://github.com/alibaba/canal/wiki/ClientExample

上面的代码中可以解析出binlog日志，但是没有将数据落地到kafka的代码逻辑，所以我们还需要添加将数据落地kafka的代码；

Maven导入依赖：

  com.alibaba.otter

  canal.client

  1.0.25









  org.apache.kafka

  kafka_2.11

  0.9.0.1

Canal代码：

import com.alibaba.otter.canal.client.CanalConnector;

  import com.alibaba.otter.canal.client.CanalConnectors;

  import com.alibaba.otter.canal.protocol.CanalEntry;

  import com.alibaba.otter.canal.protocol.Message;

  import com.google.protobuf.InvalidProtocolBufferException;

  

  import java.net.InetSocketAddress;

  import java.util.ArrayList;

  import java.util.List;

  import java.util.UUID;

  

  /**

 * Created by angel；

 */

  public class Canal_Client {

    public static void main(String[] args) {

        //TODO 1:连接cnnal

        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("hadoop01" , 11111) , "example" , "root" , "root");

        int batchSize = 100 ;

        int emptyCount = 1 ;

        try{

            connector.connect();

            connector.subscribe(".*\\..*");

            connector.rollback();

            int totalEmptyCount = 120 ;

            while (totalEmptyCount > emptyCount){

                final Message message = connector.getWithoutAck(batchSize);

                final long batchid = message.getId();

                final int size = message.getEntries().size();

                if(batchid == -1 || size ==0){

                    System.out.println("暂时没有数据 :"+emptyCount);

                    try {

                        Thread.sleep(1000);

                    } catch (InterruptedException e) {

                        e.printStackTrace();

                    }

                }else{

                    //TODO 解析binlog

                    Analysis(message.getEntries() , emptyCount);

                    emptyCount++;

                }

            }

        }catch(Exception e){

            e.printStackTrace();

        }finally {

            connector.disconnect();

        }

  

    }

    //TODO 3：将解析出来的数据区分好：增 删 改 发送到kafka

    public static void Analysis(List entries , int emptyCount){

        for(CanalEntry.Entry entry : entries){

            if(entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN || entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND){

                continue;

            }

            try {

                final CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(entry.getStoreValue());

                final CanalEntry.EventType eventType = rowChange.getEventType();

                final String logfileName = entry.getHeader().getLogfileName();

                final long logfileOffset = entry.getHeader().getLogfileOffset();

                final String dbname = entry.getHeader().getSchemaName();

                final String tableName = entry.getHeader().getTableName();

                for(CanalEntry.RowData rowData : rowChange.getRowDatasList()){

                    //区分增删改操作，然后发送给kafka

                    if(eventType == CanalEntry.EventType.DELETE){

                        //删除操作

                        System.out.println("=======删除操作=======");

                        dataDetails(rowData.getAfterColumnsList() , logfileName , logfileOffset , dbname , tableName , emptyCount);

                    }else if (eventType == CanalEntry.EventType.INSERT){

                        //插入操作

                        System.out.println("=======插入操作=======");

                        dataDetails(rowData.getAfterColumnsList() , logfileName , logfileOffset , dbname , tableName , emptyCount);

                    }else {

                        //更改操作

                        System.out.println("=======更改操作=======");

                        dataDetails(rowData.getAfterColumnsList() , logfileName , logfileOffset , dbname , tableName , emptyCount);

  

                    }

                }

            } catch (InvalidProtocolBufferException e) {

                e.printStackTrace();

            }

        }

    }

    public static void dataDetails(List columns , String fileName , Long offset , String DBname , String tableName , int emptyCount){

        List