flume flume自定义sink过滤数据库字段

flume自定义sink过滤数据库字段

  • 理论准备
  • 数据准备
  • 代码
    • java代码
    • flume配置文件
  • 官网地址

理论准备

自定义sink需要继承AbstractSink类,并实现以下3个方法

  • start()
  • process()
  • stop()

transaction
flume flume自定义sink过滤数据库字段_第1张图片

数据准备

# 创建一个数据库
CREATE DATABASE IF NOT EXISTS mysqlsource DEFAULT CHARACTER SET utf8 ;
USE mysqlsource;
#v 创建一个表,用户保存拉取目标表位置的信息
CREATE TABLE mysqlsource.flume2mysql (
  id INT(11) NOT NULL AUTO_INCREMENT,
  createTime VARCHAR(64) NOT NULL,
  content VARCHAR(255) NOT NULL,
  PRIMARY KEY (id)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

代码

java代码

/**
 * 自定义MysqlSink
 */
public class MysqlSink extends AbstractSink implements Configurable {
   
    private String mysqlurl = "";
    private String username = "";
    private String password = "";
    private String tableName = "";

    Connection con = null;

    @Override
    public Status pro

你可能感兴趣的:(flume)