【大数据技术】Flume - 基于source原理 自定义MySQL-source

代码文件目录

SQLSourceHelper

package com.laichong.source;

import org.apache.flume.Context;

import org.apache.flume.conf.ConfigurationException;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

import java.io.IOException;

import java.sql.*;

import java.text.ParseException;

import java.util.ArrayList;

import java.util.List;

import java.util.Properties;

public class SQLSourceHelper {

    private static final Logger LOG = LoggerFactory.getLogger(SQLSourceHelper.class);

    private int runQueryDelay, //两次查询的时间间隔

            startFrom,            //开始id

            currentIndex,          //当前id

            recordSixe = 0,      //每次查询返回结果的条数

            maxRow;                //每次查询的最大条数

    private String table,      //要操作的表

            columnsToSelect,    //用户传入的查询的列

            customQuery,          //用户传入的查询语句

            query,                //构建的查询语句

            defaultCharsetResultSet;//编码集

    //上下文，用来获取配置文件

    private Context context;

    //为定义的变量赋值（默认值），可在flume任务的配置文件中修改

    private static final int DEFAULT_QUERY_DELAY = 10000;

    private static final int DEFAULT_START_VALUE = 0;

    private static final int DEFAULT_MAX_ROWS = 2000;

    private static final String DEFAULT_COLUMNS_SELECT = "*";

    private static final String DEFAULT_CHARSET_RESULTSET = "UTF-8";

    private static Connection conn = null;

    private static PreparedStatement ps = null;

    private static String connectionURL, connectionUserName, connectionPassword;

    //加载静态资源

    static {

        Properties p = new Properties();

        try {

            p.load(SQLSourceHelper.class.getClassLoader().getResourceAsStream("jdbc.properties"));

            connectionURL = p.getProperty("dbUrl");

            connectionUserName = p.getProperty("dbUser");

            connectionPassword = p.getProperty("dbPassword");

            Class.forName(p.getProperty("dbDriver"));

        } catch (IOException | ClassNotFoundException e) {

            LOG.error(e.toString());

        }

    }

    //获取JDBC连接

    private static Connection InitConnection(String url, String user, String pw) {

        try {

            Connection conn = DriverManager.getConnection(url, user, pw);

            if (conn == null)

                throw new SQLException();

            return conn;

        } catch (SQLException e) {

            e.printStackTrace();

        }

        return null;

    }

    //构造方法

    SQLSourceHelper(Context context) throws ParseException {

        //初始化上下文

        this.context = context;

        //有默认值参数：获取flume任务配置文件中的参数，读不到的采用默认值

        this.columnsToSelect = context.getString("columns.to.select", DEFAULT_COLUMNS_SELECT);

        this.runQueryDelay = context.getInteger("run.query.delay", DEFAULT_QUERY_DELAY);

        this.startFrom = context.getInteger("start.from", DEFAULT_START_VALUE);

        this.defaultCharsetResultSet = context.getString("default.charset.resultset", DEFAULT_CHARSET_RESULTSET);

        //无默认值参数：获取flume任务配置文件中的参数

        this.table = context.getString("table");

        this.customQuery = context.getString("custom.query");

        connectionURL = context.getString("connection.url");

        connectionUserName = context.getString("connection.user");

        connectionPassword = context.getString("connection.password");

        conn = InitConnection(connectionURL, connectionUserName, connectionPassword);

        //校验相应的配置信息，如果没有默认值的参数也没赋值，抛出异常

        checkMandatoryProperties();

        //获取当前的id

        currentIndex = getStatusDBIndex(startFrom);

        //构建查询语句

        query = buildQuery();

    }

    //校验相应的配置信息（表，查询语句以及数据库连接的参数）

    private void checkMandatoryProperties() {

        if (table == null) {

            throw new ConfigurationException("property table not set");

        }

        if (connectionURL == null) {

            throw new ConfigurationException("connection.url property not set");

        }

        if (connectionUserName == null) {

            throw new ConfigurationException("connection.user property not set");

        }

        if (connectionPassword == null) {

            throw new ConfigurationException("connection.password property not set");

        }

    }

    //构建sql语句

    private String buildQuery() {

        String sql = "";

        //获取当前id

        currentIndex = getStatusDBIndex(startFrom);

        LOG.info(currentIndex + "");

        if (customQuery == null) {

            sql = "SELECT " + columnsToSelect + " FROM " + table;

        } else {

            sql = customQuery;

        }

        StringBuilder execSql = new StringBuilder(sql);

        //以id作为offset

        if (!sql.contains("where")) {

            execSql.append(" where ");

            execSql.append("id").append(">").append(currentIndex);

            return execSql.toString();

        } else {

            int length = execSql.toString().length();

            return execSql.toString().substring(0, length - String.valueOf(currentIndex).length()) + currentIndex;

        }

    }

    //执行查询

    List> executeQuery() {

        try {

            //每次执行查询时都要重新生成sql，因为id不同

            customQuery = buildQuery();

            //存放结果的集合

            List> results = new ArrayList<>();

            if (ps == null) {

                //

                ps = conn.prepareStatement(customQuery);

            }

            ResultSet result = ps.executeQuery(customQuery);

            while (result.next()) {

                //存放一条数据的集合（多个列）

                List