使用datax的RDBMSReader抽取hive表

datax简介

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

RDBMSReader介绍

RDBMSReader插件实现了从RDBMS读取数据。在底层实现上，RDBMSReader通过JDBC连接远程RDBMS数据库，并执行相应的sql语句将数据从RDBMS库中SELECT出来。目前支持达梦、db2、PPAS、Sybase数据库的读取。RDBMSReader是一个通用的关系数据库读插件，您可以通过注册数据库驱动等方式增加任意多样的关系数据库读支持。

为什么用rdbms的方式读hive

datax本身没有提供hive支持，他是通过hdfs的方式进行抽取的，但这种方式对我来说不是很方便。

实操

第1步，下载datax到本地，并解压

我是在Linux上操作的，命令如下：
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

tar -zxvf datax.tar.gz

第2步，下载hive驱动

我用的是cdh集群，上Cloudera manager官方文档找到hive jdbc驱动安装页面https://docs.cloudera.com/documentation/enterprise/latest/topics/hive_jdbc_odbc_driver_install.html

image.png

点击进入下载页面，选择适合自己的版本，鼠标右键复制链接，到Linux进行下载并解压

image.png

#进入上面解压好的datax的rdbmsreader插件的libs目录下
cd datax/plugin/reader/rdbmsreader/libs
#在Linux上用刚才复制的链接下载驱动
wget https://downloads.cloudera.com/connectors/ClouderaHiveJDBC-2.6.10.1012.zip
#解压到当前目录
unzip ClouderaHiveJDBC-2.6.10.1012.zip
#然后从解压后的目录中找到hive驱动jar包HiveJDBC41.jar，复制到libs目录
cp ClouderaHiveJDBC-2.6.10.1012/ClouderaHiveJDBC41-2.6.10.1012/HiveJDBC41.jar  ./

第3步，修改plugin.json文件

cd  datax/plugin/reader/rdbmsreader
vim plugin.json

在文件中加入hive驱动org.apache.hive.jdbc.HiveDriver

{
    "name": "rdbmsreader",
    "class": "com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader",
    "description": "useScene: prod. mechanism: Jdbc connection using the database, execute select sql, retrieve data from the ResultSet. warn: The more you know about the database, the less problems you encounter.",
    "developer": "alibaba",
    "drivers":["com.cloudera.impala.jdbc41.Driver","dm.jdbc.driver.DmDriver", "com.sybase.jdbc3.jdbc.SybDriver", "com.edb.Driver", "ru.yandex.clickhouse.ClickHouseDriver", "org.apache.hive.jdbc.HiveDriver"]
}

第4步，编写job文件

我们创建一个json文件，读取数据源为hive，抽取之后将结果打印出来即可。

cd  datax/job
vim hive_rdbms.json

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "rdbmsreader",
                    "parameter": {
                        "username": "default",
                        "password": "default",
                        "column": [
                            "*"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "bank_data"
                                ],
                                "jdbcUrl": [
                                    "jdbc:hive2://ip:10000/default"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "fieldDelimiter": "\t",
                        "print": "true"
                    }
                }
            }
        ]
    }
}

第5步，启动抽取任务进行验证

进入bin目录下执行启动命令

cd datax/bin
python datax.py ../job/hive_rdbms.json

表数据打印到控制台，到此我们验证成功

image.png