Sqoop将Oracle数据导入Hbase

Sqoop将Oracle数据导入Hbase

系统环境

Hadoop集群机器3台，操作系统均为CentOS 7.2，CDH 5.12.0

拷贝Oracle的jar包

将ojdbc6.jar放到 /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/sqoop/lib

测试数据库连接情况

sqoop list-tables --connect jdbc:oracle:thin:@192.168.1.12:1521:orcl --username test --password test

能显示出Oracle数据库中的表名表示连接成功

导入表数据

sqoop import --append --connect jdbc:oracle:thin:@192.168.1.12:1521:orcl --username test --password test --table B --hbase-create-table --hbase-table testb --hbase-row-key b1 --column-family personinfo --m 1

查看导入的数据

hbase shell
scan 'testb'

注：特殊参数说明

• –append：表示追加导入。
  此外如果不添加此参数，就必须增加一个–columns参数指明需要导入的列名
• –table：需要导入的Oracle表名
  如果小写执行报错提示找不到表，改为大写执行一般即可
• –hbase-create-table：需要在Hbase中新建表
  如果–hbase-table中的表已经建过可以不加此参数
• -m：map数量
  如果值大于1，需要增加–split-by参数指明按那些字段切分