StreamSets从MySQL增量更新到Hive

所有的配置都采用图文的形式,希望小伙伴会喜欢^_^

环境准备:

5.5.56-MariaDB

HDP-2.6.3.0-Hive-1.2.1000

HDP-2.6.3.0-HDFS- 2.7.3

1.第一步,点击创建新的管道流create new pipeline:

StreamSets从MySQL增量更新到Hive_第1张图片

2.第二步,随便写一个标题和描述

StreamSets从MySQL增量更新到Hive_第2张图片

3.配置错误日志输入路径,这里配置到本地的/usr/local/data/streamsets_errorlog(需要自己创建,在你安装StreamSets机器的目录下)

StreamSets从MySQL增量更新到Hive_第3张图片

StreamSets从MySQL增量更新到Hive_第4张图片

4.添加jdbc查询

StreamSets从MySQL增量更新到Hive_第5张图片

我这里的配置是,数据库是test,表是user,自增长的键是id:

StreamSets从MySQL增量更新到Hive_第6张图片

StreamSets从MySQL增量更新到Hive_第7张图片

StreamSets从MySQL增量更新到Hive_第8张图片

StreamSets从MySQL增量更新到Hive_第9张图片

5.部署完毕,可以进行一下校验

StreamSets从MySQL增量更新到Hive_第10张图片

StreamSets从MySQL增量更新到Hive_第11张图片

6.可以进行预览一下

StreamSets从MySQL增量更新到Hive_第12张图片

7.最后启动jdbc

StreamSets从MySQL增量更新到Hive_第13张图片

8.添加Hive Metadata

选择All Stages ,输入hive

StreamSets从MySQL增量更新到Hive_第14张图片

9.填写hive数据库和hive的表,如果没有分区,要把Partition Configuration删掉

StreamSets从MySQL增量更新到Hive_第15张图片

10.数据选择Avro格式

StreamSets从MySQL增量更新到Hive_第16张图片

11. 将Hive Metadata 输出到 HiveMetastore

StreamSets从MySQL增量更新到Hive_第17张图片

12.同样参考hive metadata

StreamSets从MySQL增量更新到Hive_第18张图片

13. 将Hive Metadata的data 输出到HDFS 上

StreamSets从MySQL增量更新到Hive_第19张图片

StreamSets从MySQL增量更新到Hive_第20张图片

StreamSets从MySQL增量更新到Hive_第21张图片

StreamSets从MySQL增量更新到Hive_第22张图片

StreamSets从MySQL增量更新到Hive_第23张图片

最后,欢迎热爱技术的小伙伴加入我们的聊天群qq:715115302

你可能感兴趣的:(大数据,hdfs,hadoop,StreamSet,hive,MySql)