StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流

主要介绍第一个工作流的创建、预览、启动过程,这条数据流将本地文件中的数据进行处理,最终将处理过的数据存放到本地磁盘上(streamsets 运行在CentOS7上)。

1 数据准备阶段

  在本地磁盘的/tmp目录下新建一个inputdatas 目录,并将我们准备好的数据放置到该目录下,这里我们准备了一个json文件,再在/tmp目录下新建一个outputdatas用于存放处理后的数据。

2 数据流设计阶段

(1)新建一个数据流,填写数据流名字、描述信息、定义一个标签信息。选择数据流类型为Data Collect Pipeline,点击Save按钮。

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第1张图片

  (2)完成第一步会进入数据流设计界面,如下图:

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第2张图片

(3)首先从下图中的两个区域选择一个数据源插件,用于将外部数据源中的数据输入到Streamsets  中,这里我们选择一个简单的文件目录插件,并配置该插件,设置读取的文件目录、文件类型、输入到streamsets 中的文件格式,其他的配置参数先默认。

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第3张图片

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第4张图片

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第5张图片

(4)从组件区,选择一个数据处理插件,这里选择JavaScript插件,并编写js脚本(将字段plugins中的每个记录),将上一个插件的输出和该插件的输入进行连接:

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第6张图片

(5)再选择一个数据处理插件,将记录中不包含data字段的数据过滤掉,并将name字段为host的记录保留下来,最后将上一个插件的输出和该插件的输入进行连接:

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第7张图片

(6)将满足条件1的数据记录进一步处理,不满足条件1的数据记录扔了;从组件选择区选择一个记录过滤插件和一个垃圾桶插件,并将上一个插件的1输出连接记录过滤插件,2输出连接垃圾桶插件;

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第8张图片

配置记录过滤插件,保留记录中的三个字段:

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第9张图片

(7)选择一个记录展开字段,将记录中/data字段的数据平铺

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第10张图片

(8)再选择一个表达式插件,进行缺失值补充:

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第11张图片

(9)从组件选择区将数据输出组件(这里选择本地文件系统插件)拖拉到数据流设计区,并配置数据处理目录和设置好数据输出格式,最后将处理好的数据存储在本地磁盘上:

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第12张图片

3 数据流配置、验证和预览

(1)配置数据流,先选择数据流配置界面

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第13张图片

在工作流配置区配置工作流,可以先默认配置,若是有别的需求,可以根据需求配置数据流。

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第14张图片

(2)数据流验证和预览:点击小红框处,验证数据流

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第15张图片

数据流验证成功后,点击数据流控制区的‘眼睛’按钮进行数据预览,可以进行单个组件的数据输入和输出和多个组件的数据对比。

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第16张图片

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第17张图片

4 数据流启动与监控

点击‘start’按钮启动工作流

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第18张图片

启动数据流后可监控整数据流的数据处理效率,或监控单独组件的数据处理效率。

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第19张图片

StreamSets实战之路(五)-基础篇- StreamSets开启第一个数据流_第20张图片

Streamsets实战之路正在更新中,尽情期待!!!

 

此文章为博主原创,转载请标明出处和原始链接,谢谢。

你可能感兴趣的:(StreamSets实战之路,大数据)