Nifi Processor | PutS3Object

 需求: 从kafka读取数据,根据内容路由再压缩后,put 到s3 中。

流程图。

Nifi Processor | PutS3Object_第1张图片

 

1、使用Kakfa 读取数据

2、在RouteTxt 中,根据要求过滤掉不需要的数据

3、在CompressContent 中进行数据压缩后,流入下一个环节。这里配置使数据压缩为gzip 文件。

Nifi Processor | PutS3Object_第2张图片

 

4、使用MergeContent ,将数据每 128M合并为一个块数据。(注意:虽然MergeContent提供压缩,但是压缩后的文件无法提供给Spak 使用,所以使用CompressContent )

Nifi Processor | PutS3Object_第3张图片

 

5、使用PutS3Object 组件向S3 写数据

 

Nifi Processor | PutS3Object_第4张图片

你可能感兴趣的:(Nifi,大数据,大数据)