NIFI-实现从FTP服务器拉取文件入到clickhouse数据库

一、需求梳理:

1、从FTP服务器上拉取文件(文件名按照固定格式命名)。

2、提取文件名上的一些字符串信息合并到数据流中,入库。

3、替换文件流中的一些字段值。

实现ETL的功能,其流程图如下:

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第1张图片

NIFI处理器的选择:

处理器

主要功能

ListFTP

列出服务器文件列表

FetchFTP

根据列表拉取数据

UpdateAttribute

新增流文件属性

UpdateRecord

新增流文件内容或路由逻辑

MergeRecord

文件流纵向合并

MergeContent

文件流横向合并

QueryRecord

从合并流文件中查询结果

InvokeHTTP

结果数据入库

RouteOnAttribute

路由结果数据

HashContent

释放掉结果数据

二、文件流数据替换

选用UpdateRecord处理器、选用Schema Text格式。

{
"type":"record",
"name":"nifiRecord",
"namespace":"org.apache.nifi",
"fields":[
{
"name":"test_a",
"type":[
"null",
"string"
]
},
... {"name":"test_e",
"type":["null"
]"string"]
}] }

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第2张图片

三、从FTP拉取csv文件

监控FTP服务器:ListFTP处理器

拉取FTP服务器两个小时之后的数据:新增路由规则

ListFTP->     UpdateAttribute->     RouteOnAttribute->     FetchFTP

新增自定义属性:UpdateAttribute处理器

fileTime: ${filename:getDelimitedField(5,'-'):trim():toDate('yyyyMMddHHmmss'):toNumber()} timeNow: ${now():toNumber():minus(7200000)}

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第3张图片

 延时拉取方案实现:

2 hours old ${fileTime:le(${timeNow})}

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第4张图片

四、文件实现纵向合并 

1、将文件格式转为avro数据格式(avro数据格式在大量数据合并时效率高):updateRecord处理器

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第5张图片

2、文件合并:MergeRecord处理器

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第6张图片 3、AvroReader控制器服务:通过 Schema Name 和定义的Avro格式的数据字段连接映射关系。

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第7张图片

AvroSchemaRegistry 的配置:

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第8张图片

dafafile字段值包含性能文件和设备信息文件数据的所有的字段:

{
"name":"datafile",
"type":"record",
"fields":[
{
"name":"d",
"type":"string"
},
{
"name":"xxx",
"type":[
"null",
"string"
]
},
...... { "name": "data_update_time",
"type": ["null"
]"string"]
}]}

 五、从合并后的flowfile中查询结果:QueryRecord处理器

 新增路由关系:query 读控制器服务:AvroReader 写控制器服务:CSVRecordSetWriter

查询语句:

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第9张图片

 六、clickhouse入库:InvokeHTTP处理器

HTTP请求方式:POST

配置clickhouse入库方式:用|分割的方式入库

http://ip:port/?input_format_with_names_use_header=0&format_csv_delimiter=%7C&query=INSERT INTO 库名.表名 FORMAT CSVWithNames

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第10张图片

七、单机版本测试

一个34M大小的csv文件、合并、提取1000个字段。从服务器拉取文件到实现文件纵向、入库整个流程用时1分半。

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第11张图片

10万行888个字段的340M的csv大小文件,转为avro后数据451,整个流程用时15分钟左右。

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第12张图片

结论:对于大数据量计算,目前nifi在ETL中的性能瓶颈在QueryRecord中从大量的Avro格式的数据中查找部分数据,存在较大的计算量,用时较多。 

八、版本控制

NiFi 中,其实是可以对一组Data Pipieline 来做一个『版本控制』,就类似于git 一样,git 可以将每次修改好的版本commit 出去且push 到Github 或Gitlab 平台上对应的respository。那NiFi 是如何做到的呢?答案是今天的主角- NiFi Registry。 使用 NiFi Registry 在 Apache NiFi 中自动化工作流部署 可以在多个环境下切换。 参考资料:https://ithelp.ithome.com.tw/articles/10266633 https://pierrevillard.com/2018/04/09/automate-workflow-deployment-in-apache-nifi-with-the-nifi-registry/

九、NiFi 工作流监控 – 带有拆分和合并的等待/通知模式

考虑到当文件数量较大时,监控ETL合并及入库的情况,参考nifi的等待/通知模式,构思监控性能文件、设备文件合并日志,及入库clickhouse的日志记录信息。 参考资料:https://pierrevillard.com/2018/06/27/nifi-workflow-monitoring-wait-notify-pattern-with-split-and-merge/

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第13张图片

NIFI-实现从FTP服务器拉取文件入到clickhouse数据库_第14张图片

 十、了解 NiFi 的内容存储库归档的工作原理

参考资料: https://community.cloudera.com/t5/Community-Articles/Understanding-how-NiFi-s-Content-Repository-Archiving-works/ta-p/249418 https://community.cloudera.com/t5/Support-Questions/Need-to-restart-Nifi-1-13-2-to-clean-content-repository/td-p/316610

配置文件:nifi.properties和bootstrap.conf

你可能感兴趣的:(大数据,服务器,运维)