NIFI-实现从FTP服务器拉取文件入到clickhouse数据库
一、需求梳理：
1、从FTP服务器上拉取文件（文件名按照固定格式命名）。
2、提取文件名上的一些字符串信息合并到数据流中，入库。
3、替换文件流中的一些字段值。
实现ETL的功能，其流程图如下：
NIFI处理器的选择：
| 处理器 |
主要功能 |
| ListFTP |
列出服务器文件列表 |
| FetchFTP |
根据列表拉取数据 |
| UpdateAttribute |
新增流文件属性 |
| UpdateRecord |
新增流文件内容或路由逻辑 |
| MergeRecord |
文件流纵向合并 |
| MergeContent |
文件流横向合并 |
| QueryRecord |
从合并流文件中查询结果 |
| InvokeHTTP |
结果数据入库 |
| RouteOnAttribute |
路由结果数据 |
| HashContent |
释放掉结果数据 |
二、文件流数据替换
选用UpdateRecord处理器、选用Schema Text格式。
{
"type":"record",
"name":"nifiRecord",
"namespace":"org.apache.nifi",
"fields":[
{
"name":"test_a",
"type":[
"null",
"string"
]
},
... {"name":"test_e",
"type":["null"
]"string"]
}] }
三、从FTP拉取csv文件
监控FTP服务器：ListFTP处理器
拉取FTP服务器两个小时之后的数据：新增路由规则
ListFTP-> UpdateAttribute-> RouteOnAttribute-> FetchFTP
新增自定义属性：UpdateAttribute处理器
fileTime： ${filename:getDelimitedField(5,'-'):trim():toDate('yyyyMMddHHmmss'):toNumber()} timeNow： ${now():toNumber():minus(7200000)}
延时拉取方案实现：
2 hours old ${fileTime:le(${timeNow})}
四、文件实现纵向合并
1、将文件格式转为avro数据格式（avro数据格式在大量数据合并时效率高）：updateRecord处理器
2、文件合并：MergeRecord处理器
3、AvroReader控制器服务：通过 Schema Name 和定义的Avro格式的数据字段连接映射关系。
AvroSchemaRegistry 的配置：
dafafile字段值包含性能文件和设备信息文件数据的所有的字段：
{
"name":"datafile",
"type":"record",
"fields":[
{
"name":"d",
"type":"string"
},
{
"name":"xxx",
"type":[
"null",
"string"
]
},
...... { "name": "data_update_time",
"type": ["null"
]"string"]
}]}五、从合并后的flowfile中查询结果：QueryRecord处理器
新增路由关系：query 读控制器服务：AvroReader 写控制器服务：CSVRecordSetWriter
查询语句：
六、clickhouse入库：InvokeHTTP处理器
HTTP请求方式：POST
配置clickhouse入库方式：用|分割的方式入库
http://ip:port/?input_format_with_names_use_header=0&format_csv_delimiter=%7C&query=INSERT INTO 库名.表名 FORMAT CSVWithNames
七、单机版本测试
一个34M大小的csv文件、合并、提取1000个字段。从服务器拉取文件到实现文件纵向、入库整个流程用时1分半。
10万行888个字段的340M的csv大小文件，转为avro后数据451，整个流程用时15分钟左右。
结论：对于大数据量计算，目前nifi在ETL中的性能瓶颈在QueryRecord中从大量的Avro格式的数据中查找部分数据，存在较大的计算量，用时较多。
八、版本控制
NiFi 中，其实是可以对一组Data Pipieline 来做一个『版本控制』，就类似于git 一样，git 可以将每次修改好的版本commit 出去且push 到Github 或Gitlab 平台上对应的respository。那NiFi 是如何做到的呢？答案是今天的主角- NiFi Registry。 使用 NiFi Registry 在 Apache NiFi 中自动化工作流部署 可以在多个环境下切换。 参考资料：https://ithelp.ithome.com.tw/articles/10266633 https://pierrevillard.com/2018/04/09/automate-workflow-deployment-in-apache-nifi-with-the-nifi-registry/
九、NiFi 工作流监控 – 带有拆分和合并的等待/通知模式
考虑到当文件数量较大时，监控ETL合并及入库的情况，参考nifi的等待/通知模式，构思监控性能文件、设备文件合并日志，及入库clickhouse的日志记录信息。 参考资料：https://pierrevillard.com/2018/06/27/nifi-workflow-monitoring-wait-notify-pattern-with-split-and-merge/
十、了解 NiFi 的内容存储库归档的工作原理
参考资料： https://community.cloudera.com/t5/Community-Articles/Understanding-how-NiFi-s-Content-Repository-Archiving-works/ta-p/249418 https://community.cloudera.com/t5/Support-Questions/Need-to-restart-Nifi-1-13-2-to-clean-content-repository/td-p/316610
配置文件：nifi.properties和bootstrap.conf