NiFi简介和基本操作（含通过NiFi上传文件到HDFS案例）
NiFi简介和基本操作（含通过NiFi上传文件到HDFS案例）
一、简介
NiFi是一个易用、强大、可靠的数据处理与分发系统。基于Web图形界面，通过拖曳、连接、配置完成基于流程的编程，实现数据采集等功能。
传统的数据解决方案通常会遇到以下挑战：网络错误、硬盘错误、软件崩溃、人为错误、数据生产能力超过消费能力、对现有数据流进行增加和修改需要的操作太复杂等等
二、NiFi的特性及优缺点
特性
1、可视化控制
NiFi提供一个可视化的数据流展现与编辑，使得用户处理数据流更加直观。在数据流上做出修改时，这个更改将立即在时机生产中产生作用。用户进行局部修改时，不需要停止整个流处理过程。
2、数据背压
NiFi提供队列缓存，当生产速度大于消费速度时。能提供数据背压能力
3、优先级队列
NiFi允许设置一个或多个优先级方案。默认为先进先出策略，也可以设置为先进先出、最老的数据先出、最新的数据先出
4、流式QoS保障
经常有一些数据是非常重要且不能丢失的，需要低延迟处理，NiFi能够为这些数据流提供QoS保障。
5、数据跟踪
NiFi自动记录对数据流的每一次操作
6、记录、恢复历史记录
NiFi提供数据追踪记录功能，用户能够对中间过程的内容进行下载和回放
7、模板
很多数据流模式，是可以复用的。NiFi允许用户发布设计模板并共享给其他人
8、安全性
系统间，NiFi可以通过双向SSL进行数据加密
9、高拓展性
优缺点
Nifi的主要优点有：
A.可视化的UI界面，各个模块组件之间高度可配置，且每个流程都有监控，可以通过界面直观的看到各个数据处理模块之间的数据流转情况，分析出程序性能瓶颈。
B.数据流可以在UI界面自由拖拽和拓展，各模块之间相互独立，互不影响。
C.可以在处理耗时的地方创建多个处理模块并行执行，提升处理速度。类似于代码中加入了多线程，但相对于修改代码，界面配置操作十分简单。
D.修改方便，任意模块都可以在数据流转过程中随时启停，任意处理模块都可以实现热插拔。数据流流向随时可变。
E. Nifi的对处理模块有对应的retry机制和错误分发机制，且可配置性强。
缺点：
各个步骤中间结果落地导致磁盘IO成为Nifi的瓶颈，这个缺点在数据冗余量越大的时候表现的越明显。
三、NiFi核心组件
1.FlowFile
FlowFile代表每个被系统处理的数据对象。每个FlowFile由两部分组成：属性和内容。内容是数据本身，属性是与数据相关的key-value键值对，用于描述数据。
2.Processor
Processor可以用来创建、发送、接受、转换、路由、分割、合并、处理FlowFiles。Processor可以访问给定的FlowFile。
3.Connection
提供Processor之间的连接，作为Processors之间的缓冲队列。用来定义Processors之间的执行关系，并允许不同Processors之间以不同的速度进行交互。
4.Process Group
一个特定集合的Processors与他们之间的连接关系形成一个ProcessGroup。
5.Reporting Task
Reporting Task是一种后台运行的组件，可将Metrics指标、监控信息、内部NiFi状态发送到外部 。
6.Funnel
漏斗是一个NiFi组件，用于将来自多个连接的数据组合成单个连接。
7.Controller Service
四、基本操作
1 下载
[root@sandbox-hdp opt]# wget https://downloads.apache.org/nifi/1.11.4/nifi-1.11.4-bin.tar.gz
2 解压安装
tar -xvf nifi-1.11.4-bin.tar.gz
删除压缩包
rm nifi-1.11.4-bin.tar.gz
修改端口为：9090
vi nifi.propertiesbin目录下：
# 启动nifi
./nifi.sh start
# 查看nifi状态
./nifi.sh status
# 停止nifi
./nifi.sh stop
去浏览器进入NiFi的Web UI界面：127.0.0.1:9090
案例：将文件从SFTP服务器通过NiFi上传到HDFS
1、创建一个ListSFTP
进行相关设置
去hdp根目录下创建目录（此目录为目标目录）
mkdir sftp_home
设置remote Path
/root/sftp_home
2、创建一个FetchSFTP
3、创建一个putHDFS
# 查看core-site.xml、hdfs-site.xml所在目录
/usr/hdp/current/hadoop-client/conf
ll core-site.xml
ll hdfs-site.xml
# 确保hdfs没有此目录/user/nifi/demo（该目录为文件上传到hdfs的目录）
hdfs dfs -ls /user/nifi/demo
4、创建两个LogMessage
5、传文件
向目录传一个文件
install -m 777 workflow.xml sftp_home/
6、流程开始
查看文件是否上传到hdfs
hdfs dfs -ls /user/nifi/demo
[root@sandbox-hdp ~]# hdfs dfs -ls /user/nifi/demo
Found 1 items
-rw-r--r-- 1 root hdfs 1301 2020-04-07 12:32 /user/nifi/demo/workflow.xml
查看日志文件
cd/opt/nifi-1.11.4/logs
[root@sandbox-hdp logs]# vi nifi-app.log
...
2020-04-07 12:32:15,858 INFO [Timer-Driven Process Thread-7] o.a.nifi.processors.standard.LogMessage LogMessage[id=53f45a01-0171-1000-5bbf-50dc92f31690] "File transferred to hdfs"...