Nifi流程配置: CSV >> Hive

1. 通过Ambari QuickLink打开Nifi UI

2. 创建ProcessorGroup

a. 拖动页面上方工具条中的ProcessorGroup图标至绘图区

b. 命名Group并双击打开

3.创建Overall flow

1)添加GetFile Processor

a.拖动页面上方工具条中的Processor图标至绘图区可以开始创建数据流，成功后如图

b.在搜索框处输入想要添加的Processor。此处输入GetFile，然后点击Add，GetFile Processor 添加成功。

c.双击GetFile处理器或者右击选择Configure进行配置，根据自身环境和需求，填写相关配置。然后点击APPLY。

GetFile关键配置

2)添加PutHive Processor

a.同理添加PutHive，并做相应的配置。与GutFile不同的是，此处要创建Reader/Writer。

PutHive关键配置

b)Reader/Writer等相关配置如下

CSVReader

AvroSchemaRegistry

insurance_schema

insurance_schema

AvroReader

AvroRecordSetWriter

CSVReaderSetWriter

c)如图，点击右边的设置按钮可以进入配置，点击闪电样式的按钮可以启动。

d)至此，PutHive Processor创建添加成功。

3)连接两个Processor

a.每个处理器都有一组定义的“关系”，最基本的是success和failure。把鼠标停在GetFile Processor，会看到一个箭头，拖动箭头到PutHive ，显示success即可。

整体流程

b.此时，PutHive上仍显示警告，提示为success、retry和failure关系未连接到其他组件和自动终止。可以右击configure，在setting中勾选中success、retry和failure即可实现自动终止。

4.启动Processor

a.依次启动Processor，一般按从后往前的顺序右击选择start。

b.运行成功后，可以看到数据再不同位置的转移以及数据流的大小、时间等。NiFi为back pressure提供了两个配置元件。分别对应的是对象数量和数据大小。并且进度条基于队列百分比改变颜色：绿色（0-60％），黄色（61-85％）和红色（86-100％）。鼠标悬停在上面可以显示精确的百分比。

c.当运行出现问题时，右上角会出现红色方框，放到上面会出现提示信息。