NIFI集群搭建
NIFI集群搭建
分类专栏： NIFI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19397397/article/details/80007806
一、Nifi配置
1) nifi基本配置
1. jdk配置：nifi新版本要求jdk版本必须1.8以上
目录：bin/nifi.env.sh
export JAVA_HOME=/home/user/opt/jdk1.8.0_144
忽略此项配置，nifi将使用系统默认Java环境启动。
2. nifi运行内存配置
目录：conf/bootstarp.conf
java.arg.2=-Xms512m
java.arg.3=-Xmx20480m
根据服务器性能合理设置nifi内存
3. nifi日志配置
目录：conf/logback.xml
4. nifi端口配置
目录：conf/nifi.properties
nifi.web.http.port=18083
默认为8080端口。
5. nifi基本命令
nifi.sh start 启动
nifi.sh stop 关闭
nifi.sh restart 重启
nifi.sh status 状态
以上基本配置完成，可单节点模式启动nifi。
2) nifi集群配置
1. 配置zookeeper
目录：conf/zookeeper.properties
clientPort=2181 zookeeper端口
server.1=ip1:2888:3888
server.2=ip2:2888:3888
server.3=ip3:2888:3888
zookeeper服务器设置，nifi集群有多少节点需要配置server
server.1中的数字1为服务器的ID，需要与myid文件中的id一致，下一步将配置myid。
2. 配置myid
在nifi目录下创建文件夹/state/zookeeper/并创建文件myid
文件内容与第一步中的server.id一致。
3. 配置state-management.xml
目录：conf/state-management.xml
Connect String配置为nifi节点的ip加zookeeper端口号，以逗号分隔
4. 配置nifi节点属性
目录：conf/ nifi.properties
nifi.state.management.embedded.zookeeper.start=true
使用内置zookeeper
nifi.zookeeper.connect.string=ip1:2182,ip2:2182,ip3:2182
与上一步中的connect string一致。
下面配置需每个节点单独配，根据节点的IP相应配置，保持集群中节点使用的端口一致
nifi.cluster.is.node=true
nifi.cluster.node.address=本机IP
nifi.cluster.node.protocol.port=9999
nifi.remote.input.host=本机IP
nifi.remote.input.secure=false
nifi.remote.input.socket.port=9998
nifi.web.http.host=本机IP
配置完成后即可依次启动节点，集群将选举产生主节点。
二、Nifi界面
1-8为nifi提供的组件可以拖到下方的画布上使用。
1：processor ：nifi提供的多种处理器。
2：input port：flowfile数据进入节点。
3：output port flowfile数据输出节点。
4：group组，可以将多种处理器放入同一个组中，组与组之间可以通过input port和output port传输flowfile数据。
5：Remote process group：远程进程组，可将flowfile发送至别的节点。
6：Funnel：汇聚flowfile数据。
7：Template：可拖放导入的模板配置。
8：Leble：文字板
9-18为nifi的基本状态栏
9：nifi集群节点状态。9/9表示有集群中有九个节点，并九个节点都在线。
10：nifi当前运行线程数。
11：nifi当前队列中待执行的flowfile的size及大小
12：nifi启动的远程进程组。
13：nifi未启动的远程进程组。
14：nifi启动的处理器
15：nifi未启动的处理器。
16：nifi配置不可用的处理器
17：nifi废弃不用的处理器。
18：nifi界面最新刷新时间。
19：nifi画布缩略图及操作按钮。
20：当前位置。
1) 总览界面
Summary 摘要包含处理器，GROUP等一系列整体摘要信息。
Counters 计数器界面，需要配合计数器处理器（UpdateCounter）使用。
Bulletin Board nifi通讯信息页面。
Date Provenance flowfile数据总览。
Controller Settings 设置界面，可以配置线程数等一些设置。
Flow conf History nifi配置历史。
Cluster nifi集群模式时，可以查看集群状态，管理节点。