NIFI集群搭建

NIFI集群搭建

分类专栏: NIFI

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

本文链接:https://blog.csdn.net/qq_19397397/article/details/80007806

一、Nifi配置

1)  nifi基本配置

1.      jdk配置:nifi新版本要求jdk版本必须1.8以上

目录:bin/nifi.env.sh

       export JAVA_HOME=/home/user/opt/jdk1.8.0_144

   忽略此项配置,nifi将使用系统默认Java环境启动。

2.  nifi运行内存配置

目录:conf/bootstarp.conf

  java.arg.2=-Xms512m

   java.arg.3=-Xmx20480m

   根据服务器性能合理设置nifi内存

3.  nifi日志配置

目录:conf/logback.xml

4.  nifi端口配置

目录:conf/nifi.properties

nifi.web.http.port=18083

默认为8080端口。

5.  nifi基本命令

nifi.sh start 启动

nifi.sh stop 关闭

nifi.sh restart 重启

nifi.sh status 状态

以上基本配置完成,可单节点模式启动nifi。

 

 

2)  nifi集群配置

1.      配置zookeeper

目录:conf/zookeeper.properties

clientPort=2181 zookeeper端口

 

server.1=ip1:2888:3888

server.2=ip2:2888:3888

server.3=ip3:2888:3888

         zookeeper服务器设置,nifi集群有多少节点需要配置server

         server.1中的数字1为服务器的ID,需要与myid文件中的id一致,下一步将配置myid。

2.      配置myid

在nifi目录下创建文件夹/state/zookeeper/并创建文件myid

文件内容与第一步中的server.id一致。

NIFI集群搭建_第1张图片

3.      配置state-management.xml

目录:conf/state-management.xml

        zk-provider

        org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider

        ip1:2182,ip2:2182,ip3:2182

        /nifi

       10seconds

        Open

   

Connect String配置为nifi节点的ip加zookeeper端口号,以逗号分隔

4.      配置nifi节点属性

目录:conf/ nifi.properties

nifi.state.management.embedded.zookeeper.start=true

使用内置zookeeper

nifi.zookeeper.connect.string=ip1:2182,ip2:2182,ip3:2182

与上一步中的connect string一致。

 

下面配置需每个节点单独配,根据节点的IP相应配置,保持集群中节点使用的端口一致

  nifi.cluster.is.node=true

nifi.cluster.node.address=本机IP

nifi.cluster.node.protocol.port=9999

nifi.remote.input.host=本机IP

nifi.remote.input.secure=false

nifi.remote.input.socket.port=9998

nifi.web.http.host=本机IP

      

配置完成后即可依次启动节点,集群将选举产生主节点。

 

 

 

 

 

 

二、Nifi界面

 NIFI集群搭建_第2张图片

 

1-8为nifi提供的组件可以拖到下方的画布上使用。

1:processor :nifi提供的多种处理器。

2:input port:flowfile数据进入节点。

3:output port flowfile数据输出节点。

4:group组,可以将多种处理器放入同一个组中,组与组之间可以通过input port和output port传输flowfile数据。

5:Remote process group:远程进程组,可将flowfile发送至别的节点。

6:Funnel:汇聚flowfile数据。

7:Template:可拖放导入的模板配置。

8:Leble:文字板

9-18为nifi的基本状态栏

9:nifi集群节点状态。9/9表示有集群中有九个节点,并九个节点都在线。

10:nifi当前运行线程数。

11:nifi当前队列中待执行的flowfile的size及大小

12:nifi启动的远程进程组。

13:nifi未启动的远程进程组。

14:nifi启动的处理器

15:nifi未启动的处理器。

16:nifi配置不可用的处理器

17:nifi废弃不用的处理器。

18:nifi界面最新刷新时间。

19:nifi画布缩略图及操作按钮。

20:当前位置。

1)  总览界面

Summary 摘要包含处理器,GROUP等一系列整体摘要信息。

Counters 计数器界面,需要配合计数器处理器(UpdateCounter)使用。

Bulletin Board nifi通讯信息页面。

Date Provenance flowfile数据总览。

Controller Settings 设置界面,可以配置线程数等一些设置。

Flow conf History nifi配置历史。

Cluster nifi集群模式时,可以查看集群状态,管理节点。

你可能感兴趣的:(Nifi,工具)