Flink集群安装和部署之Standalone模式

  Standalone是Flink 的独立部署模式，它不依赖其他平台。在使用这种模式搭建 Flink集群之前，需要先规划集群机器信息。在这里为了搭建一个标准的Flink集群，需要准备3台机器，如图下所示。

一、安装部署Standalone模式

1.1、修改配置文件

1.1.1、修改flink-conf.yaml

修改JobManager的主机名
jobmanager.rpc.address: hdp0-179014

1.1.1.1、防止web端口冲突

# 防止web端口冲突
jobmanager.web.port: 9081

也可以通过masters修改
hdp0-179014:9081

1.1.2、修改slaves

hdp0-179014
hdp1-179015
hdp2-179016

1.2、分发给worker节点

 cd /opt/
 scp -r flink-1.10.1 192.168.80.15:/opt/
 scp -r flink-1.10.1 192.168.80.16:/opt/

1.3、启动Flink集群

cd /opt
./start-cluster.sh 

1.4、访问Web UI

1.5、通过Web UI提交job到集群

1.6、通过命令提交job到集群

./bin/flink run -d -c com.chb.flink2.StreamWordCount /opt/FlinkProject-1.0-SNAPSHOT.jar 

1.6.1、修改冲突端口

对应的配置是 flink-conf.yaml中的rest.bind-port
rest.bind-port不设置，则Rest Server默认绑定到rest.port端口(8081)。
rest.bind-port可以设置成列表格式如50100,50101，也可设置成范围格式如50100-50200。推荐范围格式，避免端口冲突。

1.7、配置文件参数说明

下面针对 flink-conf.yaml 文件中的几个重要参数进行分析：

• jobmanager.heap.size：JobManager 节点可用的内存大小。
• taskmanager.heap.size：TaskManager 节点可用的内存大小。
• taskmanager.numberOfTaskSlots：每台机器可用的 Slot 数量。
• parallelism.default：默认情况下 Flink 任务的并行度。

上面参数中所说的 Slot 和 parallelism 的区别：

• Slot 是静态的概念，是指 TaskManager 具有的并发执行能力。
• parallelism 是动态的概念，是指程序运行时实际使用的并发能力。
• 设置合适的 parallelism