Flink 集群搭建（基于Standalone模式）
https://archive.apache.org/dist/flink/ flink各个稳定版本下载
本教程为flink-1.9.0版本
基于standalone的flink集群规划(基于standalone模式)【平时练习使用该模式,生产环境基本上都使用YARN模式】
| 主机名 |
IP |
说明 |
| centoshadoop1 |
192.168.227.140 |
StandaloneSessionClusterEntrypoint(主节点进程名称) |
| centoshadoop2 |
192.168.227.141 |
TaskManagerRunner(从节点进程名称) |
| centoshadoop3 |
192.168.227.142 |
TaskManagerRunner(从节点进程名称) |
| centoshadoop4 |
192.168.227.143 |
TaskManagerRunner(从节点进程名称) |
解压flink-1.9.0-bin-scala_2.11.tgz 到/home/hadoop/flink目录
tar -zxvf flink-1.9.0-bin-scala_2.11.tgz -C ~/flink
配置基本参数(结合机器情况调整)
cd /home/hadoop/flink/flink-1.9.0/conf
配置flink-conf.yaml,根据如下表格进行调整相应的参数
基础配置
| 参数 |
值 |
说明 |
| jobmanager.rpc.address |
centoshadoop1 |
jobmanager所在节点 |
| jobmanager.rpc.port |
6123 |
jobManager端口,默认为6123 |
| jobmanager.heap.size |
2048m |
jobmanager可用内存 |
| taskmanager.heap.size |
4096m |
每个TaskManager可用内存,根据集群情况指定 |
| taskmanager.numberOfTaskSlots |
3 |
每个taskmanager的并行度（5以内） |
| parallelism.default |
2 |
启动应用的默认并行度（该应用所使用总的CPU数） |
| rest.port |
8085 |
Flink web UI默认端口与spark的端口8081冲突,更改为8085 |
history server配置
| jobmanager.archive.fs.dir |
hdfs://mycluster/flink/log/hadoop-flink |
因为配置了hadoop的HA,所以hdfs nameservices 指定为mycluster |
| historyserver.web.address |
Centoshadoop1 |
historyserver web UI地址（需要在本地hosts文件中指定该映射关系） |
| historyserver.web.port |
18082 |
historyserver web UI端口 |
| historyserver.archive.fs.dir |
hdfs://mycluster/flink/log/hadoop-flink |
值与 jobmanager.archive.fs.dir 保持一致 |
| historyserver.archive.fs.refresh-interval |
10000 |
history server页面默认刷新时长 |
| 参数 |
值 |
说明 |
Flink配置文件——slaves
vi slaves
centoshadoop2
centoshadoop3
centoshadoop4
分发到其他节点
cd ~
scp -r flink/ hadoop@centoshadoop2:~/
scp -r flink/ hadoop@centoshadoop3:~/
scp -r flink/ hadoop@centoshadoop4:~/
cd /home/hadoop/flink/flink-1.9.0
bin/start-cluster.sh -- 启动集群
访问集群，界面如下(部分的参数配置)
http://centoshadoop1:8085/
bin/stop-cluster.sh --停止集群
jps参考各个节点的进程
[hadoop@centoshadoop1 flink-1.9.0]$ jps
StandaloneSessionClusterEntrypoint
[hadoop@centoshadoop2 flink-1.9.0]$ jps
TaskManagerRunner
[hadoop@centoshadoop2 flink-1.9.0]$ jps
TaskManagerRunner
[hadoop@centoshadoop2 flink-1.9.0]$ jps
TaskManagerRunner
如果集群中Master节点的jobManager进程停止,或者机器重启导致进程停止,可以通过下面的命令启动或者停止
bin/jobmanager.sh start|stop
同理,如果想要手工停止TaskManager进程停止,或者想要向正在运行的集群中增加行的Slave节点,则可以使用如下命令
bin/taksmanager.sh start|stop
启动正常后,部分界面截图
日志：
