FLink学习笔记:01-Flink集群搭建

文章目录

  • 集群规划
    • 1、下载安装包
    • 2、解压文件
    • 3.配置Flink
      • masters文件
      • workers
      • flink-conf.yaml
      • 环境变量
    • 启动集群

集群规划

机器名称 IP 角色
k8s-node3 192.168.0.52 master
k8s-node5 192.168.0.52 slave
k8s-node8 192.168.0.52 slave

1、下载安装包

下载对应scala版本的flink,1.14支持hadoop2.X以上的版本

在K8s-node3服务器上执行操作:

wget https://dlcdn.apache.org/flink/flink-1.14.4/flink-1.14.4-bin-scala_2.12.tgz

2、解压文件

[root@k8s-node3 software]# tar -xzvf flink-1.14.4-bin-scala_2.12.tgz 

3.配置Flink

masters文件

k8s-node3:8081

workers

k8s-node5
k8s-node8

flink-conf.yaml

jobmanager.rpc.address: k8s-node3

# The RPC port where the JobManager is reachable.

jobmanager.rpc.port: 6123

环境变量

新建/etc/profile.d/flink.sh文件:

export FLINK_HOME=/home/software/flink-1.14.4
export PATH=$FLINK_HOME/bin/:$PATH

source /etc/profile.d/flink.sh 使得环境变量生效

启动集群

[root@k8s-node3 bin]# ./start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host k8s-node3.
Starting taskexecutor daemon on host k8s-node5.
Starting taskexecutor daemon on host k8s-node8.

在浏览器输入http://192.168.0.52:8081,就可以进入到Flink的Web管理界面

#Flink官方文档:
https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/execution_mode/

你可能感兴趣的:(FLink,大数据,scala,flink)