Flink集群部署

1、环境准备工作

1.1 基础环境

JDK1.8 及以上【配置 JAVA_HOME 环境变量】  

SSH 免密码登录【集群内节点之间免密登录】

1.2 安装包下载

使用 Flink1.12.0 版本

2、Local模式部署

在 Local 模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟 Flink 的进程，适用于测试开发调试

等，这种模式下，不用更改任何配置，只需要保证 JDK8 安装正常即可。

2.1 解压直接启动

Flink 在处于 Local 模式下，不需要更改任何配置，直接解压之后启动即可。

执行以下命令直接启动 Local 模式

解压命令：

[root@master ~]# tar zxvf flink-1.12.0-bin-scala_2.12.tgz

修改路径命令：

# 修改flink安装包目录到/root/package/
[root@master ~]# mv flink-1.12.0-bin-scala_2.12.tgz /root/package/

#修改解压后文件目录到/usr/local
[root@master ~]# mv flink-1.12.0 /usr/local

 

启动：

# 切换到flink目录下
[root@master flink-1.12.0]# cd /usr/local/flink-1.12.0/bin/
# 首先启动集群
[root@master bin]# start-all.sh


[root@master bin]# jps
1782 NameNode
2135 ResourceManager
1979 SecondaryNameNode
2396 Jps

执行以下命令直接启动Local模式
# flink启动命令
[root@master flink-1.12.0]# cd /usr/local/flink-1.12.0/bin/
[root@master bin]# ./start-cluster.sh

[root@master bin]# jps
3040 TaskManagerRunner
2757 StandaloneSessionClusterEntrypoint
1782 NameNode
3110 Jps
2135 ResourceManager
1979 SecondaryNameNode

启动成功之后，执行jps就能查看到启动了两个进程 ：

2.2 Web UI界面访问

启动两个进程成功之后，访问 8081 端口号即可访问到 Flink 的 Web 管理界面

 http://192.168.153.10:8081/#/overview

 3、StandAlone模式部署

 使用StandAlone模式，需要启动Flink的主节点JobManager以及从节点TaskManager。

3.1 更改配置文件

停止master 服务器上面 local 模式下的两个进程，然后修改master 服务器配置文件

[root@master bin]# ./stop-cluster.sh

master服务器更改 flink-conf.yaml 配置文件文件

[root@master bin]# cd /usr/local/flink-1.12.0/conf/
[root@master conf]# ll
[root@master conf]# vi flink-conf.yaml

 

 

master服务器更改workers配置文件

[root@master conf]# cd /usr/local/flink-1.12.0/conf/

[root@master conf]# ll

[root@master conf]# vi workers

 

3.2 分发安装包到各节点

将master 服务器的 Flink 安装包分发到其他机器上面去   

master服务器执行以下命令分发安装包

scp -r flink-1.12.0 slave1:/usr/local/
scp -r flink-1.12.0 slave2:/usr/local/

[root@master conf]# cd /usr/local
[root@master local]# scp -r flink-1.12.0 slave1:/usr/local/
[root@master local]# scp -r flink-1.12.0 slave2:/usr/local/

3.3 启动Flink集群

master执行以下命令启动 flink 集群

[root@master conf]# cd /usr/local/flink-1.12.0/bin

[root@master bin]# ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host master.
Starting taskexecutor daemon on host master.
Starting taskexecutor daemon on host slave1.
Starting taskexecutor daemon on host slave2.

[root@master bin]# jps
4514 Jps
4132 StandaloneSessionClusterEntrypoint
1782 NameNode
2135 ResourceManager
4458 TaskManagerRunner
1979 SecondaryNameNode
[root@master bin]#

3.4 页面访问  

http://master:8081/#/overview 即可访问 Flink Web UI 界面。

 

 http://192.168.153.10:8081/#/overview

 slave1节点：

slave2节点：

3.5 运行Flink自带的jar包  

运行flink自带的测试用例：

master执行下面命令启动socket 服务，然后输入单词

nc -lk 6666

首先需要下载nc  否则报错

 安装nc：

yum install nc -y