flink集群搭建

1、安装包flink-1.10.0-bin-scala_2.11.tgz

2、tar -zxf flink-1.10.0-bin-scala_2.11.tgz 解压到指定目录

解压之后的文件名称是flink-1.10.0

3、flink-1.10.0的目录结构如下：

bin/：flink的相关命令

conf/：flink的配置文件

examples/：flink官方提供的测试案例

 

4、文件配置

 

主要修改flink-conf.yaml和slaves

flink-conf.yaml:

 

slaves：

 

5、集群其他节点配置相同

6、修改权限

解压flink压缩包，默认的用户和组是games

如果普通用户访问，需要在root用户下将flink用户和组修改为普通用户

这里是admin:admin

7、普通用户免密配置

三台节点都需要配置

生成密钥

ssh-key-gen

发送密钥

ssh-copy-id hdp6

三台节点均执行相同操作

然后互相发送密钥

8、启动集群

在flink-1.10.0目录下

启动命令 bin/start-cluster.sh

9、页面查看

页面正常，表示集群正常运行

 

10、样例测试

在flink-1.10.0目录下

输入命令 bin/flink run examples/batch/WordCount.jar

控制台输出如下：

 

页面查看执行情况：

 

控制台和页面端都正常，则集群能正常使用

11、启动集群

在flink-1.10.0目录下

停止命令 bin/stop-cluster.sh