腾讯云部署flink集群standalone模式

0、准备条件

1、两台服务器，必须要再同一个vpc网络下，用内网地址可以ping通，腾讯云是同一个账号同一个地域的服务器会自动分配到同一个vpc下面（腾讯云稍微便宜点）

2、开放防火墙，一个是安全组规则，一个是firewalld服务

• 开放安全组

• 关闭firewalld

  systemctl stop firewalld
  systemctl disable firewalld
  

3、编辑 所有服务器的/etc/hosts 文件

4、配置ssh免密登录（可选）

1）生成公钥（会在当前目录生成.ssh文件夹 里面有公私钥）

# 一直回车就行
ssh-keygen

2）发送到其他服务器 （这里会输入其他服务器的密码）

ssh-copy-id -i ~/.ssh/id_rsa.pub root@flink103

3）测试

ssh root@flink103

看到连接上了说明成功了

1、去官网下载安装包flink-1.13.0-bin-scala_2.12.tgz

2、传到服务器上 解压

• 解压命令 （ -C 指定路径名 没有先创建）

tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/

3、修改配置文件

• 修改 /conf/flink-conf.yaml

  vi /conf/flink-conf.yaml
  

• 修改workers
  

4、分发到其他服务器

scp -r ./flink-1.13.0 root@flink102:/opt/module

检查一下路径 各个服务器上的flink启动路径一定要一样

5、启动/关闭 （运行安装包bin下面提供的脚本就行）

./start-cluster.sh
./stop-cluster.sh

6、查看日志

• jps查看一下进程

• 根据进程号查看日志文件路径

  # ls /proc/{进程id}/fd    # fd目录介绍
  # 此目录包含进程打开的所有文件，文件名为文件描述符，目录中每个软连接都会指向进程打开的实际文件
  ll /proc/{进程id}/fd | grep "log"
  

• tail -f 查看日志文件
  

看到successful多半就是成功了

7、连上网页端（用master节点的公网ip加上端口号8081）

高可用配置：

#1、需要先准备好zookeeper集群、hadoop集群
#2、下载flink-shaded-hadoop-xxx相关依赖放到 flink/lib当中
#3、编辑 masters 和 workers 规划 主从节点
high-availability: zookeeper
high-availability.storageDir: hdfs://hadoop102:8020/flink/ha
high-availability.zookeeper.quorum: hadoop102:2181,hadoop103:2181,hadoop104:2181
high-availability.zookeeper.path.root: /flinl-1.12.0
high-availability.cluster-id: /cluster_flink