DockerDesktop:使用docker-compose.yml搭建Flink集群

前情提示:利用DockerDesktop搭建flink集群,有手动模式和利用docker-compose.yml等等方式,自己手动搭建很麻烦,因为真的很小白,比如说按照其他帖子搭建好之后,一般一个taskManager只有一个默认的slot,但是我想设置taskManager有多个slot,好多虽然给出了解决方法,但是步子扯得太大了,刚入门Docker真的不知道怎么弄,比如说怎么修改集群的配置文件之类的问题。所以改成了使用docker-compose,但是后来我继续查资料,又找到解决“手动搭建flink集群,一个taskManager对应几个slot”方法,在第二部分

第一部分:使用docker-compose

我就想使用docker-compose,但是我不知道咋用啊!也不敢胡乱动手,只能自己一点点尝试,原理我不清楚,我只描述下我自己怎么做的,完全小白一个,找了好久的docker-compose.yml就是没找到:

  1. 创建一个docker-compose.yml文件

只需要在桌面新建一个txt文档,然后名字改成docker-compose.yml

  1. 用记事本的形式打开docker-compose.yml

里面相关的设置参数,我参考的是:

(4条消息) 使用Docker搭建Flink集群-CSDN博客

  1. 随便将他找个位置安放,我把它放在了DockerDesktop文件夹下,自己创建了一个文件夹,这个文件夹的名字就是你的容器名字:

DockerDesktop:使用docker-compose.yml搭建Flink集群_第1张图片
  1. 以管理员的方式运行powershell

进入刚才创建的文件夹内:

cd \\wsl.localhost\docker-desktop\docker-compose-flink

继续输入命令:docker-compose up -d

回车之后就创建成功了

在DockerDesktop中也可以查看到:

DockerDesktop:使用docker-compose.yml搭建Flink集群_第2张图片

浏览器中运行:

DockerDesktop:使用docker-compose.yml搭建Flink集群_第3张图片

成功!!

第二部分:手动搭建

1)在创建好jobmanger和taskmanager(这部分可以搜一搜其他答案一起看,我没有写很仔细)

以管理员的身份打开powershell,输入以下命令:

jobmanager:

taskmanager:

docker run -t -d --name tmr
 --network app-tier 
-e JOB_MANAGER_RPC_ADDRESS=jmr 
flink:1.16.1-scala_2.12-java11 
taskmanager

DockerDesktop显示:

DockerDesktop:使用docker-compose.yml搭建Flink集群_第4张图片

localhost:8081显示

DockerDesktop:使用docker-compose.yml搭建Flink集群_第5张图片

一个taskManager只有一个solt,我们的目的就是让taskManager有多个solt

2)查看容器:docker ps -a,记住这个taskmanager容器ID,后面修改的时候会用到

3)修改配置文件

找了很多的帖子,说在配置文件里修改solt数量,所以接下来修改配置文件,但是在WSL Ubuntu DockerDesktop 找不到怎么打开配置文件,因为这不是linux系统,实际上还是window系统(原谅我的小白)

然后找到一个方法:(4条消息) docker容器内修改配置文件_docker 修改容器内配置文件_普通网友的博客-CSDN博客

①进入刚才创建的容器,在DockerDesktop显示如下:

还是以管理员身份运行powershell

输入命令行:docker exec -it <容器id> /bin/bash

此处要修改的是taskmanager的容器,所以id也是它的

这样就进入了刚才创建的容器。

②输入命令行:ls,或者ll

可以查看文件夹里面的文件结构

③进入conf文件:cd conf

输入命令:ls

DockerDesktop:使用docker-compose.yml搭建Flink集群_第6张图片

就可以看到flink-conf.yaml文件并修改了

④使用命令:vim,修改flink-conf文件,但是显示没有(这里命令行用的vi,后来改成了vim)

所以需要下载vim使用

DockerDesktop:使用docker-compose.yml搭建Flink集群_第7张图片

⑤运行修改命令:vim flink-conf.yaml

找到并修改slot:

DockerDesktop:使用docker-compose.yml搭建Flink集群_第8张图片

保存退出:先按esc退出编译模式,输入 :wq ,然后按住Enter

修改成功!!!

DockerDesktop:使用docker-compose.yml搭建Flink集群_第9张图片

你可能感兴趣的:(DockerDesktop,docker-compose,flink)