使用Docker 安装 Flink 集群

1：下载 https://github.com/melentye/flink-docker 放到系统的任意目录

  

 2：进入目录下 执行 docker-compose up -d 将进行相应的Flink的包的下载
 

3：设置task Managers  N代表要创建的数量

docker-compose scale flink-taskmanager=N

4:部署和运行一个job

1. 将Flink 任务jar包部署在jobManager

 

docker cp /path/to/job.jar $(docker ps --filter name=flink-jobmanager --format={{.ID}}):/job.jar to

   2:复制数据到每个Flink Node 结点 如果是必须的

 for i in $(docker ps --filter name=flink --format={{.ID}}); do docker cp /path/to/data.csv $i:/data.csv done

  3:运行job

docker exec -it $(docker ps --filter name=flink-jobmanager --format={{.ID}}) flink run -c /job.jar 

 也可以访问Web页面http://ip:8081

 

5:停止Flink集群

docker-compose down shuts down the cluster.