Flink: 如何使用 docker-compose 来启动和测试服务？

Apache Flink 是一款著名的流式计算引擎，但是它的使用 docker-compose 的教学文档写得不是很清晰，导致我花了几个小时才搞明白如何使用 docker-compose 来运行例子程序。

为了让大家不再重蹈覆辙，我记录下下面的方法供大家入门。

运行 session-cluster

文档中推荐了 application cluster 和 session cluster。 Application cluster 用于专门跑某个程序，配置较为复杂。我推荐大家使用 session cluster 来上手。下面是 session cluster 的 docker-compose.yml 文件：

version: "2.2"
services:
  jobmanager:
    image: flink:latest
    ports:
      - "8181:8081"
    command: jobmanager
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager        

  taskmanager:
    image: flink:latest
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 1
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 2     

Flink 默认使用 8081 端口作为 web UI 的端口，由于 8081 端口比较常用，我把 docker 对外端口改为了 8181.

使用上面的内容创建 docker-compose.yml 然后进入 docker-compose.yml 所在的文件夹运行下面的命令：

docker-compose up -d

服务就启动了。使用下面的命令可以看到 Flink 的 Job Manager 和 Task Manager 容器。

docker ps | grep flink

使用 Flink 命令行工具运行 WordCount 例子程序

运行下面的命令进入 task manager 容器，请注意使用您运行的docker 容器的编号，下面的编号是我运行时的编号 （9e96076c0593 ）

docker exec -it 9e96076c0593 /bin/bash

进入容器后，当前文件夹是 /opt/flink

运行下面的命令启动 WordCount 作业

./bin/flink run ./examples/streaming/WordCount.jar --output wordcount.txt

输入下面的命令，检查运行结果：

cat wordcount.txt

使用 Flink Web UI 运行 WordCount 例子程序

我们还可以使用 Flink Web UI 提交作业，还可以监控作业的状态。在浏览器中输入下面的 url

http://your_flink_ip:8181

点击 Submit New Job -> Add New，上传 WordCount.jar 文件。你可以通过下面的网址下载 flink 压缩包，或者从 docker 容器中的 opt/flink/examples/streaming 文件夹找到它。

https://flink.apache.org/downloads.html

填写 --output wordcount2.txt 到命令行参数中，如下图所示。

点击 submit 开始执行任务。任务执行结束后，我们可以进入 task manager 容器检查结果，这里就不再赘述了。

结论

本文介绍了如何使用 docker-compose 运行 Flink 例子程序的方法。读者可以进入 docker 容器直接执行或者使用 web UI 来提交作业。