flink读取kafka数据

前言

在实际生产环境中，经常需要使用flink读取外部的数据源作为数据的输入流，其中kafka就是重要的实时数据源，flink可以通过消费kafka指定的topic数据达到实时处理的目的，下面演示如何使用flink读取kafka的数据

环境准备

1、安装并启动zk服务

这个相信基本上都会了，就不再演示了

2、安装并启动kafka

本文为演示方便，直接使用docker快速启动一个kafka的容器，可以执行如下命令

docker run -d --name my_kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=ZK公网IP:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://ZK公网IP:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka

注意执行上面的命令之前，确保zk已经启动

docker命令执行完毕后，检查kafka容器是否创建成功