demo flink写入kafka_Flink读写Kafka

Flink读写Kafka

在Flink中，我们分别用Source Connectors代表连接数据源的连接器，用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。

Apache Kafka Source Connectors

Apache Kafka 是一个分布式的流平台，其核心是一个分布式的发布-订阅消息系统，被广泛用于消费与分发事件流。

Kafka将事件流组织成为topics。一个topic是一个事件日志(event-log)，保证读入事件的顺序为事件写入的顺序。为了实现可扩展，topic可以被分为多个partition，并分布在集群中的各个节点中。但是在topic分区后，由于consumers可能会从多个partition读入数据，所以此时只能在partition级别保证事件的顺序。在Kafka中，当前读的位置称为偏移量(offset)。

可以通过sbt或maven构建Flink Kafka connector 的依赖，下面是一个sbt的例子：

// https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafkalibraryDependencies+= "org.apache.flink"%% "flink-connector-kafka"% "1.8.1"

Flink Kafka connector以并行的方式读入事件流，每个并行的source

task 都可以从一个或多个partition读入数据。Task对于每个它当前正在读的partition，都会追踪当前的offset，并将这些of