Kafka消费者-代码示例和参数设置

参数 :

env.addSource(new Kafka Consumer/Source(参数))

参数设置 :

1.订阅的主题
2.反序列化规则
3.消费之属性-集群地址
4.消费者属性-消费者组ID(如果不设置,会有默认的,但是默认的不方便管理)
5.消费之属性-offset重置规则,如earliest/latest…
6.动态分区检测(当Kafka的分区数变化、增加时,Flink能够检测到!)
7.如果没有设置Checkpoint,那么可以设置自动提交offset,后续学习了Checkpoint会把offset随着做Checkpoint的时候提交到Checkpoint和默认主题中

示例代码

 ···
 package cn.itcast.connectors;

import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;

import java.util.Properties;

/**
 * Author itcast
 * Desc 演示Flink-Connectors-KafkaComsumer

你可能感兴趣的:(Kafka,kafka,java,分布式,flink)