Flink如何使用DataStreamAPI消费Kafka

1、到官网查询所在版本的依赖，导入pom.xml(在此用Flink1.13) 官网->教程->connectors->datastream->kafka

网址：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/datastream/kafka/

<dependency>
    <groupId>org.apache.flinkgroupId>
    <artifactId>flink-connector-kafka_2.11artifactId>
    <version>1.13.6version>
dependency>

2.在此页面找到Kafka source 示例代码，将此代码填充至类中并将其具体参数修改即可

 //如果方法在返回值的位置声明了泛型，此时在调用这个方法时，需要在方法名前补充泛型KafkaSource.builder()
        KafkaSource<String> source = KafkaSource.<String>builder()
                .setBootstrapServers("hadoop102:9092") //集群地址,写一个也行，多个也行
                .setTopics("first")//消费的主题
                .setGroupId("my-group")//消费者组id
                /*设置起始偏移量有以下几种情况：
                  1.从指定的位置消费：OffsetsInitializer.offsets(Map< TopicPartition, Long> offsets)
                  2.从最新位置消费(最后一条处)：OffsetsInitializer.latest()
                  3.从最早位置消费(第一条处)：OffsetsInitializer.earliest()
                  4.从上次提交的位置消费：OffsetsInitializer.committedOffsets()
                  5.新的组，从来没有提交过,再指定一个消费方式：                    OffsetsInitializer.committedOffsets(OffsetResetStrategy.LATEST)
                 */
                 .setStartingOffsets(OffsetsInitializer.committedOffsets(OffsetResetStrategy.EARLIEST))//设置起始偏移量，也就是从哪里消费
                //由于大多数情况下key列没有值，所以只设置value的反序列化器即可
                .setValueOnlyDeserializer(new SimpleStringSchema()) //消费必须设置的Key-value的反序列化器
                .build();
         //用设置好的组件获取source
        env.fromSource(source, WatermarkStrategy.noWatermarks(), "Kafka Source");

需注意！

1、flink的kafkaSource默认是把消费的offsets提交到当前Task的状态中，并不会主动提交到kafka的——consumer_offsets中

所以，上述代码无论运行多少次消费的都是一样的内容，想要达到这次消费起始位置是上次消费的最后一条的情况

需要手动设置，把offsets提交到kafka一份

//设置额外的消费者参数
.setProperty("enable.auto.commit","true")//允许consumer自动提交offsets
.setProperty("auto.commit.interval.ms","1000")//每次提交的时间间隔

2、Job重启时，如果开启了Checjpoint，默认从哪Checkpoint中获取之前提交的offsets

​ 获取不到时，才会从kafka的_consumer_offsets中获取