Kafka学习笔记

Kafka消费者：
1. 默认自动提交offset，可能会造成消息丢失，因为是延迟提交，也有可能会造成消息重复
2. offset保存在_consumer_offsets主题中(zookeeper不适合频繁的写操作)，如果新建消费组，或者是新订阅了一个主题，或者是因为主题中关于这个消费组的位移过期删除后，
会根据配置决定从何处拉取消息，默认是latest表示从分区末尾消费消息，配置auto.offset.reset=earliest则表示从消息起始处开始消费
3. 如果配置为none，找不到消费位移，则会报ConfigException异常
4. 可以根据seek方法进行消息回溯。seek只能重置消费者分配到的分区的消费位置，而分区分配是在poll方法的调用过程中实现的，也就是说
执行seek需要先执行一次poll，kafkaConsumer提供了seekToBeginning(),seekToEnd()来从头或者是从尾开始消费，也可以通过offsetsForTimes()查询多久时间之前的offset
5.在均衡是分区的所属权从一个消费者转移到另一个消费者的行为，在均衡发生期间，消费者组内的消费者无法读取消息。在均衡也可能会导致消息的重复消费
6.消费者拦截器的onConsume发生在poll返回之前，onCommit发生在提交offset之后,可以通过消费者拦截器来实现TTL，即过期时间消息过滤的功能
7.KafkaConsumer是非线程安全的，KafkaProducer是线程安全的，consumer通过atomicInteger来保存线程id，如果线程不是当前线程，则会抛出异常
    如果生产速度大于消费者速度，那么当消息积压被清理之后，可能会造成消息丢失