消费者

1：订阅主题和分区

KafkaConsumer.subscribe有下面四种方法，

可以一次性订阅多个主题，并且自定义在均衡监听器方法(ConsumerRebalanceListener)，subscribe(Pattenr)可以传一个正则表达式，订阅多个符合条件的主题

public void assign(Collection partitions) 也可以订阅消息，但是他订阅的是分区，TopicPartition对象中只有 partition 和topic两个字段。但是他没有再均衡监听器的方法（使用KafkaConsumer.partitionsFro(topic)可以查询到该topic下所有的分区信息。）

有订阅就会有取消，KafkaConsumer.unsubscribe()方法可以取消订阅，可以取消通过subscribe方法订阅的，也可以取消assign 方式订阅的。

2：位移提交(offset)

在旧的客户端中，kafka 的offset 是存储在zookeeper中的，而新的客户端是存在kafka内部的主题_consumer_offsets 中的。

position：下次拉取数据的位置

lastConsumedOffset：当前消费的位置

committed offset:提交的位移

2.1：自动提交：

正常来说position = committed offset = lastConsumedOffset+1，但是并不是所有条件下position = committed offset 都相同，因为kafka 的poll方法是批量拉取的未消费的数据，而且offset是自动提交的，而且这个提交不是每次拉取消息都会提交的，默认是5s提交一次（enable.auto.commit 自动提交默认为true auto.commit.interval.ms 定期提交配置默认为5s，在自动提交生效的时候才生效）

如上图所示，消费到x+5的时候消费者down掉，并且没有提交offset ，当消费者重新恢复之后，就会冲x+2处重新拉取数据。

2.2：手动提交

手动提交分为同步commitSync()和异步commitAsync()

commitSync分为两种，一种是不带参数commitSync()，一种是带有参数commitSync(final Map offsets) 两种

commitSync()如下：

commitSync(final Map offsets)如下

实际上很少使用这种每消费一条消息，就提交一次offset的，一般都是批量提交。

3：指定位移消费

3.1：参数：auto.offset.reset 新建消费者组或者一个消费者组内一个新的消费者订阅了一个新的住，这种情况下获取不到offset 和消费越界的时候参数 auto.offset.reset参数可以指定从消息头开始消费（earliest），还是消息队列末尾消费(latest) 。还有一个参数none 这意味着如果获取不到offset 既不从头获取也不从末尾开始而是抛出异常NoOffsetForPartitionException

3.2：seek(TopicPartition partition , long offset)只能重置分配到的分区的offset