kafka监听topic消费_Spring-Kafka（六）—— @KafkaListener的花式操作
消息监听
对于Kafka中Topic的数据消费，我们一般都选择使用消息监听器进行消费，怎么把消息监听器玩出花来呢，那就得看看它所实现的功能了。
Spring-Kafka中消息监听大致分为两种类型，一种是单条数据消费，一种是批量消费；两者的区别只是在于监听器一次性获取消息的数量。GenericMessageListener是我们实现消息监听的一个接口，向上扩展的接口有非常多，比如：单数据消费的MessageListener、批量消费的BatchMessageListener、还有具备ACK机制的AcknowledgingMessageListener和BatchAcknowledgingMessageListener等等。接下来我们就一一解析一下。
GenericMessageListener
这里可以看到GenericMessageListener使用注解标明这是一个函数式接口，默认实现了三种不同参数的onMessage方法。data就是我们需要接收的数据，Consumer则是消费者类，Acknowledgment则是用来实现Ack机制的类。这里需要注意一下的是，Consumer对象并不是线程安全的。
@FunctionalInterface
public interface GenericMessageListener {
void onMessage(T var1);
default void onMessage(T data, Acknowledgment acknowledgment) {
throw new UnsupportedOperationException("Container should never call this");
}
default void onMessage(T data, Consumer, ?> consumer) {
throw new UnsupportedOperationException("Container should never call this");
}
default void onMessage(T data, Acknowledgment acknowledgment, Consumer, ?> consumer) {
throw new UnsupportedOperationException("Container should never call this");
}
}
接下来先浏览一下继承了GenericMessageListener接口的类。前缀为Batch的接口都是批处理类型的消息监听接口，里面的参数也都讲解过了
public interface MessageListener {
void onMessage(ConsumerRecord data);
}
public interface AcknowledgingMessageListener {
void onMessage(ConsumerRecord data, Acknowledgment acknowledgment);
}
public interface ConsumerAwareMessageListener extends MessageListener {
void onMessage(ConsumerRecord data, Consumer, ?> consumer);
}
public interface AcknowledgingConsumerAwareMessageListener extends MessageListener {
void onMessage(ConsumerRecord data, Acknowledgment acknowledgment, Consumer, ?> consumer);
}
public interface BatchMessageListener {
void onMessage(List> data);
}
public interface BatchAcknowledgingMessageListener {
void onMessage(List> data, Acknowledgment acknowledgment);
}
public interface BatchConsumerAwareMessageListener extends BatchMessageListener {
void onMessage(List> data, Consumer, ?> consumer);
}
public interface BatchAcknowledgingConsumerAwareMessageListener extends BatchMessageListener {
void onMessage(List> data, Acknowledgment acknowledgment, Consumer, ?> consumer);
}
在把@KafkaListener玩出花前，我们还需要了解怎么使用非注解方式去监听Topic。
我们在创建监听容器前需要创建一个监听容器工厂，这里只需要配置一下消费者工厂就好了
，之后我们使用它去创建我们的监听容器。consumerFactory()这个参数在之前就已经定义过了，这里就不重复贴代码了。
@Bean
public ConcurrentKafkaListenerContainerFactory kafkaListenerContainerFactory() {
ConcurrentKafkaListenerContainerFactory factory = new ConcurrentKafkaListenerContainerFactory<>();
factory.setConsumerFactory(consumerFactory());
return factory;
}
有了监听容器工厂，我们就可以使用它去创建我们的监听容器
Bean方式创建监听容器
@Bean
public KafkaMessageListenerContainer demoListenerContainer() {
ContainerProperties properties = new ContainerProperties("topic.quick.bean");
properties.setGroupId("bean");
properties.setMessageListener(new MessageListener() {
private Logger log = LoggerFactory.getLogger(this.getClass());
@Override
public void onMessage(ConsumerRecord record) {
log.info("topic.quick.bean receive : " + record.toString());
}
});
return new KafkaMessageListenerContainer(consumerFactory(), properties);
}
启动项目我们可以看一下控制台的日志，监听容器成功分配给某个消费者的结果很清晰的显示出来了，顺便就写个测试方法测试一下监听器能不能正常运行。
2018-09-11 10:36:15.732 INFO 1168 --- [erContainer-C-1] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-4, groupId=bean] Successfully joined group with generation 1
2018-09-11 10:36:15.733 INFO 1168 --- [erContainer-C-1] o.a.k.c.c.internals.ConsumerCoordinator : [Consumer clientId=consumer-4, groupId=bean] Setting newly assigned partitions [topic.quick.bean-0]
2018-09-11 10:36:15.733 INFO 1168 --- [erContainer-C-1] o.s.k.l.KafkaMessageListenerContainer : partitions assigned: [topic.quick.bean-0]
@Test
public void test() {
kafkaTemplate.send("topic.quick.bean", "send msg to beanListener");
}
@KafkaListener参数讲解
在前几章入门的时候就已经写过一个用@KafkaListener注解实现监听的代码，这里就贴一下之前写的代码
@KafkaListener(id = "demo", topics = "topic.quick.demo")
public void listen(String msgData) {
log.info("demo receive : "+msgData);
}
使用@KafkaListener这个注解并不局限于这个监听容器是单条数据消费还是批量消费，区分单数据还是多数据消费只需要配置一下注解的containerFactory属性即可，先讲解一下这个监听方法都能接收写什么参数吧。
data ： 对于data值的类型其实并没有限定，根据KafkaTemplate所定义的类型来决定。data为List集合的则是用作批量消费。
ConsumerRecord：具体消费数据类，包含Headers信息、分区信息、时间戳等
Acknowledgment：用作Ack机制的接口
Consumer：