一文带你理解Kafka的Header

Header简介

Kafka从 0.11.0.0 版本开始提供了一种在生产者和消费者之间传递元数据的机制，叫做 Kafka header。使用这个机制，你可以在消息中添加一些与数据内容无关的附加信息，如消息的来源、类型、版本、生产时间、过期时间、分区数、用户 ID 等等。
Kafka header 是由一个或多个键值对组成的列表，每个键值对都称为 header。 消息可以包含零个或多个 header。
下面是一些简单的理解 Kafka header 的方式：

• Kafka header 可以看作是消息的元数据，因为它们不包含实际可用的消息负载。
• Kafka header 的作用类似于 HTTP 或者 TCP/IP 协议中的 header 头部，在消息中添加一些描述性信息，方便消费者解析和处理消息。
• Kafka header 的使用并不是强制性的。你完全可以不使用它们，只发送负载数据。
• Kafka header 不同于消息的 key 和 value，因为它们与数据的生命周期无关。

Header使用场景

1. 消息追踪
   通过在Header中添加一个全局唯一的ID，可以跟踪消息在整个应用系统中的传递轨迹。

   ProducerRecord record = new ProducerRecord<>("mytopic", "myvalue");
   record.headers().add("messageId", UUID.randomUUID().toString().getBytes());
   producer.send(record);
   

   在消费消息的时候，可以获取到消息的KafkaHeader，并从中提取出消息ID进行追踪：

   ConsumerRecords records = consumer.poll(Duration.ofMillis(100));
   for (ConsumerRecord record : records) {
       Headers headers = record.headers();
       String messageId = new String(headers.lastHeader("messageId").value());
       System.out.println("Received message with ID: " + messageId);
   }
   

2. 消息路由
   Header可以为消息添加一个路由键，在消息传递的过程中，可以根据这个路由键进行消息的路由。

   ProducerRecord record = new ProducerRecord<>("mytopic", "myvalue");
   record.headers().add("routeKey", "myroutekey".getBytes());
   producer.send(record);
   

   在消费消息的时候，消费者可以根据路由键过滤出需要消费的消息：

   ConsumerRecords records = consumer.poll(Duration.ofMillis(100));
   for (ConsumerRecord record : records) {
       Headers headers = record.headers();
       String routeKey = new String(headers.lastHeader("routeKey").value());
       if (routeKey.equals("myroutekey")) {
           //process the message
       }
   }
   

3. 传递消息元数据
   Header可以在消息传递过程中携带一些重要的元数据，这些元数据可以用于解释消息的内容或者处理方式。

   ProducerRecord record = new ProducerRecord<>("mytopic", "myvalue");
   record.headers().add("content-type", "text/plain".getBytes());
   producer.send(record);
   

   在消费消息的时候，可以从KafkaHeader中提取出content-type元数据，来解释消息的内容格式：

   ConsumerRecords records = consumer.poll(Duration.ofMillis(100));
   for (ConsumerRecord record : records) {
       Headers headers = record.headers();
       String contentType = new String(headers.lastHeader("content-type").value());
       if (contentType.equals("text/plain")) {
           //process the message
       }
   }
   

Java使用Header案例

1. 生产者

   package com.byd.dev.kfk;
   
   import org.apache.hadoop.security.UserGroupInformation;
   import org.apache.kafka.clients.producer.KafkaProducer;
   import org.apache.kafka.clients.producer.ProducerConfig;
   import org.apache.kafka.clients.producer.ProducerRecord;
   import org.apache.kafka.common.header.Header;
   import org.apache.kafka.common.header.internals.RecordHeader;
   import org.apache.kafka.common.serialization.StringSerializer;
   
   import java.io.IOException;
   import java.security.PrivilegedAction;
   import java.util.ArrayList;
   import java.util.List;
   import java.util.Properties;
   import java.util.Scanner;
   
   public class HeaderProducer {
       public static void main(String[] args) {
           // kerberos认证
           System.setProperty("java.security.krb5.conf", "D:/demo/krb5.conf");
           System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");
           System.setProperty("java.security.auth.login.config", "D:/demo/jaas.conf");
           try {
               UserGroupInformation.loginUserFromKeytab("c.dev.hdfs", "D:/demo/demo.keytab");
               UserGroupInformation.getCurrentUser().doAs(new PrivilegedAction