flink kafka自定义反序列化

       flink kafka实时流计算时,通常会有将多个topic数据接入计算,而这时通常需要区分消息属于哪个topic进行针对处理。spark默认就将topic信息同kafka 消息一起提供出来了,flink 提供的SimpleStringSchema反序列化默认只将消息输出,topic信息没有,JSONKeyValueDeserializationSchema类提供了topic消息,要求消息体为json。 当这些不能满足时,flink也提供了序列化和反序列化接口KeyedDeserializationSchema和KeyedSerializationSchema,可以自定义实现。我们一般都是从kafka消费消息自定义实现KeyedDeserializationSchema接口就可以了。

   直接上代码:

public class KafkaDeserializationTopicSchema implements KeyedDeserializationSchema> {


    public KafkaDeserializationTopicSchema(){

    }
    @Override
    public Tuple3 deserialize(byte[] keyByte, byte[] message, String topic, int partition, long offset) throws IOException {
        String key = null;
        String value = null;
        if (keyByte != null) {
            key = new String(keyByte, StandardCharsets.UTF_8);
        }
        if (message != null) {
            value = new String(message,StandardCharsets.UTF_8);
        }

        return new Tuple3(topic,key, value);
    }

    @Override
    public boolean isEndOfStream(Tuple3 o) {
        return false;
    }

    @Override
    public TypeInformation getProducedType() {
        return TypeInformation.of(new TypeHint>(){});
    }

KeyedDeserializationSchema提供了messageKey,message, topic,partition,offset 信息,你可以根据自己的需求自定义输出。

你可能感兴趣的:(flink)