spark Kafka 线程安全问题

KafkaConsumer is not safe for multi-threaded
报错内容：线程不安全
原因分析：Kafka consumer是非线程安全的
 

 

解决方法

1.(每个线程维护一个KafkaConsumer)，这个办法其实就是为缓存在map中的CachedKafkaConsumer对应的key增加了一个参数是线程id，使得不让多个线程使用同一个consumer。

2 .(单个(或多个)consumer，多个worker线程)对spark-streaming-kafka中的CacheKafkaConsumer进行了重构。

缺点

1.更多的TCP连接开销(每个线程都要维护若干个TCP连接)
consumer数受限于topic分区数，扩展性差
频繁请求导致吞吐量下降
线程自己处理消费到的消息可能会导致超时，从而造成rebalance

2.实现麻烦
通常难于维护分区内的消息顺序
处理链路变长，导致难以保证提交位移的语义正确性