sparkStreaming消费kafka时发生"java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange"的解决办法

问题描述：

开发环境为spark2.0 + kafka0.8，spark-streaming-kafka-0-8-assembly_2.11.jar
sparkStreaming消费kafka时遇到如下错误：
18/02/27 10:19:17 WARN ReceiverSupervisorImpl: Reported error Error handling message; exiting - java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V
18/02/27 10:19:17 WARN ReceiverTracker: Error reported by receiver for stream 0: Error handling message; exiting - java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V
at org.apache.kafka.common.message.KafkaLZ4BlockInputStream.read(KafkaLZ4BlockInputStream.java:176)

问题原因：

1.spark2.0用到了lz4-1.3.0.jar，kafka0.8用到了lz4-1.2.0.jar，而程序运行时使用的是lz4-1.3.0.jar。
2.lz4-1.3.0.jar包中net.jpountz.util.Utils 类中没有checkRange，该方法位于net.jpountz.util.SafeUtils和net.jpountz.util.UnsafeUtils.(lz4-1.2.0.jar包有net.jpountz.util.Utils.checkRange​，但使用lz4-1.2.0.jar spark环境会有问题​)

解决方法：

1.重新编译org.apache.kafka.common.message.KafkaLZ4BlockInputStream类，将调用net.jpountz.util.Utils.checkRange方法的地方改为 net.jpountz.util.SafeUtils.checkRange

2.将编译后的class文件覆盖spark-streaming-kafka-0-8-assembly_2.11.jar包的文件

参考：

 https://github.com/apache/kafka/commit/69269e76a43adf85a478240280c6ab3c7eef4d8e

 https://stackoverflow.com/questions/48446773/nosuchmethoderror-with-spark-streaming-2-2-0-and-kafka-0-8