KafKa java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V

问题

在初用spark streaming 1.5.2 自带的low level 连接kafka例子（JavaDirectKafkaWordCount）时，出现如下错误：

java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V

at org.apache.kafka.common.message.KafkaLZ4BlockInputStream.read(KafkaLZ4BlockInputStream.java:176)

根据网上的解答，这是因为kafka用了1.2版本lz4,  但是程序运行时使用了1.3版的lz4。 由于两个版本中的checkRange方法差异大，1.3版的Utils类没有checkRange方法了，所以报NoSuchMethodError。参见这里。

修改lz4版本

查看项目依赖了哪个版本的lz4： mvn dependency:tree

发现程序用了spark-core中的net.jpountz.lz4, 是1.3版的，而不是kafka对应的1.2版，所以出错。

于是我将net.jpountz.lz4 从spark-core中去除：

重新查看lz4的依赖关系：mvn dependency:tree

上图可以看出已经使用了1.2版的lz4。

问题依旧

修改版本号后重新在yarn中运行，发现还是报“java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V” 这个错。

这说明程序还是用的1.3版lz4, 这是什么原因呢？

问题解决 spark.yarn.user.classpath.first=true

我从这篇博客得到启发，很可能1.2版的lz4被yarn自带hadoop jar包中的1.3版lz4覆盖了。于是我参照那篇博客，在spark-submit 命令中设置spark.yarn.user.classpath.first=true :

--conf spark.yarn.user.classpath.first=true \

--jars /your path/spark-streaming-kafka_2.10-1.5.2.jar \

这样设置后yarn中优先使用用户传上去的jar包，保证了lz1.2不被覆盖。yarn中的environment UI可以看到优先使用了spark-streaming-kafka_2.10-1.5.2.jar:

结论

解决本问题的需要两步：

1.在pom.xml中尽量去除1.3版的lz4， 可以使用maven的去除。

2.在yarn上运行是设置“spark.yarn.user.classpath.first=true”参数，保证1.2版的lz4优先被使用, 不被hadoop相关jar包中的lz4覆盖。