Spark2.0.0与Elasticsearch6.5的jar包冲突问题

1. 问题

在工作中，多次遇到了jar包冲突的情况，就以这个为例，整理下解决思路。

现有某Spark程序，从Elasticsearch中读取数据进行后续的各种分析。当Spark版本是2.0.0，Elasticsearch的版本是5.2的时候，程序能够正常运行；后来由于项目需要，将Elasticsearch版本升级到了6.5，而Spark版本依然是2.0.0，此时出现了以下情况，异常如下：

image.png

2. 问题分析和解决方案

上述异常其实是NoSuchMethodError，jar包冲突还表现为ClassNotFoundException、NoClassDefFoundError等情况。
针对本次遇到的NoSuchMethodError的问题，主要是两种情况引起的：

1. 存在该类，但是类中的方法不存在；
2. 存在多个包含该类的jar包，造成冲突。

分析如下：

2.1 查看该类在哪个jar包下

本次使用的是Eclipse进行开发的，可以按住快捷键 Ctr+Shift+t 查找项目中引用的jar包中哪些包含该类，弹出来如下窗口，输入异常中的类名：io.netty.buffer.CompositeByteBuf

1936008-27319916bfa8887c.png

从检索结果中可以看出，netty-buffer-4.1.30.Final.jar和netty-all-4.0.29.Final.jar都包括这个类。
在依赖包下看到引入顺序是先引入netty-all-4.0.29.Final.jar再引入netty-buffer-4.1.30.Final.jar

image.png

点进去每个jar包看了下该类下的方法，发现两个jar包都有报错中的方法存在，这就很奇怪了，修改的方法有两种：
1）将低版本删除，也就是删除了netty-all-4.0.29.Final.jar ，再次运行程序正常；
2）将netty-buffer-4.1.30.jar的引用顺序挪到netty-all-4.0.29.jar的上面，问题得以解决。
此时local 模式异常得以解决。

此处有一点不明白为什么都包含该方法却提示方法不存在。有没有大神可以解释下。

如果是在Linux环境，可以采用如下命令检测某个类是否在某个jar包下：

jar -tf xxxxx.jar | grep "io.netty.buffer.CompositeByteBuf"

image.png

同样可以采用反编译软件jd-gui反编译jar包，查看是否包含某个类和类中的方法。

2.2 Spark Standalone集群运行异常

将程序打包到Spark集群，启动方式为Standalone-client模式，脚本如下：

1936008-8565dd661dc7b110.png

就出现一个问题，上面解决方案中删除的是netty-all-4.0.29.Final.jar或者调整引用顺序，这个包其实是Spark2.0所依赖的包；

我们知道yarn集群的Spark程序是先加载Spark集群上每个节点的{Spark_HOME}/jar的包，再加载程序中依赖的其他jar包。为了保证Spark下低版本的netty不会覆盖程序中ES依赖的高版本netty，可以采用配置启动参数，保证先加载用户程序依赖的jar包：

spark.executor.userClassPathFirst=true
spark.driver.userClassPathFirs=true

运行之后，出现异常如下：

image.png

异常栈里的类io.netty.util.ReferenceCountUtil检测了下是存在netty-all-4.0.29.Final.jar类中的，由于上面采用高版本的netty4.1覆盖了低版本的netty4.0导致了这种问题出现，最终的解决方案是升级Spark到2.3.0版本，该版本的Spark的netty包和Elasticsearch的netty包都是4.1版本。问题得以解决。如下图为maven repository下Spark2.3.0运行库的jar包。

image.png