一个Hive curator-client.jar包冲突问题排查解决

开发环境比较乱
昨天遇到hiveserver2启动失败，查看日志报错java.lang.NoSuchMethodError: org.apache.curator.shaded.com.google.common.util.concurrent.MoreExecutors.sameThreadExecutor()

2022-07-04T20:14:53,315 WARN  [main]: server.HiveServer2 (HiveServer2.java:startHiveServer2(1100)) - Error starting HiveServer2 on attempt 1, will retry in 60000ms
java.lang.NoSuchMethodError: org.apache.curator.shaded.com.google.common.util.concurrent.MoreExecutors.sameThreadExecutor()Lorg/apache/curator/shaded/com/google/common/util/concurrent/ListeningExecutorService;
    at org.apache.curator.framework.listen.ListenerContainer.addListener(ListenerContainer.java:41) ~[curator-framework-2.12.0.jar:?]
    at org.apache.curator.framework.imps.CuratorFrameworkImpl.start(CuratorFrameworkImpl.java:257) ~[curator-framework-2.12.0.jar:?]
    at org.apache.hive.service.server.HiveServer2.startZookeeperClient(HiveServer2.java:484) ~[hive-service-3.1.0.3.0.1.0-187.jar:3.1.0.3.0.1.0-187]
    at org.apache.hive.service.server.HiveServer2.addServerInstanceToZooKeeper(HiveServer2.java:508) ~[hive-service-3.1.0.3.0.1.0-187.jar:3.1.0.3.0.1.0-187]
    at org.apache.hive.service.server.HiveServer2.start(HiveServer2.java:720) ~[hive-service-3.1.0.3.0.1.0-187.jar:3.1.0.3.0.1.0-187]
    at org.apache.hive.service.server.HiveServer2.startHiveServer2(HiveServer2.java:1073) [hive-service-3.1.0.3.0.1.0-187.jar:3.1.0.3.0.1.0-187]
    at org.apache.hive.service.server.HiveServer2.access$1700(HiveServer2.java:135) [hive-service-3.1.0.3.0.1.0-187.jar:3.1.0.3.0.1.0-187]
    at org.apache.hive.service.server.HiveServer2$StartOptionExecutor.execute(HiveServer2.java:1341) [hive-service-3.1.0.3.0.1.0-187.jar:3.1.0.3.0.1.0-187]
    at org.apache.hive.service.server.HiveServer2.main(HiveServer2.java:1185) [hive-service-3.1.0.3.0.1.0-187.jar:3.1.0.3.0.1.0-187]
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_181]
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_181]
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_181]
    at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_181]
    at org.apache.hadoop.util.RunJar.run(RunJar.java:318) [hadoop-common-3.1.1.3.0.1.0-187.jar:?]
    at org.apache.hadoop.util.RunJar.main(RunJar.java:232) [hadoop-common-3.1.1.3.0.1.0-187.jar:?]

发生这种错误一般都是jar包版本冲突
正常来说，org.apache.curator.shaded.com.google.common.util.concurrent.MoreExecutors这个类应该在curator-client-2.12.0.jar中
推测可能是存在其他版本的curator-client.jar，且MoreExecutors类中没有sameThreadExecutor方法

hive的启动日志中会打印classpath：

这里截图只能截取到一部分，实际classpath内容非常多，路径分散于多个目录中，难于查看
针对classpath进行搜索，并没有发现其他版本的curator-client.jar
直接使用find命令在服务器搜寻，倒是发现好多个不同版本的jar包，逐个下载到本地反编译查看，只有pulsar目录下的org.apache.curator-curator-client-5.1.0.jar是有问题的jar包，但是这个jar包不可能被hive加载，而且也验证排除了是这个jar包的可能性

花费了大量时间人肉搜索却得不到答案，一度开始怀疑自己。
按照经验来说，肯定是加载了不同版本的jar包，但是却怎么也找不到

陷入困境的时候突然想到，既然class是由JVM加载的，那JVM自己肯定知道这个class在哪个jar包中，最好就是让JVM来告诉我们答案，印象中JDK有提供的相应的API的
网上搜了下很快就得到答案：Java通过class文件得到所在jar包

自己新建一个maven工程来验证一下
pom.xml:

    4.0.0
 
    com.tianzy.test
    hive_test
    1.0-SNAPSHOT
 
    
        8
        8
    
 
    
        
            org.apache.hive
            hive-exec
            3.1.2
        
    
 
    
        
            
                
                org.apache.maven.plugins
                maven-jar-plugin
                3.1.0
                
                    
                        
                            false

                            com.tianzy.test.Test
                        
                    
                
            
        
    
 

Test.java

package com.tianzy.test;
 
public class Test {
    public static void main(String[] args) {
            String filePath = org.apache.curator.shaded.com.google.common.util.concurrent.MoreExecutors.class.getProtectionDomain().getCodeSource().getLocation().getFile();
            System.out.println(filePath);
    }
}

本地运行Test.java，输出：/D:/data/soft/apache-maven-3.6.1/repository/org/apache/curator/curator-client/2.12.0/curator-client-2.12.0.jar
符合预期

通过mvn package命令打包成hive_test-1.0-SNAPSHOT.jar，上传到服务器上，放到/tmp/test/目录下

然后还要解决classpath的问题，要保证这个测试程序执行的classpath和hiveserver2的完全一样
还好hiveserver2的启动日志中有打印classpath，直接copy出来即可
不过由于这里的classpath非常长，手动选择copy是不可行的，不过可以通过vim命令来操作：

先vim /var/log/hive/hiveserver2.log /tmp/test/classpath.txt
然后定位到classpath那一行日志后，按yy复制行
然后:n跳转到下一个文件，按p进行粘贴
再去掉前面那些无用字符，只保留等号后面的部分

(后面发现其实用jinfo pid | grep java.class.path 可以更方便拿到)

这样/tmp/test/classpath.txt文件里面就有和hiveserver2完全相同的classpath了

执行命令：

cd /tmp/test
CLASSPATH=`cat classpath.txt`
export CLASSPATH=$CLASSPATH:/tmp/test/hive_hook_test-1.0-SNAPSHOT.jar
java com.tianzy.test.Test

输出：/data/hdp/3.0.1.0-187/hbase/lib/geomesa-hbase-distributed-runtime-hbase2_2.11-3.4.0.jar

下载下来反编译查看：

可以看到这个jar包里面确实是有org.apache.curator.shaded.com.google.common.util.concurrent.MoreExecutors这个类，但是类里面没有sameThreadExecutor方法
比较过分的是，这是一个fat jar，把它所依赖的一些jar包全打在了这个jar包里面
一般来说fat jar是用来作为独立jar包运行，而不应该作为依赖包被引入

这个jar包是有人之前做测试的时候弄的，现在已经不用了
直接删掉这个jar包，然后再启动hiveserver2，可以正常启动了