记录解决spark任务提交集群jar冲突

1、guava包冲突
解决方法：spark各个节点版本为guava-14.0，我把spark各个节点本地jar删掉，上传guava-23.5-jre.jar，即可解决。

2、netty包冲突

解决方法：ES集成search-guard安全认证使用到netty包，和spark的netty-all-4.0.29.Final.jar冲突，试过把spark集群的jar包删掉，换我项目的netty包，但是spark作业会报错，后来找到一种解决冲突的方法，使用maven的插件对我项目的jar包路径进行更改，不会出现冲突情况。具体代码如下：

pom文件添加：
   	
	
	
            org.apache.maven.plugins
            maven-shade-plugin
            3.1.0
            
                
                    package
                    
                        shade
                    
                    
                        
                            
                                io.netty
                                my_netty.common
                            
                        
                        
                            
                                *:*
                                
                                    META-INF/maven/**
                                
                            
                        
                    
                
            
        
    

最后通过mvn package打包项目就可以了。

检查打好的jar包，会发现io.netty的路径已经变化了

最后问题已解决