关于hadoop:2.6.0-cdh5.16.2与hive1.1.0-cdh5.16.2兼容springboot问题

        关于这两个大数据组件的版本与springboot的兼容问题折腾了好久,最后终于成功了。具体的pom.xml的配置如下:

        



    
        cidiserv
        com.cidi
        ${revision}
    
    4.0.0
    cidiserv_dataprocessing
    数据处理

    
        
            cloudera
            http://repository.cloudera.com/artifactory/cloudera-repos
        
    

    
        
            com.cidi
            cidiserv_common
            ${revision}
        
        
            com.cidi
            cidiserv_common
            ${revision}
        
        
            org.apache.hadoop
            hadoop-common
            2.6.5
            
                
                    org.apache.hadoop
                    hadoop-annotations
                
                
                    jdk.tools
                    jdk.tools
                
                
                    servlet-api
                    javax.servlet
                
                
                    org.apache.logging.log4j
                    log4j-slf4j-impl
                
                
                    org.slf4j
                    slf4j-log4j12
                
                
                    org.apache.log4j
                    org.apache.hive.org.apache.log4j
                
                
                    log4j
                    log4j
                
            
        
        
            com.alibaba
            druid
            1.2.11
            system
            ${pom.basedir}/src/lib/druid-1.2.11.jar
        
        
            org.apache.hive
            hive-jdbc
            1.1.0 
            
                
                    org.eclipse.jetty.aggregate
                    *
                
                
                    org.apache.logging.log4j
                    log4j-slf4j-impl
                
                
                    org.slf4j
                    slf4j-log4j12
                
                
                    org.apache.log4j
                    org.apache.hive.org.apache.log4j
                
                
                    log4j
                    log4j
                
            
        
        
            org.springframework.boot
            spring-boot-starter-jdbc
            
                
                    org.apache.logging.log4j
                    log4j-to-slf4j
                
            
        
    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
                
                    true
                
            
        
    

其中,hadoop引入的版本是2.6.5,hive引入的版本是1.1.0,启动springboot及连接hive均正常

关于hadoop:2.6.0-cdh5.16.2与hive1.1.0-cdh5.16.2兼容springboot问题_第1张图片

关于hadoop:2.6.0-cdh5.16.2与hive1.1.0-cdh5.16.2兼容springboot问题_第2张图片

        期间尝试过引用cdh版本的,但下载不下来,只能通过jar包去引用,引用后,和srpingboot内置的tomcat有冲突,springboot启动不起来。在引用jar包的情况下,通过exclutions标签去除冲突的jar包,不起作用。

        折腾了很久,终于可以了

# 博学谷IT 技术支持

你可能感兴趣的:(java,开发语言)