spark scala maven打包方式，基于maven的spark项目配置(坑太多，只有自己来了)

介绍

  最近有个spark集群压测时小任务，因为习惯了用maven，所以打算用maven的scala依赖来写spark程序。很久没写scala代码有些生疏，代码写好了，打包一直运行不起来，网上搜了很多材料发现没用，有的用ide打包，体验不是很好。
  因此找了个之前自己写的一个项目，贴出来供大家参考和爬坑。

maven配合

如果要用maven依赖写scala程序，那么需要做相关的依赖，并且在build里面做一些配置才能打出可直接用spark-submit运行的jar。
pom.xml

    4.0.0

    com.bigdata.test.sync
    hdfs-to-es
    1.0-SNAPSHOT
    jar

    
        2.12.11
        2.7.5
        2.4.6
        5.6.2
        1.2.71
    


    
        
        
            org.scala-lang
            scala-library
            ${scala.version}
        

        
        
            org.scala-lang
            scala-compiler
            ${scala.version}
        

        
        
            org.scala-lang
            scala-reflect
            ${scala.version}
        

        
        
            org.elasticsearch
            elasticsearch-spark-20_2.11
            7.7.1
        

        
        
            org.apache.spark
            spark-core_2.12
            ${spark.version}
        
        
        
            org.junit.jupiter
            junit-jupiter-api
            ${junit.version}
            test
        

        
        
            com.alibaba
            fastjson
            ${fastjson.version}
        

    

    
        spark-to-es-test
        src/main/scala
        src/test/scala
        target
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
            
                net.alchim31.maven
                scala-maven-plugin
                
                
                    
                        scala-compile-first
                        process-resources
                        
                            add-source
                            compile
                        
                    
                    
                        scala-test-compile
                        process-test-resources
                        
                            testCompile
                        
                    
                
            
            
            
                org.apache.maven.plugins
                maven-assembly-plugin
                2.4.1
                
                    
                    
                        jar-with-dependencies
                    
                    
                    
                        
                            ParseLogToJson
                        
                        
                        
                        
                        
                        
                        
                    
                
                
                    
                        make-assembly
                        
                        package
                        
                            single
                        
                    
                
            

        
    


    
    
        
            aliyun
            阿里maven仓库
            https://maven.aliyun.com/repository/public
            
                true
            
            
                true
            
        
    

可以运行