spark程序打包为jar包,并且导出所有第三方依赖的jar包


  • Impala 操作/读写 Kudu,使用druid连接池
  • Kudu 原理、API使用、代码
  • Kudu Java API 条件查询
  • spark读取kudu表导出数据为parquet文件(spark kudu parquet)
  • kudu 导入/导出 数据
  • Kudu 分页查询的两种方式
  • map、flatMap(流的扁平化)、split 的区别
  • Spark(SparkSql) 写数据到 MySQL中(Spark读取TCP socket/文件)

  • Spark Streaming 整合 Kafka(Spark读取Kafka)

  • Spark Streaming 开窗函数 reduceByKeyAndWindow

  • Spark Streaming 整合 Flume(Spark读取Flume)

  • Spark 实时处理 总文章

  • spark程序打包为jar包,并且导出所有第三方依赖的jar包
  • spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析

 


spark程序打包为jar包,并且导出所有第三方依赖的jar包_第1张图片

spark程序打包为jar包,并且导出所有第三方依赖的jar包_第2张图片

spark程序打包为jar包,并且导出所有第三方依赖的jar包_第3张图片

spark程序打包为jar包,并且导出所有第三方依赖的jar包_第4张图片

spark程序打包为jar包,并且导出所有第三方依赖的jar包_第5张图片

spark程序打包为jar包,并且导出所有第三方依赖的jar包_第6张图片

    
    
        src/main/scala
        src/test/scala
        

            
                net.alchim31.maven
                scala-maven-plugin
                3.2.2
                
                    
                        
                            compile
                            testCompile
                        
                        
                            
                                -dependencyfile
                                ${project.build.directory}/.scala_dependencies
                            
                        
                    
                
            

            
            
                
                
                
                
                    
                        
                        
                            
                        
                        
                            
                                
                                    
                                    
                                        
                                        
                                        
                                    
                                
                            
                            
                                
                                    
                                
                            
                        
                    
                
            
        
    

 

你可能感兴趣的:(spark,scala)