Idea+maven+scala构建包并在spark on yarn 运行

配置Maven项目

在pom.xml配置文件中配置spark开发所需要的包,根据你Spark版本找对应的包,Maven中央仓库

    org.apache.spark
    spark-core_2.11
    2.3.1

构建方式

配置Artifacts构建包

配置Maven构建包

• 使用Maven构建包只需要在pom.xml中添加如下插件(maven-shade-plugin)即可

 
                org.apache.maven.plugins
                maven-shade-plugin
                2.4.1
                
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    *:*
                                    
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA
                                    
                                
                            
                            
                                
                                    META-INF/spring.handlers
                                
                                
                                    META-INF/spring.schemas
                                
                                
                                    cn.mucang.sensor.SensorMain
                                
                            
                        
                    
                
            

构建示例scala代码

import org.apache.spark.storage.StorageLevel
import org.apache.spark.{SparkConf, SparkContext}

object InfoOutput {
  def main(args: Array[String]): Unit = {
     val sparkConf = new SparkConf().setMaster("local[*]").setAppName("NginxLog")
    val sc = new SparkContext(sparkConf)
    val fd = sc.textFile("hdfs:///xxx/logs/access.log")
    val logRDD = fd.filter(_.contains(".baidu.com")).map(_.split(" "))
    logRDD.persist(StorageLevel.DISK_ONLY)
    val ipTopRDD = logRDD.map(v => v(2)).countByValue().take(10)
    ipTopRDD.foreach(println)
  }
}

上传Jar包

• 使用scp上传Jar包到spark-submit服务器,Jar位置在项目的out目录下
• 因为没有依赖第三方包所以打出怕jar会很小,使用spark-submit提示任务:

spark-submit --class InfoOutput --verbose --master yarn --deploy-mode cluster nginxlogs.jar