构建Scala的Maven项目

spark的scala项目Maven构建和使用

一、使用

spark-sql使用

spark-sql --master yarn --num-executors 30 --executor-memory 12g

二、建立项目

1.建立Maven项目:吧java文件夹 重命名为scala文件夹

2.修改xxx.xml配置

3.删除./idea下文件 scala_compier.xml的行,在edit configuration里配置VM options:

 -Dspark.master=local 或-Dspark.master=local[k]或-Dspark.master=local[*]

local 本地单线程

local[K] 本地多线程（指定K个内核）

local[*] 本地多线程（指定所有可用内核）

spark://HOST:PORT 连接到指定的 Spark standalone cluster master，需要指定端口。

mesos://HOST:PORT 连接到指定的 Mesos 集群，需要指定端口。

yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。

yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。

4.配置.xml文件如下

         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    4.0.0

    rec.spark
    recoment-model
    1.0-SNAPSHOT
    ${project.artifactId}
    My scala app
    2016
   
       
            My License
            http://....
            repo
       
   

   
        1.8
        1.8
        UTF-8
        2.11.8
        2.11
   


   
       
            org.scala-lang
            scala-library
            ${scala.version}
       

       
            org.scala-lang
            scala-compiler
            ${scala.version}
       

       
            org.scala-lang
            scala-reflect
            ${scala.version}
       

       
            org.apache.spark
            spark-core_2.11
            2.0.0
       

       
            org.apache.spark
            spark-mllib_2.11
            2.0.0
       

       
            org.apache.spark
            spark-streaming_2.11
            2.0.0
       

       
            org.scalanlp
            breeze-viz_2.11
            0.12
       

       
            com.github.scopt
            scopt_2.11
            3.3.0
       

       
            org.apache.spark
            spark-hive_2.10
            1.3.0
       

       
            org.apache.hadoop
            hadoop-client
            2.7.2
       

       
            org.apache.cassandra
            cassandra-all
            0.8.1

           
               
                    org.slf4j
                    slf4j-log4j12
               
               
                    log4j
                    log4j
               
           
       

       
       
            junit
            junit
            4.11
            test
       
       
            org.specs2
            specs2-core_${scala.compat.version}
            2.4.16
            test
       
       
            org.scalatest
            scalatest_${scala.compat.version}
            2.2.4
            test
       

   

   
        src/main/scala
        src/test/scala
       
           
                net.alchim31.maven
                scala-maven-plugin
                3.2.0
               
                   
                       
                            compile
                            testCompile
                       
                       
                           
                                -make:transitive
                                -dependencyfile
                                ${project.build.directory}/.scala_dependencies
                           
                       
                   
               
           
           
                org.apache.maven.plugins
                maven-surefire-plugin
                2.18.1
               
                    false
                    true
                   
                        **/*Test.*
                        **/*Suite.*
                   
               
           

           
                org.apache.maven.plugins
                maven-shade-plugin
                2.3
               
                   
                        package
                       
                            shade
                       
                       
                           
                               
                                    *:*
                                   
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA