Spark2.11 + Scala2.11.8环境搭建

标题虽然说是搭建，实际只是想记录下搭建过程中遇到的两个问题。
首先在本地创建Scala项目。

环境搭建：

1. 首先通过IntelliJ IDEA建立Scala项目（前提是已经安装了Scala），New Project -> Maven -> Create from archtype -> org.scala-tools.archetypes-archetype-simple

image.png

2. 这是需要选择Scala的版本，我使用的是2.11.8

---

3. 编辑pom.xml配置Spark相关配置

  
    4.0.0
    org.apache
    dataframe
    1.0-SNAPSHOT
    
        2.11.8
    
    
        
            scala-tools.org
            Scala-Tools Maven2 Repository
            http://scala-tools.org/repo-releases
        
    

    
        
            scala-tools.org
            Scala-Tools Maven2 Repository
            http://scala-tools.org/repo-releases
        
    

    
        
            org.scala-lang
            scala-library
            ${scala.version}
            compile
        

        
            org.apache.spark
            spark-core_2.11
            2.1.1
        
        
            org.apache.spark
            spark-sql_2.11
            2.1.1
        
        
            org.apache.spark
            spark-streaming_2.11
            2.1.1
            compile
        
        
            hadoop-lzo
            hadoop-lzo
            0.4.15-gplextras5.0.0
            compile
        
        
            org.scala-lang
            scala-library
            ${scala.version}
        
        
            org.scala-lang.modules
            scala-xml_2.11
            1.0.6
        
        
            org.specs
            specs
            1.2.5
            compile
        
        
            junit
            junit
            4.4
            compile
        
        
            com.google.guava
            guava
            19.0
            compile
        
    

    
        src/main/scala
        src/test/scala
        
            
                org.scala-tools
                maven-scala-plugin
                
                    
                        
                            compile
                            testCompile
                        
                    
                
                
                    ${scala.version}
                    
                        -target:jvm-1.5
                    
                
            
            
                org.apache.maven.plugins
                maven-eclipse-plugin
                
                    true
                    
                        ch.epfl.lamp.sdt.core.scalabuilder
                    
                    
                        ch.epfl.lamp.sdt.core.scalanature
                    
                    
                        org.eclipse.jdt.launching.JRE_CONTAINER
                        ch.epfl.lamp.sdt.launching.SCALA_CONTAINER
                    
                
            
        
    
    
        
            
                org.scala-tools
                maven-scala-plugin
                
                    ${scala.version}
                
            
        
    

如上所示，这里开始使用的Spark版本是2.10（实际上2.11，因为之后发现一些问题）

遇到的错误：

   1. 运行程序时报错

image.png

在pom文件中加入如下配置即可

    
            org.scala-lang.modules
            scala-xml_2.11
            1.0.6
        

  2. 增加上面配置后，错误发生变化

image.png

上网查询发现应该是Spark版本和Scala版本冲突，将pom文件Spark版本由2.1.0改为2.1.1

image.png

网上截图：

image.png