IDEA创建本地Spark程序,并本地运行

 

 1   IDEA创建maven项目进行测试

v创建一个新项目,步骤如下:

IDEA创建本地Spark程序,并本地运行_第1张图片

 

 

IDEA创建本地Spark程序,并本地运行_第2张图片

 

 IDEA创建本地Spark程序,并本地运行_第3张图片

 

 IDEA创建本地Spark程序,并本地运行_第4张图片

 

 选择“Enable Auto-Import”,加载完后:选择“Enable Auto-Import”,加载完后:IDEA创建本地Spark程序,并本地运行_第5张图片

 

 

 添加SDK依赖:

IDEA创建本地Spark程序,并本地运行_第6张图片

 

 IDEA创建本地Spark程序,并本地运行_第7张图片

 

 IDEA创建本地Spark程序,并本地运行_第8张图片

 

 点击OK  ok

IDEA创建本地Spark程序,并本地运行_第9张图片

 

 可以看到scala包加载成功

IDEA创建本地Spark程序,并本地运行_第10张图片

 

 再修改pox.xml文件

"http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  4.0.0
  com.wangle
  LocalSpark
  1.0-SNAPSHOT

    
        2.1.0
        2.11
    
    
        
            org.apache.spark
            spark-core_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-hive_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-mllib_${scala.version}
            ${spark.version}
        
    
    
        
            
                org.scala-tools
                maven-scala-plugin
                2.15.2
                
                    
                        
                            compile
                            testCompile
                        
                    
                
            
            
                maven-compiler-plugin
                3.6.0
                
                    1.8
                    1.8
                
            
            
                org.apache.maven.plugins
                maven-surefire-plugin
                2.19
                
                    true
                
            
        
    



 

新建“Demo1.scala”,测试

 

你可能感兴趣的:(IDEA创建本地Spark程序,并本地运行)