SparkStreaming 在idea中的测试实例及配置

(SparkStreaming 在idea中的测试实例及配置)

本人也是最近才接触这些大数据的有关内容 ，刚开始上手确实很多困难，现把我所能知道的知识与大家分享下，希望能帮到那些正在学习大数据的小伙伴们！

以下是maven中的settings.xml文件的配置
复制可直接使用！

 





  

  
  
  
  
    
  

  
  
  

  
  
    

    
	
  

    
    
        nexus
        internal nexus repository
        
        http://repo.maven.apache.org/maven2
        central
    

  
  
   
    
     jdk-1.8    
          
           true    
           1.8    
            
      
  1.8    
  1.8    
  1.8    
     
  
  
  
  
  

下面是idea中pom.xml文件的配置（看好自己对应的版本！！！！）

    
    
        1.8
        1.8
        UTF-8
        2.11.8
        2.2.0
        2.7.1
        2.11
    

    
        
            org.apache.spark
            spark-core_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-hive_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-mllib_2.11
            ${spark.version}
        

    

    
        

            
                org.scala-tools
                maven-scala-plugin
                2.15.2
                
                    
                        
                            compile
                            testCompile
                        
                    
                
            

            
                maven-compiler-plugin
                3.6.0
                
                    1.8
                    1.8
                
            

            
                org.apache.maven.plugins
                maven-surefire-plugin
                2.18
                
                    true
                
            

        
    

下面是我在idea中的运行实例

package data

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
 * Created by yunxinghai on 3/23/2017.
 */
object SparkStreaming {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]")

    val ssc = new SparkContext(conf)

    val data = ssc.textFile("D:\\words.txt")//这是一个txt文件

    val flatData  = data.flatMap(_.split(" "))

    val words = flatData.map((_,1)).reduceByKey(_+_)

    words.take(1000).foreach(println)
  }

}

下面是一words.txt中的内容

hello world
hello spark
hello hadoop
hello java
hello scala
hello C
hello C++
hello C#
hello python
hello sql
hello flink
hello R
hello MapReduce
hello everybody




 
 
 

下面是与Linux交互的代码 在Linux上输入nc -lk 8888

package data

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
 * Created by yunxinghai on 3/23/2017.
 */
object SparkStreaming {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]")

    val ssc = new StreamingContext(conf,Seconds(1))

    val data = ssc.socketTextStream("192.168.1.2",8888)

    val flatData  = data.flatMap(_.split(" "))

    val words = flatData.map((_,1)).reduceByKey(_+_)
    words.print()

    ssc.start()
    ssc.awaitTermination()


  }

}

运行实例图片：

OK! 如果以上例子你都成功运行了，那么就可以恭喜你完成了SparkStreaming的基本入门操作，还有什么bug或者代码问题可以在下面留言一起讨论！