eclipse 开发 spark Streaming wordCount

package com.scala.spark.dstream

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext

object WordCount extends App {
  
  val conf=new SparkConf();
  
  
  //创建流
  val sc=new StreamingContext(conf,Seconds(10))
  
  
  //指定监听的端口和ip
  val lines=sc.socketTextStream("192.168.1.139", 50020)
  //根据，切分数据
  val ds=lines.flatMap(_.split(","));
  //变成pair类型
  val fs=ds.map(x =>(x,1));
  统计单词的个数
  val words=fs.reduceByKey(_+_);
  
  //打印单词的数量。
  println(words.count);
  
  //启动监听
  sc.start;
  
  sc.awaitTermination;

然后单击eclipse右键点击导出成WordCount.jar 包 用spark-submit 命令运行即可