SparkStreaming 打印输出demo

  • 1.nc -lk 9999

-l 使用监听模式,管控传入的资料。
本机开启9999端口
一个server对应一个client,多了可能出问题,也就是下次起sparkstreaming任务时,必须先关了这个端口,重开

  • 2.提交sparkstreaming任务
package com.streaming


import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.SparkConf

object Socket
{
  def main(args:Array[String])
  {
    val sc = new StreamingContext(new SparkConf().setAppName("socketstream"),Seconds(10))

//    val sc = new StreamingContext(new SparkConf().setMaster("local").setAppName("socketstream"),Seconds(10))
//    val mystreamRDD = sc.socketTextStream("bbc.co.uk",80)
     val mystreamRDD = sc.socketTextStream("172.171.51.131",7777)
    mystreamRDD.print()
    sc.start()
    sc.awaitTermination()
  }
}
  • 3.输入:在server端口随便输入数据,(此次分两次输入)
    SparkStreaming 打印输出demo_第1张图片

  • 4.输出:sparkstreaming消费数据
    这里写图片描述
    这里写图片描述

你可能感兴趣的:(spark,streaming,spkstream)