Spark Streaming核心概念与编程(二)

Spark Streaming核心

核心概念

  • StreamingContext
  • DStream

对 DStream操作算子,比如map/ flatMap,其实底层会被翻译为对 DStream中的每个RDD都做相同因为一个 DStream是由不同批次的RDD所构成的。

  • Input DStreams and Receivers 输入和接收器 如果是本地local启动需要线程大于接收器个数
  • Transformations 提供一些转换算子
  • Output Operations on DStreams 输出结果

socket数据处理

代码

文件系统数据处理

代码

你可能感兴趣的:(Spark Streaming核心概念与编程(二))