SparkStreaming DStream

DStream就是离散流，它代表了一个持续不断的数据流，DStream的内部，其实是一系列不断产生的RDD,RDD是Spark Core的核心抽象，DStream中的每个RDD都包含了一个时间段内的数据

 

对DStream应用的算子，比如map,其实在底层都会被翻译为对DStream中每个RDD的操作，比如对一个DStream执行一个map操作，会产生一个新的DStream,但是在底层，其实原理为，对输入DStream中每个时间段的RDD，都应用一边map操作，然后生成新的RDD,即作为新的DStream中的那个时间段的一个RDD.底层的RDD的transformation操作，其实，还是由Spark Core的计算引擎来实现的。