SparkStreaming源码分析起始篇

SparkStreaming源码分析起始

SparkStreaming开端

SparkStreaming作为spark的流数据处理框架,并且SparkStreaming以spark-core作为底层,并在spark-core之做了封装,那么SparkStreaming是如何工作的?并且是如何将SparkStreaming Api转化为SparkCore的呢?接下来的文章我们通过分析SparkStreaming的内部源码来解读它的工作原理;

下图是sparkStreaming-kafka的一个分析案例图,可以直接参考此图作为源码分析的起点:


image

你可能感兴趣的:(SparkStreaming源码分析起始篇)