Sparkstreaming中InputDStream的详解(源码)

个人GitHub地址 :https://github.com/LinMingQiang

以SocketInputDStream为例

继承自ReceiverInputDStream使用Receiver的方式从源数据获取数据解读分两个部分

获取数据

Sparkstreaming中InputDStream的详解(源码)_第1张图片
获取一个接收数据的类
Sparkstreaming中InputDStream的详解(源码)_第2张图片
这个类继承 Receiver
Receiver的接收方式需要将数据存在内存或者其他地方,所以Receiver又个内存消耗。
在OnStart里面启动一个线程进行数据获取
获取一个socket的流。然后不停地取和使用store存到blockManager里面
Sparkstreaming中InputDStream的详解(源码)_第3张图片

上面就是获取数据的方法,
将数据存在内存里面借用的是store方法
就这个存储数据
这里写图片描述

你可能感兴趣的:(spark)