Spark Streaming Receiver学习

Receiver工作机制

以org.apache.spark.streaming.dstream.SocketReceiver为例。

一个数据流有一个receiver，在executor上启动。

Receiver监听端口，拉取数据，调用ReceiverSupervisor和BlockGenerator将数据加入BlockGenerator的缓存。在加入缓存前，调用限流器(RateLimiter)，以阻塞当前线程，直到限流完成。这里使用GuavaRateLimiter。Receiver和ReceiverSupervisor是包含关系；SocketReceiver不支持WriteAheadLog.

BlockGenerator的守护线程定时(spark.streaming.blockInterval) 将缓存数据加入data block并发送到blockManager，并将blockId，数据条数等通过RPC告知Driver。

批次时间到，按照Data Locality原则优先在含有数据的executor上执行开始数据处理。

 

Kafka Receiver-based VS DirectStream

Receiver-based 默认情况下可能丢数据，需要配置WriteAheadLog，保证At-Least-Once语义。由于Receiver commitOffset和数据处理逻辑不同步，不能100%保证Eactly-Once语义。

DirectStream保证kafka消费Exactly-Once语义。通过在KafkaRDD里拉取处理数据和自己管理offset。