SparkStreaming反压机制

SparkStreaming的开启反压机制其实就是给StreamingContext添加一个StreamingListener,在JobScheduler中的start代码如下:

关于SparkStreaming的反压机制参考以下内容:

https://www.jianshu.com/p/2b4643dec7a4

反压中比较有意思的是对于接收速率的计算采用PID算法

你可能感兴趣的:(SparkStreaming反压机制)