Spark Streaming Receiver的Job没有启动起来

在一开始的时候,情况是这样的:

Spark Streaming Receiver的Job没有启动起来_第1张图片
QQ图片20160926210136.png

可以看得出来,本来Receiver应该有一个专门的job启动起来,但是并没有

但是可以看到 DummyJob已经启动了,并且有日志显示 receivers是有1个的,对应的代码在这里:

  runDummySparkJob()

    logInfo("Starting " + receivers.length + " receivers")
    endpoint.send(StartAllReceivers(receivers))

在过一段时间,Spark App 就会报错,报的错是:

spark.rpc.asktimeout

在经过一段的时间的研究之后,没有找出原因,就请求了大神(王鹏哥)的帮忙,经过一段的时间探讨之后,终于找出了原因,就是因为虚拟机的processor 的个数只有1个,Driver根本处理不过来,

Spark Streaming Receiver的Job没有启动起来_第2张图片
QQ图片20160926211014.png

在改完以后,问题就解决了,
希望大家不要和我犯同样的错误~~

你可能感兴趣的:(Spark Streaming Receiver的Job没有启动起来)