Spark Streaming 运行日志 、 任务监控 Web UI 、Kafka 、Listener 邮件短信通知
任务监控一、SparkWebUI对于SparkStreaming任务的监控可以直观的通过SparkWebUI,该页面包括InputRate,SchedulingDelay、ProcessingTime等,但是这种方法运维成本较高,需要人工不间断的巡视。这其中包括接受的记录数量,每一个batch内处理的记录数,处理时间,以及总共消耗的时间。在上述参数之中最重要的两个参数分别是PorcessingTi