如何优雅的停止SparkStreaming应用进程

问题

流式计算时需要中断程序,可能会造成当前正在处理的数据丢失,或者重复处理

解决

对于spark-streaming

  1. 在spark-default.conf中配置:
    spark.streaming.stopGracefullyOnShutdown true
  2. 使用kill -15 关闭spark 应用进程
  3. 实际使用中发现需要特别长时间才能完全关闭,对于我,看到日志中executor进程已经关闭,再使用kill -9 强制关闭即可。

kill 后面的数字是通知进程的信号,不同的数字对应不同的行为,15只是通知程序要关闭,9是强制关闭,需要了解更详细的搜素kill命令即可。

你可能感兴趣的:(如何优雅的停止SparkStreaming应用进程)