关闭spark streaming

关闭spark streaming的时候需要在跑完一个batch之后关闭，不然就有可能会有丢失数据或者重复数据的风险。
在spark1.4之后有一个配置开关

.set("spark.streaming.stopGracefullyOnShutdown","true")

把这个开关打开就可以使用kill -15 pid的方式，优雅的关闭spark streaming了。它会等在正在执行的批次完成自动结束。