Spark中Java.io.Exception_Failed to delete /tmp/spark-....临时文件

Spark频繁提交任务导致崩盘

         1：问题描述：Java.IO.Exception

                  Failedto delete /temp/spark-----删除临时文件失败

         2：问题原因：

                  提交spark任务太过频繁，临时文件产生太多，导致磁盘溢出；

         3：问题概述：

                  一般是发生在程序运行结束尾部，但是程序一般会运行成功，单机模式下常见。

         4：问题解决：

        设置选项来自动清除已经停止运行的application的文件夹。

        在spark-env.sh中增加：

        SPARK_WORKER_OPTS=”-Dspark.worker.cleanup.enabled=true”

        （只是删除已经停止运行程序产生的文件夹-不会影响正在运行的程序）

        5：补充：

            目前就找到这一种简单有效的方法，其实是应该从根源避免太频繁的提交spark任务。

            大家有什么好意见，欢迎评论。