Q:No space left on device

http://www.linuxidc.com/Linux/2015-08/120940.htm

shuffle的临时文件目录tmp挂载满了, 修改SPARK_LOCAL_DIRS路径到home或者挂载磁盘比较大的目录下

.bash_profile 设置:
export SPARK_LOCAL_DIRS=/data/spark

或者在spark-env.xml中修改SPARK_LOCAL_DIRS
或者在spark-default.xml中修改spark.local.dir

遇到这种问题,多半还是因为程序中有数据缓存到磁盘,但是没有及时unpersist掉,3 x Replicated, Streaming累积导致, 数据缓存和C++变量new堆栈空间一样, 是需要手动释放, 否则即使函数退出, 一样不能释放磁盘或者内存空间

你可能感兴趣的:(Q:No space left on device)