[语法]spark-submit常见问题及其解决

Apache Spark技术实战之6 -- spark-submit常见问题及其解决 - 徽沪一郎 - 博客园
http://www.cnblogs.com/hseagle/p/4052572.html?utm_source=tuicool&utm_medium=referral
问题1
由于Spark在计算的时候会将中间结果存储到/tmp目录，而目前linux又都支持tmpfs，其实说白了就是将/tmp目录挂载到内存当中。

那么这里就存在一个问题，中间结果过多导致/tmp目录写满而出现如下错误

No Space Left on the device
解决办法就是针对tmp目录不启用tmpfs,修改/etc/fstab

问题2
有时可能会遇到java.lang.OutOfMemory, unable to create new native thread的错误，导致这种错误的原因比较多。

有一种情况并非真的是内存不足引起的，而是由于超出了允许的最大文件句柄数或最大进程数。

排查的步骤就是查看一下允许打开的文件句柄数和最大进程数，如果数值过低，使用ulimit将其调高之后，再试试问题是否已经解决。

ulimit -a
修改允许打开的最大进程数

ulimit -u 65535
修改允许打开的文件句柄

ulimit -n 65535