解决 Spark 本地模式 out of memory 和磁盘不足问题

在做Kaggle比赛的时候，中间处理之后的训练数据有5000多万条数据，结果Spark 本地模式运行的时候，一直报出out of memory 问题。我在程序中使用了DataFrame.rdd.collect()方法。RDD的Collect()方法把RDD的数据全部放入到数组中进行返回，5000多万条数据全部放入到数组当中进行返回。当然会内存溢出。

通过打印GC日志发现，Eden区域和老年代的空间使用全部都是100%。没办法，电脑8g内存，我通过调大堆的内存，发现还是内存溢出，内存还是不够存下这么多条数据。我想了一下解决方法。

解决方法1

这是一种简单暴力的方法，自己可以再去买一个8G内存条，然后把堆得空间通过-Xms??M -Xmx??M -Xmn??M来设置尽可能大一点。尽量设置为最大的空间。这样看看能不能解决，如果还是不能解决的话，说明你的数据太大了。

解决方法2

我调用RDD重新分区函数将RDD重新分为了20个分区，然后通过RDD的saveAsTextFile方法将它们存到了20个文件当中去了。然后，跑程序的时候，我一个文件一个文件的来进行读取。然后一行一行的使用数据。结果是程序可以跑了，但是非常慢。没钱买内存条，只用这种方法。

解决方法2运行到3000多万条数据的时候，发现程序运行的很慢，通过jstat命令发现新生代的内存用完了。这块我还在考虑，等我之后想到了完美的办法，在来完善这个问题。

磁盘空间不足问题

另外我在Spark上面进行微博数据处理的时候，突然报出了这样的错误:磁盘空间不足。我处理的微博数据大概有5.3G。在这里我上网查了一下，原来Spark把中间计算的结果放在了本地磁盘，默认的位子是在C盘下面，而我自己的C盘下面的磁盘空间非常少了，所以导致了中间计算结果存不下来。所以报出了磁盘空间不足的错误，这里我们只要设置一下中间结果保存的路径即可.在sparkConf中设置参数spark.local.dir的值即可。下面是解决方法:

//后面的值是你要存放的路径
sparkConf.set(“spark.local.dir”,”S:\TempData”)

这里就解决了磁盘空间不足的问题，当然这里是Windows Spark本地模式的磁盘空间不足解决方法，估计来Linux里面也可以采用相似的方法来解决。