spark Caused by: java.lang.OutOfMemoryError: Java heap space 问题

转载：

https://blog.csdn.net/qq_28743951/article/details/79103362

 

问题描述：

在使用spark过程中，有时会因为数据增大，而出现下面两种错误:

1、java.lang.OutOfMemoryError: Java heap space
2、java.lang.OutOfMemoryError：GC overhead limit exceeded

问题分析：

原因一：executor内存不够 
原因二：driver内存不够

解决方法

方法一

在spark-submit中指定 --driver-memory memSize参数来设定driver的jvm内存大小，--executor-memory memSize指定executor的内存大小，可以通过spark-submit --help查看其他可以设置的参数。

方法二

在spark_home/conf/目录中，将spark-defaults.conf.template模板文件拷贝一份到/spark_home/conf目录下，命名为spark-defaults.conf，然后在里面设置spark.driver.memory memSize属性来改变driver内存大小，设置spark.executor.memory memSize属性来改变executor内存大小。