spark报错java.lang.OutOfMemoryError: Java heap space

针对spark报错：

java.lang.OutOfMemoryError: Java heap space

解决方式：

    在spark/conf/spark-env.sh中加大SPARK_WORKER_MEMORY值，如下，我加大至6GB

export SPARK_MASTER_IP=192.168.2.139
export SPARK_WORKER_CORES=4
export SPARK_WORKER_INSTANCES=2
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=6g
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}

    在编写的scala应用程序中设置执行时内存需求量：spark.executor.memory

val conf = new SparkConf().setAppName("sinaApplication").set("spark.executor.memory","6g")

    像集群提交代码时，指定内存量：--executor-memory

../../bin/spark-submit --class "sinaApp" --master spark://192.168.2.139:7077 --executor-memory 6G target/scala-2.10/sina-project_2.10-1.0.jar

   以上方式感觉太暴力了，但是我也没找到其他方式，这样也算解决了 java.lang.OutOfMemoryError: Java heap space的问题