运行Spark程序内存异常报错

记录Spark开发中遇到的各种问题。

一、使用IDEA调试内存异常

  • 报错如下,意思就是说系统内存有这么大,必须增加堆内存。
Exception encountered when invoking run on a nested suite - System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.
java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.
  • 解决
    因此增加虚拟机的最大堆内存即可,操作如下图所示。
图一 编辑设置
图二 编辑虚拟机参数

你可能感兴趣的:(运行Spark程序内存异常报错)