解决spark submit jar包出现OM问题

通过执行spark-submit XXX 命令来执行jar包的时候可能会出现以下错误:

 

解决spark submit jar包出现OM问题_第1张图片

Java 堆内存溢出,出现这种情况可能是因为spark默认分配给Java driver执行内存不够,需要我们手动设定Java driver内存。

解决方案:

spark submit命令后添加配置项: --driver-memory 8G 

你可能感兴趣的:(解决spark submit jar包出现OM问题)