spark通过降低cores数量来提高成功率，错误记录之memory limit

错误复现

当数据量达到几百G约一亿条进行计算时，在原本的资源分配条件下失败的几率很高，失败的错误基本如下

Container killed by YARN for exceeding memory limits. 16.9 GB of 16 GB physical memory
used. Consider boosting spark.yarn.executor.memoryOverhead

通常来讲，我们设计资源分配时一般指调整这几个参数：

set spark.executor.instances=8;
set spark.executor.cores=8;
set spark.executor