spark-sql cli模式下driver内存溢出

采用spark-sql启动编程,编写sql执行,但是数据量很少,不到一百条,执行时显示内存溢出,并且是已经显示stage进度条;如果是在编译过程中提示内存溢出,极有可能是driver内存分配的太小,而sql编译后stage太多导致,但是下面的这个是程序用改已经执行了,跟executor-memory有关,和driver没有多少关系了,但是最后的解决方法是加大了driver内存。这一点目前理解不同,后期补充

报错第一部分

提示outofmemoryError:Unable to acquire 262144 bytes of memory ,got 65536 ,但看第一部分日志感觉不像driver内存溢出,像是executor内存不够,网上查阅资料有说是在shuffer sort阶段申请内存不足;亲测增加executor内存后 报错日志改成  no enough memory for aggregation  具体后面补课吧

spark-sql cli模式下driver内存溢出_第1张图片

报错第二部分 日志读懂了,连在一起没懂,内功不够,待修炼

spark-sql cli模式下driver内存溢出_第2张图片

报错第三部分也是driver日志:看到DAGSchduler 和driver大概猜到是什么原因导致了, 启动spark-sql 增加了driver内存 带上--driver-memory 1g  再次执行成功;

spark-sql cli模式下driver内存溢出_第3张图片

 

 

driver的原理看来掌握不行,后期懂了再补充,如果有哪位大神知道的可以留言指教;

 

你可能感兴趣的:(大数据学习)