执行Tez任务错误,虚拟内存不够用

错误日志:


执行Tez任务错误,虚拟内存不够用_第1张图片

标红框的地方是记录发现错误的关键点

错误分析

在检查内存中,通过free 命令查看linux的内存是9个G的可用内存。但是2.7个G的内存就使任务发生内存不够使用。这是因为tez是基于yarn执行任务,yarn在启动任务之前,需要进行内存的检测,导致任务执行失败。但是为什么明明有9个G的内存,需要使用2.7个G就不能执行的问题还未搞清楚yarn的这个问题,需要后续继续研究

暂时解决方案


执行Tez任务错误,虚拟内存不够用_第2张图片

你可能感兴趣的:(执行Tez任务错误,虚拟内存不够用)