subprocess failed with code 2

waitOutputThreads(): subprocess failed with code 2
这个的意识就是:找不到文件按或者目录。
排除了几种可能
第一中:就是脚本执行全选的问题;
第二中:环境也没有问题;
第三种:代码也没有问题(我一个一个执行了)
最终的结果是还是报一样的错
于是看日志:
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
然后查看日志
subprocess failed with code 2_第1张图片
subprocess failed with code 2_第2张图片
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
在这里插入图片描述

由于物理内存达到限制,导致container被kill掉报错。
从报错时刻看是执行reduce阶段报错;故可能reduce处理阶段container的内存不够导致

然后将 mb=513该称4096就成了,最后运行成功。
subprocess failed with code 2_第3张图片
相关链接(转发):
https://blog.csdn.net/yijichangkong/article/details/51332432

你可能感兴趣的:(大数据)