PipeMapRed.waitOutputThreads(): subprocess failed with code X 报错的解决方法

使用python写MapReduce程序在执行过程中出现了如下报错,几乎全部是由python脚本的问题造成的。遇到这种情况,解决方法可能会有很多,我提供一种自己一直使用的方法。

具体方法:通过拉取MapReduce程序的执行日志,拖取日志的命令是:yarn  logs   -applicationId   application_1519803790630_21764 > excuse.log,其中application_1519803790630_21764的名称根据自己的job_id或者attempt_1519803790630_21841_m_002107_0中均可以得到我们的任务id。日志拉取下来以后,我们直接定位python脚本的错误位置,可以在vim命令模式下输入  /Traceback 直接可以定位到错误所在位置,然后对自己的python程序进行更改,再次运行查看运行结果。

这种报错的一般情况是由异常数据在写程序时没有完全考虑到,解决方法一般是加上try,except进行异常处理,仅供参考,欢迎交流指正~~ 

你可能感兴趣的:(大数据处理,MapReduce,python,streaming)