hadoop常见错误总结与解决办法

在此之前首先推荐两篇博文：

Hadoop常见的编程错误小结

 

hadoop 常存问题（一）

　

在遇到hadoop程序出错时，首先要善于利用hadoop的web访问接口查看相应的错误信息（stderr）和运行日志(syslog)，这样可以追溯绝大多数的错误。但是最常遇到的错误信息时：

PipeMapRed.waitOutputThreads(): subprocess failed with code N

这篇博文将会一直更新把作者遇到的各种错误进行详细的罗列出来：

一、 code 137 - streaming程序内存过大，超出预定义大小，需要重置相关设置

sh: line 1: 20636 Killed                  /usr/bin/perl mapper_20121127.pl
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 137

解决方法：添加 -jobconf mapred.map.capacity.per.tasktracker=3 -jobconf stream.memory.limit=2000

具体数值依具体情况而定。