如何在Hadoop2上远程调试MapReduce

1.单机安装Hadoop2.x。

2.修改mapper-site.xml配置，修改或添加对应的属性项

<property> <name>mapreduce.framework.name</name> <value>local</value> </property> <property>     <name>mapreduce.jobtracker.address</name>     <value>local</value>     <final>true</final> </property> <property>     <name>mapreduce.job.tracker</name>     <value>local</value> <final>true</final> </property>

3.修改hadoop-env.sh文件，在文件中添加如下命令：

export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=50002

注意不要写错标红色的部分。suspend表示程序启动是否中断，直到调试器连接上执行程序；address表示被调试程序打开的远程调试端口。

4.安装eclipse对应的MapReduce插件。将其直接拷贝到eclipse的plugins目录下，重启eclipse。为MapReduce插件配置Hadoop的安装路径。

5.创建一个MapReduce Project。编写相应的MapReduce程序。然后就可以像调试本地java程序一样来调试程序了。