hadoop hdfs eclipse 的一些配置

eclipse 向hdfs 上传文件为空怎么解决？

发表于 2013-11-23 12:53 | 只看该作者 | 只看大图 本帖最后由 panda 于 2013-11-24 13:23 编辑 问题描述： 重新配置eclipse的mapredece运行环境.上传Test_1文件， Apr 23 11:49:54 hostapd: wlan0: STA 14:7d:c5:9e:fb:84 Apr 23 11:49:52 hostapd: wlan0: STA 74:e5:0b:04:28:f2 Apr 23 11:49:50 hostapd: wlan0: STA cc:af:78:cc:d5:5d Apr 23 11:49:44 hostapd: wlan0: STA cc:af:78:cc:d5:5d Apr 23 11:49:43 hostapd: wlan0: STA 74:e5:0b:04:28:f2 Apr 23 11:49:42 hostapd: wlan0: STA 14:7d:c5:9e:fb:84 如图： 解决步骤： 1.查看hdfs-site.xml,已经设置hdfs的访问控制设为false. 2.查看hdfs的文件目录权限： 已执行： bin/hadoop fs -chmod 777 3.修改windows本地帐户 4.检查hdfs能否本地上传 bin/hadoop fs -put Test_1 /home/hadoop/in 可以上传 5.检查eclipse的配置端口： 和core-site.xml的一致： 做完以上5个步骤，问题依然没有解决。发现不同的方式上传的文件属性不同 不知道是什么原因？ 6.检查防火墙和selinux是否禁用 在root权限下： 关闭防火墙： /sbin/service iptables stop 禁用selinux 编辑 "/etc/selinux/config"文件，设置"SELINUX=disabled" 重启 reboot 7.重启后，重启hadoop将Test_1文件上传到hdfs中在本地可以看到文件内容 但是在eclipse查看的时候报错： 网上查询的结果多是：节点断了，没连接上，但是我再datanode也可以查看Test_1文件，不知道怎么解决！ 我猜是可能网络问题，不过太牵强了，我eclipse连接的hadoop的是在互联网上面的机器。 各位同学，该怎么解决？ 问题解决： 在运行Test_1的时候发现报错： eclipse所在的机器 hadoop client和hadoop 不是在一个网段内，不能直接连接到datanode上面。这也是为什么我的另外一个搭载在一个局域网的hadoop client 可以访问网内的hadoop集群的原因。 我再本机上用VMware虚拟了2台服务器，重新搭建hadoop集群，问题就解决了。 总结：hadoop client 需要在hadoop集群在同一个网段内才能调试MapReduce程序。