eclipse hadoop windows 运行wordcount程序,上传文件内容为空的原因及解决办法

         1.问题描述:在eclipse中连接hadoop后,运行wordcount程序,发现上传到input文件夹得txt文档为空,运行结果   ouput文件夹中的文件内容也为空。

         2. 环境说明:hadoop-2.7.3;  

                               eclipse-java-oxygen-R-win32-x86_64;

                               jdk-8u144-windows-x64

         3.问题原因:

     hadoopnamenode多次格式化,导致namenodedatanodeclusterid不一致。datanode启动不起来。

4.解决办法:

将namenode和datanode的clusterID修改一致即可,一般将datanode的clusterID修改为与namenode一致。

(1)如果在hdfs-site.xml文件中配置过datanodenamenode的路径,则到该路径下找name/current/VERSION,复制clusterID

再打开该路径下的data/current/VERSION,粘贴clusterID,保存退出。

(2)如果未在hdfs-site.xml文件中配置过,则到/tmp/hadoop-root/dfs/name/VERSION下复制namenodeclusterID,复制到/tmp/hadoop-root/dfs/data/VERSION中的clusterID.

(3)修改一致后,重启hadoopJps看到datanode起来后,在Eclipse中重新连接hadoop上传文件。此时,文件内容就不在为空了。

你可能感兴趣的:(大数据)