Ubuntu安装eclipse配置Hadoop踩坑

本文没有详细的安装配置步骤,只有一些坑爹的问题

1.eclipse中DFS location提示Connection Refused,确认Hadoop已经开启了

a.根据提示打开了这个网页,一条条核对:https://wiki.apache.org/hadoop/ConnectionRefused

   尝试第七条On the server, try a telnet localhost  to see if the port is open there.时发现问题

   使用telnet localhost 9000命令

   发现Connection Refused,于是问题转向9000端口拒绝访问

b.使用netstat -napt命令查看开放的端口,发现没有9000,问题转向启动Hadoop后9000端口没有打开

   对照网上确认了配置文件,最后尝试一篇博客得到解决:https://www.cnblogs.com/xiaoli2018/p/4936905.html

   出现9000端口拒绝访问的情况有可能是防火墙没有开放9000端口,可以选择关闭防火墙或者卸载防火墙,如果还是无法解决这种情况可能是因为hadoop的启动顺序不对。

   应该按照如下得顺序启动

   Step2: cd #your_hadoop_path

   Step3: ./bin/hadoop namenode -format

   Step4: ./sbin/start-all.sh

   9000端口成功开放

2.但是dfs文件夹为空

a.尝试上传文件,失败

修改hdfs文件,增加权限设置

Ubuntu安装eclipse配置Hadoop踩坑_第1张图片

可以上传文件,但文件夹只有上传的文件,系统中未搜索到该文件

Ubuntu安装eclipse配置Hadoop踩坑_第2张图片

本来觉得是配置文件没写对,但看着没什么问题

Ubuntu安装eclipse配置Hadoop踩坑_第3张图片

Ubuntu安装eclipse配置Hadoop踩坑_第4张图片

使用命令查看dfs目录,只有上传的文件存在

尝试运行了wordcount项目,能够运行成功,可能本来文件夹就是空的,运行完才有那些文件和文件夹

Ubuntu安装eclipse配置Hadoop踩坑_第5张图片

你可能感兴趣的:(Ubuntu安装eclipse配置Hadoop踩坑)