eclipse搭建hadoop开发环境

1.windows下载hadoop版本并解压

注意下载hadoop的版本与伪分布式的hadoop版本一致，配置HADOOP_HOME环境变量为hadoop的安装目录，并配置path环境变量，配置完成后，运行cmd命令提示符窗口，输入hadoop version
如果有版本信息，说明配置成功，具体设置步骤略过。

2.安装eclipse插件

下载插件查下与hadoop的版本是否兼容，我的hadoop版本是2.7.6 ，用的插件为hadoop-eclipse-plugin-2.6.0.jar，将hadoop-eclipse-plugin-2.6.0.jar放入eclipse安装目录中的plugins目录下，然后重启eclipse。
重启后，打开windows->preferences配置，出现

代表插件安装成功，配置hadoop安装路径为windows本机hadoop安装目录

3.配置map/reduce location

eclipse打开视图，找到

打开map/reduce视图，配置

location name 随便填写，User name 填写hadoop服务器的登录名，
DFS Master 中，勾选Use M/R Master host，host为namenode的ip地址，port为namenode 的监听端口，这里为9000。具体配置的ip和端口参见conf/hdfs-site.xml 中的fs.defaultFS选项。

Map/Reduce(v2) Master 中：该项中有些资料说填写jobtracker端口为9001，但是hadoop 2.x版本已使用yarn来替代jobtracker，所以这里填写mapred.job.tracker.http.address中的端口即50030，也有资料说填写dfs.datanode.ipc.address的端口，即50020。经过测试，两个端口都能访问。
配置完成后，在project exporler窗口显示了

可以对dfs文件进行浏览，上传，下载

4.注意事项

配置完成后，进行文件的上传和下载会遇到一些问题，本人遇到的是权限问题和无法写入问题，这里注意修改hdfs-site.xml文件中的两个选项

       dfs.permissions
       false
   
   
       dfs.namenode.rpc-bind-host
       0.0.0.0
   

同时修改dfs中文件夹的权限 hadoop fs -chmod 755 /
dfs.namenode.rpc-bind-host配置为0.0.0.0意思是监听全网段。