eclipse下hadoop插件安装

需要的软件

Paste_Image.png

过程

1. 把hadoop-eclipse-plugin-2.6.0.jar放到eclipse安装目录下的plugins目录下
2. 重启eclipse
3. eclipse左边多出来一个DFS Locations
4. 解压hadoop-2.6.0

5. 设置Window->Prefrences->Hadoop Map/Reduce的installation directory为你解压的hadoop目录

   
   
   

   Paste_Image.png
6. 显示Map/Reduce选项卡。
   选择Window->Open Perspective->Other->Map/Reduce
7. 创建hdfs连接。
   右键单击Map/Reduce Locations选项卡（在最下方）， 选择新建

8. 配置的地址及端口

   
   
   

   Paste_Image.png

9. 查看是否连接成功

   
   
   

   Paste_Image.png

10. 新建输入目录并上传测试文件（.txt）

    
    
    

    Paste_Image.png
11. java程序(官网WordCount.java)

方法一：

12. java程序打成jar包上传至hadoop服务器hadoop目录下
13. 执行(输出目录必须不存在)
    (WordCount如果有包名，自己带上)

 bin/hadoop jar wc.jar WordCount /test0706 /test0706_out2

14. 出问题的情况下强制终止任务

./bin/hadoop job -kill job_1467738443148_0007

15. 运行成功截图

    
    
    

    Paste_Image.png

16. 查看结果

    
    
    

    Paste_Image.png

bin/hadoop fs -ls /test0706_out4

Paste_Image.png

方法二：

1. hadoop脱离集群环境的开发
2. 报错
   1. Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
      分析:
      配置HADOOP_HOME环境变量
      win下的2.2版本---https://github.com/srccodes/hadoop-common-2.2.0-bin.git
   2. java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
      分析：
      这是由于hadoop.dll 版本问题，2.4之前的和自后的需要的不一样
      需要选择正确的版本并且在 Hadoop/bin和 C：\windows\system32 上将其替换
      文件下载--2.6版本

方法三

1. hadoop远程连接集群开发

文章参考

win7下安装hadoop 2.6.0 的eclipse插件并编写运行WordCount程序
hadoop2.6.0的eclipse插件编译和设置
hadoop开发方式--脱离集群环境的开发/远程连接集群开发