Eclipse安装Hadoop插件

本人需要用到Eclipse安装Hadoop插件,但是对于一个从没用过的Eclipse的我来说也是找了很多东西,下面我就介绍一下怎么安装。

JDK安装配置

  如果还没有安装Eclipse的朋友们需要先安装并配置好JDK,再下载安装Eclipse,这些我相信大家走到这一步的时候肯定都会了,就不赘述了。接下来,进入Hadoop环境搭建。

2.Hadoop插件安装和配置

  在Eclipse配置Hadoop环境之前应该是没有对应插件的(进入Eclipse —> Windows —> Preferences),如下图所示。

Eclipse安装Hadoop插件_第1张图片

  要安装Hadoop插件的话我们得先知道所安装的Hadoop版本,这样才能对症下药安装对应插件。这需要在我们的虚拟机(或Xshell等远程连接工具)中进行查看,操作如下图所示。

Eclipse安装Hadoop插件_第2张图片

  如图所示,博主安装的Hadoop版本为2.2.0,所以需要安装对应的插件,插件下载地址为:32位版JDK下载 hadoop2.2 32位版Windows运行包,64位版JDK下载 hadoop2.2 64位版Windows运行包。

  下载完成之后,将其放到你所安装的Eclipse目录下的dropins文件下。

  Eclipse安装Hadoop插件_第3张图片

 

  然后,我们重启一下,然后再次进入Windows —> Preferences可看到我们已经成功安装好了Hadoop插件(如下图所示),接下来我们要对其进行配置。

Eclipse安装Hadoop插件_第4张图片

  点击Hadoop Map/Reduce选项,进入配置页面,点击Browse,选择Hadoop安装路径(能够看到bin文件夹的路径)填入其中。是的,配置就是这么简单。

  Eclipse安装Hadoop插件_第5张图片

3. 配置环境变量

  从桌面电脑图标右键进入“属性”界面,选择“高级系统配置”,选择“环境变量”,然后选择“系统变量”下的新建,添加一个HADOOP_HOME的变量,变量值为HADOOP安装路径(能够看到bin文件夹的路径),博主的为:D:\Software\Hadoop2.2\hadoop-2.2.0-x64

                                                                            Eclipse安装Hadoop插件_第6张图片 

 Eclipse安装Hadoop插件_第7张图片

  接下来,往系统变量Path里追加“;HADOOP_HOME\bin”,注意:win10系统按照以下格式添加,win7应该是字符串格式,如果没有分号一定要自己补上!

Eclipse安装Hadoop插件_第8张图片4. 配置Map/Reduce Locations

  

打开 Windows—> show view —> Other,选择MapReduce Tools下的Map/Reduce Locations。

Eclipse安装Hadoop插件_第9张图片

  点击下图右上角位置的小象,进入配置页面。

  

Eclipse安装Hadoop插件_第10张图片

   其中,Location name自定义一个名字就行,配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的设置一致即可(Host为hadoop节点的hostname,DFS Mastrer下的port为HDFS端口号,User name为安装Hadoop节点用户名称,如下图)。

Eclipse安装Hadoop插件_第11张图片

  配置好上面的hostname后,需要添加一条hostname 的解析。 在Windows下,以管理员的身份打开C:\Windows\System32\drivers\etc\hosts文件,并追加以下字段(hostname对应个人的配置)。

                                                        Eclipse安装Hadoop插件_第12张图片  

 Eclipse安装Hadoop插件_第13张图片

5. 测试

  在虚拟机中启动集群

Eclipse安装Hadoop插件_第14张图片

  点击Eclipse右上角的小象图标,然后就可以看到Hadoop节点的信息了。

Eclipse安装Hadoop插件_第15张图片

  此时,在虚拟机中用Shell命令的形式可以对Hadoop进行管理,比如新建目录、文件、上传和下载等操作和在Eclipse下的可视化操作都是同步的了(如果没有同步请先右键点击refresh刷新一下),也就是说可以同步对Hadoop进行管理和开发。在这种情况下当然是在Eclipse中更简便咯,这也就是我们本次教程的目的所在。

Eclipse安装Hadoop插件_第16张图片

 

 

下面我们在Eclipse上编写我们的代码

在编写代时候需要导入相应的jar包

jar的位置在Hadoop安装目录下的、share\hadoop下,

可以根据自己的开发需要什么jar包就将什么包导入即可

Eclipse安装Hadoop插件_第17张图片

Eclipse安装Hadoop插件_第18张图片

 

  1. import java.io.IOException;
  2. import java.net.URI;
  3. import java.net.URISyntaxException;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.fs.FileSystem;
  6. import org.apache.hadoop.fs.Path;
  7. import org.apache.hadoop.fs.permission.FsAction;
  8. import org.apache.hadoop.fs.permission.FsPermission;
  9.  
  10. public class HDFS_Test {
  11.  
  12. public static void main(String[] args) {
  13.  
  14.      HDFS_Test gfs = new HDFS_Test();
  15.     
  16.      FileSystem fs = gfs.getHadoopFS();
  17.  
  18.      gfs.createDir(fs);
  19.      gfs.PutFileToHDFS(fs);
  20.      gfs.getFileFromHDFS(fs);
  21.      gfs.chmodFile(fs);
  22.      gfs.dropHDFSPath(fs);
  23. }
  24.  
  25. //根据配置文件获取hdfs操作对象
  26. public FileSystem getHadoopFS(){
  27.     
  28.      FileSystem fs = null;
  29.     
  30.      Configuration conf = null;
  31.      conf = new Configuration();
  32.     
  33.      String hdfsUserName = "root";
  34.      URI hdfsUri = null;
  35.     
  36.      try {
  37.          hdfsUri = new URI("hdfs://192.168.3.190:9000");
  38.      } catch (URISyntaxException e) {
  39.          // TODO Auto-generated catch block
  40.          e.printStackTrace();
  41.      }
  42.     
  43.      try {
  44.          fs = FileSystem.get(hdfsUri,conf,hdfsUserName);
  45.      } catch (IOException e) {
  46.          // TODO Auto-generated catch block
  47.          e.printStackTrace();
  48.      } catch (InterruptedException e) {
  49.          // TODO Auto-generated catch block
  50.          e.printStackTrace();
  51.      }
  52.      return fs;
  53. }
  54.  
  55. //创建一个文件
  56.  
  57. public boolean createDir(FileSystem fs){
  58.     
  59.      boolean b = false;
  60.     
  61.      Path path = new Path("/test");
  62.     
  63.      try {
  64.          b = fs.mkdirs(path);
  65.      } catch (IOException e) {
  66.          // TODO Auto-generated catch block
  67.          e.printStackTrace();
  68.      }finally{
  69.          try {
  70.              fs.close();
  71.          } catch (IOException e) {
  72.              // TODO Auto-generated catch block
  73.              e.printStackTrace();
  74.          }
  75.      }
  76.      return b;
  77. }
  78.  
  79.  
  80. //上传文件
  81. public void PutFileToHDFS(FileSystem fs){
  82.     
  83.      Path localPath = new Path("file:d://demo.txt");
  84.     
  85.      Path hdfsPath = new Path("/test/");
  86.     
  87.      try {
  88.          fs.copyFromLocalFile(localPath, hdfsPath);
  89.      } catch (IOException e) {
  90.          // TODO Auto-generated catch block
  91.          e.printStackTrace();
  92.      }finally{
  93.          try {
  94.              fs.close();
  95.          } catch (IOException e) {
  96.              // TODO Auto-generated catch block
  97.              e.printStackTrace();
  98.          }
  99.      }      
  100.     }
  101.    
  102.     //文件下载  
  103.     public void getFileFromHDFS(FileSystem fs){
  104.        
  105.         Path HDFSPath = new Path("/test/demo.txt");
  106.        
  107.         Path localPath = new Path("file:d://test//");
  108.        
  109.         try {
  110.             fs.copyToLocalFile(HDFSPath, localPath);
  111.         } catch (IOException e) {
  112.             // TODO Auto-generated catch block
  113.             e.printStackTrace();
  114.         }finally{
  115.             try {
  116.                 fs.close();
  117.             } catch (IOException e) {
  118.                 // TODO Auto-generated catch block
  119.                 e.printStackTrace();
  120.             }
  121.         }
  122.     }
  123.    
  124.     //修改hdfs上的文件权限
  125.     public void chmodFile(FileSystem fs){
  126.        
  127.         Path HDFSfile = new Path("/test/demo.txt");
  128.        
  129.         FsPermission permission = new    FsPermission(FsAction.READ,FsAction.READ,FsAction.READ);
  130.        
  131.         try {
  132.             fs.setPermission(HDFSfile, permission);
  133.         } catch (IOException e) {
  134.             // TODO Auto-generated catch block
  135.             e.printStackTrace();
  136.         }finally{
  137.             try {
  138.                 fs.close();
  139.             } catch (IOException e) {
  140.                 // TODO Auto-generated catch block
  141.                 e.printStackTrace();
  142.             }
  143.         }
  144.     }
  145.     //删除文件
  146.     public boolean dropHDFSPath(FileSystem fs){
  147.         boolean b = false;
  148.        
  149.         Path path = new Path("/test");
  150.         try {
  151.             b = fs.delete(path,true);
  152.         } catch (IOException e) {
  153.             // TODO Auto-generated catch block
  154.             e.printStackTrace();
  155.         }finally{
  156.             try {
  157.                 fs.close();
  158.             } catch (IOException e) {
  159.                 // TODO Auto-generated catch block
  160.                 e.printStackTrace();
  161.             }
  162.         }
  163.         return b;
  164.     }
  165. }

 

 代码写完后运行即可。

 

 

你可能感兴趣的:(Eclipse安装Hadoop插件)