Hadoop虚拟机，Eclipse设置…

原文地址：Hadoop虚拟机，Eclipse设置和Hadoop交互 作者：Mr-Data

下载Hadoop虚拟机，
1. 在Google Code University中，可以下载 Hadoop的虚拟机（ 点击下载）。
2. 压缩包中包括 image.vmx（一些配置文件）和20GB.vmdk（虚拟硬盘用来存储数据）
3. 打开虚拟机后，用guest/guest登录，（管理员用户为root/root）,使用如下命令来操作Hadoop
    start-hadoop 启动File System和MapReduce
    stop-hadoop 关闭File System和MapReduce
    reset-hadoop 重启，清空File System。所以重启之前必须停止全部后台进程。
    poweroff 使用root来登录，然后关闭虚拟机。

4. /home/guest/hadoop-conf/ 这里是配置文件

5. 可以运行一个Hadoop的实例。使用4个map任务来计算10000个样本从而得出PI的近似值。
    start-hadoop

   hadoop jar hadoop-examples.jar pi 4 10000

设置Eclipse与Hadoop交互
1. 下载 hadoop-eclipse-plugin。
2. 放置插件到eclipse的plugins目录，重新启动eclipse。
3. 开启eclipse之后，在eclipse中进行下设置。
    Window -> Open Perspective -> Other... -> Map/Reduce.
    Window -> Show View -> Other... -> Map Reduce Tools -> Map Reduce Servers.
4. 在MapReduce Servers中点击右上角的蓝色小象。new hadoop server。
    Hostname: provided ip address (192.168.0.132默认)
    Installation Directory: /home/guest/hadoop
    Username: guest
    Password: guest


连接成功之后，我们可以看到下面的画面：


5. 我们通过Eclipse来上传数据到Hadoop
  在HDFS中，创建一个目录In，并设置该目录中包含txt文件。

cd hadoop bin/hadoop fs -mkdir In bin/hadoop fs -put *.txt In

6.刷新Eclipse中，我们发现In这个目录已经被创建。


7. 右击In，Import from local directory...选择你想上传的txt文件（Data/1.txt）。双击1.txt后如图。我们可以直接对Hadoop文件系统中的文件进行更新操作。