Hdoop 学习笔记

   一 搭建环境：

  1 Linux 操作系统   2 Linux远程连接工具 xshell+xftp  3 Hadoop 源码下载地址

     http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz

   启动Hadoop

    1 ./etc/hadoop/hadoop-env.sh 中设置 JAVA_HOME 变量，即在该文件中找到：
    export JAVA_HOME=${JAVA_HOME}
    将这一行改为JAVA安装位置：

   修改配置文件

   2 配置完成后，执行 NameNode 的格式化: /bin/hdfs namenode -format

        修改core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zjf/hadoop-0.20.2/tmpPath</value> ！这里改下路径
</property>
</configuration>

   修改hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

   启动hdfs  start-dfs.sh   停止 stop-dfs.sh

配置yarn

  修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

   修改 yarn-site.xml 文件

#添加如下内容

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

       启动yarn

       start-yarn.sh

        #停止yarn stop-yarn.sh

    管理界面：http://localhost:8088

  NameNode界面：http://localhost:50070

      HDFS NameNode界面：http://localhost:8042

  二  在Eclipse下装入Hadoop插件：

https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

将jar放在eclipse的plugin下，重启eclipse

打开Window->View View->Other 选择Map/Reduce Tools，单击Map/Reduce Locations，会打开一个View，

添加Hadoop Loacation，其中Host和Port的内容跟据conf/hadoop-site.xml的配置填写，UserName 是用户名，如