Hadoop 配置本篇主要就是配置HDFS和YARN

配置HDFS和YARN之前要对服务器或者虚拟机安装jdk、maven、findbugs、protobuf等，这些就不一一赘述了，一查一大堆。
首先要有编译好的hadoop的jar包，解压到自己的目录。
上面所用到的jar包可以到我上传的资源中下载
maven：http://download.csdn.net/detail/just_for_fun_208/9505012
findbugs：http://download.csdn.net/detail/just_for_fun_208/9505007
protobuf：http://download.csdn.net/detail/just_for_fun_208/9505021
jdk用1.7及以下的，否则容易出错。
hadoop编译好的jar包太大上传不了，有需要者留下邮箱。
下面说一下关于hadoop2.7.1的配置
一、HDFS配置
1、etc/hadoop/hadoop-env.sh
修改JAVA_HOME为本机的jdk安装地址
2、修改etc/hadoop/core-site.xml
添加属性

    <property>
        <name>fs.defaultFSname>
        <value>hdfs://hadoop:8020value>
    property>

指定namenode通讯地址

添加属性

  <property>
        <name>hadoop.tmp.dirname>
        <value>/home/softwares/hadoop2.7.1/data/tmpvalue>
  property>

指定产生数据的存放目录，可以自己定义地址。
3、修改etc/hadoop/hdfs-site.xml
添加属性，设置hdfs数据备份数

    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>

伪分布式备份一份即可，完全分布式一般为三份。
4、要启动hdfs首先要格式化，hadoop根目录下
命令：bin/hdfs namenode -format
5、启动namenode和datanode
hadoop根目录中执行命令：sbin/start-dfs.sh
jps看一下启动进程

6、进入http://192.168.1.11:50070/ 系统监控界面（注意地址）

Block Pool ID存在配置文件中：
/home/softwares/hadoop-2.7.1/data/tmp/dfs/data/current/VERSION中

最终向hdfs中存储的数据存在/home/softwares/hadoop-2.7.1/data/tmp/dfs/data/current/BP-1992388696-192.168.1.11-1461655633231中

二、YARN配置
1、修改etc/hadoop/mapred-site.xml.temple 文件名为mapred-site.xml
添加属性：

    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>

使用yarn调度mapreduce任务

2、修改etc/hadoop/yarn-site.xml添加属性：

    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>

配置reduced取数据的方式是shuffle

3、启动yarn
hadoop根目录中执行命令：sbin/start-yarn.sh
jps查看进程如下

4、进入http://192.168.1.11:8088/ YARN监控界面（注意地址）

如上，hadoop配置启动完成，下一篇进行一下词频统计的测试。