CentOS 6 安装Hadoop 2.6 （二）配置Hadoop

CentOS 6 安装Hadoop 2.6 （一）准备工作
CentOS 6 安装Hadoop 2.6 （二）配置Hadoop
CentOS 6 安装Hadoop 2.6 （三）问题收集
CentOS 6 安装Hadoop 2.6 （四）运行简单例子

下文服务器描述：一个主节点master，2个从节点slave1和slave2。

1. 解压文件

tar -xzvf hadoop-2.6.4.tar.gz
mv hadoop-2.6.4 /opt/

2. 配置环境变量

vi etc/profile

到末尾增加以下内容

HADOOP_HOME=/opt/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

更新文件：

source /etc/profile

在其他服务器上也执行类似操作。

3.修改配置

cd /opt/hadoop-2.6.4/etc/hadoop

(1) hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_77
export HADOOP_PREFIX=/opt/hadoop-2.6.4

(2) yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_77

(3) core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-2.6.4/tmp</value>
  </property>
</configuration>

请先建立/opt/hadoop-2.6.4/tmp文件夹

(4) hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-2.6.4/dfs/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-2.6.4/dfs/data</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>

请先建立/opt/hadoop-2.6.4/dfs/data与/opt/hadoop-2.6.4/dfs/name文件夹

(5) mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

(6) yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8035</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
  </property>
</configuration>

(7) slaves

slave1
slave2

将从节点的hostname写入这个文件

4. 拷贝到其他主机

每台服务器的Hadoop目录地址需要完全一致
将配置好的hadoop拷贝slave1和slave2：

scp -r /opt/hadoop-2.6.4 root@slave1:/opt/
scp -r /opt/hadoop-2.6.4 root@slave2:/opt/

请注意上文中提到的文件夹在从节点中是否都已经建立好（由于上面的例子数据文件夹在hadoop文件夹中，所以就不需要自己在从节点重新建立）

5. 运行Hadoop

（1）格式化数据节点

在各个节点上都要执行

hdfs namenode -format //由于上文已经配置了path，所以直接运行hdfs

（2）启动dfs

start-dfs.sh 

用jps检查master是否存在以下进程

23194 SecondaryNameNode
23023 NameNode

用jps检查slave是否存在以下进程

18652 DataNode

（3）启动yarn

start-yarn.sh

用jps检查master是否新增了以下进程

23451 ResourceManager

用jps检查slave是否新增了以下进程

18910 NodeManager

（4）访问管理网页

地址一：http://你的masterIP地址:8088/
检查该地址是否可以正常访问，并且Nodes标签中是否可以看到2个slave节点
地址二：http://你的masterIP地址:50070/
检查该地址是否可以正常访问，以及Overview后面跟的是否是’master:9000’ (active)，如果显示localhost可能就有问题了。再检查Live Nodes中是否有2个slave节点。