CentOS 6 安装Hadoop 2.6 （二）配置Hadoop

CentOS 6 安装Hadoop 2.6 （一）准备工作
CentOS 6 安装Hadoop 2.6 （二）配置Hadoop
CentOS 6 安装Hadoop 2.6 （三）问题收集
CentOS 6 安装Hadoop 2.6 （四）运行简单例子

下文服务器描述：一个主节点master，2个从节点slave1和slave2。

1. 解压文件

tar -xzvf hadoop-2.6.4.tar.gz
mv hadoop-2.6.4 /opt/

2. 配置环境变量

vi etc/profile

到末尾增加以下内容

HADOOP_HOME=/opt/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

更新文件：

source /etc/profile

在其他服务器上也执行类似操作。

3.修改配置

cd /opt/hadoop-2.6.4/etc/hadoop

(1) hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_77
export HADOOP_PREFIX=/opt/hadoop-2.6.4

(2) yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_77

(3) core-site.xml

<configuration>
  <property>
    <name>fs.defaultFSname>
    <value>hdfs://master:9000value>
  property>
  <property>
    <name>hadoop.tmp.dirname>
    <value>/opt/hadoop-2.6.4/tmpvalue>
  property>
configuration>

请先建立/opt/hadoop-2.6.4/tmp文件夹

(4) hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.secondary.http-addressname>
    <value>master:9001value>
  property>
  <property>
    <name>dfs.namenode.name.dirname>
    <value>/opt/hadoop-2.6.4/dfs/namevalue>
  property>

  <property>
    <name>dfs.datanode.data.dirname>
    <value>/opt/hadoop-2.6.4/dfs/datavalue>
  property>
  <property>
    <name>dfs.webhdfs.enabledname>
    <value>truevalue>
  property>
  <property>
    <name>dfs.replicationname>
    <value>2value>
  property>
configuration>

请先建立/opt/hadoop-2.6.4/dfs/data与/opt/hadoop-2.6.4/dfs/name文件夹

(5) mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
  property>
configuration>

(6) yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-servicesname>
    <value>mapreduce_shufflevalue>
  property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
    <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
  property>
  <property>
    <name>yarn.resourcemanager.addressname>
    <value>master:8032value>
  property>
  <property>
    <name>yarn.resourcemanager.scheduler.addressname>
    <value>master:8030value>
  property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.addressname>
    <value>master:8035value>
  property>
  <property>
    <name>yarn.resourcemanager.admin.addressname>
    <value>master:8033value>
  property>
  <property>
    <name>yarn.resourcemanager.webapp.addressname>
    <value>master:8088value>
  property>
configuration>

(7) slaves

slave1
slave2

将从节点的hostname写入这个文件

4. 拷贝到其他主机

每台服务器的Hadoop目录地址需要完全一致
将配置好的hadoop拷贝slave1和slave2：

scp -r /opt/hadoop-2.6.4 root@slave1:/opt/
scp -r /opt/hadoop-2.6.4 root@slave2:/opt/

请注意上文中提到的文件夹在从节点中是否都已经建立好（由于上面的例子数据文件夹在hadoop文件夹中，所以就不需要自己在从节点重新建立）

5. 运行Hadoop

（1）格式化数据节点

在各个节点上都要执行

hdfs namenode -format //由于上文已经配置了path，所以直接运行hdfs

（2）启动dfs

start-dfs.sh 

用jps检查master是否存在以下进程

23194 SecondaryNameNode
23023 NameNode

用jps检查slave是否存在以下进程

18652 DataNode

（3）启动yarn

start-yarn.sh

用jps检查master是否新增了以下进程

23451 ResourceManager

用jps检查slave是否新增了以下进程

18910 NodeManager

（4）访问管理网页

地址一：http://你的masterIP地址:8088/
检查该地址是否可以正常访问，并且Nodes标签中是否可以看到2个slave节点
地址二：http://你的masterIP地址:50070/
检查该地址是否可以正常访问，以及Overview后面跟的是否是’master:9000’ (active)，如果显示localhost可能就有问题了。再检查Live Nodes中是否有2个slave节点。