Hadoop 集群cluster搭建

Hadoop集群cluster环境的搭建，可以参考官方文档：

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html

2015-12 搭建Hadoop cluster环境于公司云环境，这里云环境中，每台机器有两个IP，一个是云环境内其本身的IP，另一个是我们访问云端服务器使用的IP。而Hadoop的配置主要使用的是其本身的IP。

hosts如下：

192.168.0.8  hadoop1

192.168.0.16  hadoop2

192.168.0.12  hadoop3

192.168.0.15  hadoop4

其中hadoop1位master，其余为slave。hadoop1中配置namenode和resourcemanager，其他作为slave配置datanode和nodemanager。

搭建过程如下：

首先暗转Java，下载hadoop安装包。

安装ssh和rsync。

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

使用ssh-keygen命令生成密钥并配置这四台服务器，使得他们可以两两无密码ssh访问。因为在hadoop启动停止等操作时，会由master通过ssh方式访问各个slave。所以要保证他们可以ssh直接访问。

配置环境变量：

export JAVA_HOME=/usr/java/jdk1.7.0_79
export JRE_HOME=/usr/java/jdk1.7.0_79/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/apphome/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_PREFIX=/apphome/hadoop

然后就是每台服务器的hadoop自身的配置了，配置文件目录：$HADOOP_HOME/etc/hadoop

配置Hadoop中的环境变量，在hadoop-env.sh，mapred-env.sh和yarn-env.sh中配置JAVA_HOME。

每台机器上增加文件slaves

[appadmin@hadoop2 hadoop]$ cat slaves
hadoop2
hadoop3
hadoop4

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/apphome/hd/fstmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/apphome/hd/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/apphome/hd/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>

访问：http://10.120.20.208:50070/dfshealth.html#tab-overview

本文不是搭建环境时撰写，需要在以后搭建环境时再次验证。