Hadoop集群安装部署

1.安装软件

    OS:centos6.5

    Hadoop：hadoop2.6.0

    JDK: jdk1.7.0_51

集群机器：

    192.168.0.208（主节点）

    192.168.0.209 (从节点)

    192.168.0.210 (从节点)

2.安装步骤

    如下安装步骤假设的JDK已经安装。

3.安装hadoop

（1）下载hadoop版本（hadoop2.7.0）

（2）解压hadoop-2.7.0.tar.gz

    tar zxvf hadoop-2.7.0.tar.gz  -C /opt/hadoop2/

    将hadoop解压到/opt/hadoop2 目录下。

（3）将hadoop添加到环境变量中

     打开/etc/profile 文件添加HADOOP_HOME

    export PATH=$HADOOP_HOME/bin:$PATH

(4)修改配置文件（$HADOOP_HOME/etc/hadoop目录下）

配置core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.0.208:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop2/tmp</value>
</property>
</configuration>

配置hdfs-site.xml:

<property>
 <name>dfs.namenode.name.dir</name>
 <value>/opt/hadoop2/name</value>
</property>
<property>
 <name>dfs.datanode.data.dir</name>
 <value>/opt/hadoop2/data</value>
</property>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

配置mapred-site.xml文件

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

配置yarn-site.xml文件

<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>HB208</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<property>
 <name>yarn.log.dir</name>
 <value>/opt/hadoop2/yarn_log</value>
</property>

修改slaves文件，添加datanode节点hostname到slaves文件中

   209

   210

（5）将hadoop拷贝到209 和210 上

（6）格式化集群,在208节点上执行如下命令： 

  hadoop namenode -format

（7）启动集群，在208节点上执行如下命令： 

  start-all.sh

(8)通过浏览器查看hadoop是否安装成功：

    输入： http://hadoop130:50070

本文出自 “为了手指那个方向” 博客，谢绝转载！