hadoop备战：一台x86计算机搭建hadoop的全分布式集群

主要的软硬件配置：

x86台式机，window7  64位系统

vb虚拟机(x86的台式机至少是4G内存，才干开3台虚机)

centos6.4操作系统

hadoop-1.1.2.tar.gz

jdk-6u24-linux-i586.bin

WinScp 远程文件传输工具，非常好用。能够用于windows和虚拟机Linux之间文件相互拷贝。

一、root下的配置

a) 改动主机名：vi /etc/sysconfig/network

Master,slave1,slave2

b) 解析Ip: vi /etc/hosts 

192.168.8.100 master

192.168.8.101 slave1

192.168.8.102 slave2

c) 调试网络：

採用网桥连接网络，配置网络。

改动后记得调用 service network restart

确保三台虚拟机可以相互ping通。

d) 关闭防火墙

 查看：service  iptables  status

 关闭：service  iptables  stop

查看防火墙有无自启动：

Chkconfig –-list | grepiptables

    关闭自启动：

Chkconfig  iptables  off

二、yao用户下的配置

a) 创建用户yao,设置password，进入用户

useradd yao

passwd 123456

b) master创建公私秘钥

ssh-keygen –t rsa

1) 将 id_rsa.pub 复制给 authorized_keys

Cp id_rsa.pub authorized_keys

2) 将 master 中的 authorized_keys 复制给 slave1 的 /home 下

scp id_rsa.pub [email protected]:/home

3) 将 master 拷贝过来的 authorized_keys 拷贝到 slave1 本身所创的 authorized_keys 下，同理 slave2 的也是。最后达到任一个 authorized_keys 中都包括全部机组的公钥。

4)将hadoop拷贝拷贝到相应的机子中/home/yao/Documents/

在root下配置环境变量：vi /etc/profile

export HADOOP_HOME=/home/yao/Documents/hadoop

export HADOOP_HOME_WARN_SUPPRESS=1

export PATH=.:$PATH:$HADOOP_HOME

注：su + username实现切换用户。

5）安装jdk,解压时须要授权;

Chmod u+x jdk。。。

解压。

配置环境变量：vi /etc/profile

6）改动/hadoop/conf下的配置文件

改动core-site.xml

改动hdfs-site.xml

改动mapred-site.xml

7)改动hadoop/conf/hadoop-evn.xml文件，这里指定jdk的路径。

export JAVA_HOME=/usr/local/jdk

8）改动/hadoop/conf/masters  和slaves,相应协商虚拟机的名称,让hadoop知道主机和datanode；

Masters:  Master

Slavers:  Slave1   Slave2

三、拷贝hadoop

上述master中的hadoop配置基本完毕了，因为namenode节点上的hadoop配置是同样的，所以如今将master上的hadoop分别复制到slave1和slave2上。

命令：

Scp -r ./hadoop yao@slave1：/home/yao/

Scp -r ./hadoop yao@slave2：/home/yao/

拷贝完毕后，在master机器上hadoop文件夹下运行：

格式化：Bin/hadoop namenode -format 

下一步，运行启动：

Bin/start-all.sh

在slave1中，输入jps：

 

类似的在slave2中，输入jps，也能得到相同的结果:

总结：

配置这样的全分布式的hadoop集群，分为几个步骤：

1）配置Hosts文件

2）建立Hadoop执行账号

3）配置ssh免password连入

4）下载并解压hadoop安装包

5）配置namenode,改动site文件

6）配置hadoop-env.sh

7）配置masters,和slaves文件

8）向个节点复制hadoop

9）格式化namenode

10）启动hadoop

11）用jps检验各后台进程是否成功启动

注：不能眼高手低，从装机開始，每一步都会遇到各种各样的问题须要解决。这是个熟悉指令和hadoop文件机制的过程。

伪分布式

伪分布式的搭建是很easy的，由于它是单一的节点，上述步骤仅仅须要：

1）建立Hadoop执行账号

2）配置ssh免password连入（单一节点，仅仅要将id_rsa.pub拷贝到authorized_keys中就能实现自身免password）

3）下载并解压hadoop安装包

4）下载jdk，并解压安装

5）改动site文件

6）配置hadoop-env.sh

7）格式化namenode

8）启动hadoop

9）用jps检验各后台进程是否成功启动

OK,基本上理解hadoop搭建的过程，伪分布和全分布都是非常easy的。