HADOOP全分布部署

1、克隆并启动虚拟机（集群为奇数台）

2、修改静态IP

（1）vim /etc/udev/rules.d/70-persistent-net.rules
删除eth0行，将eth1修改为eth0，同时复制MAC地址
（2）vim /etc/sysconfig/network-scripts/ifcfg-eth0
修改IP、网关、DNS、BOOTPROTO=static、ONBOOT=yes
（3）service network restart
重启网络服务

3、修改主机名

（1）vim /etc/sysconf/network
修改HOSTNAME=hadoop01，重启设备主机名才会改变
（2）vim /etc/hosts
添加以下内容
192.168.75.128 hadoop01
192.168.75.129 hadoop02
192.168.75.130 hadoop03

4、关闭防火墙

chkconfig iptables off重启生效
service iptables stop即时生效

5、SSH免密登录

（1）ssh-keygen
生成秘钥
（2）ssh-copy-id 目标机器ip
将公钥拷贝到要免密登录的目标机器上

6、编写xsync集群分发脚本

在/usr/local/bin目录下创建xsync文件

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1 fname=basename $p1
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=cd -P $(dirname $p1); pwd
echo pdir=$pdir
#4 获取当前用户名称
user=whoami
#5 循环
for((host=2; host<4; host++)); do
#echo $pdir/$fname $user@hadoop$host:$pdirecho---------------hadoop$host ----------------
rsync -rvl $pdir/$fname $user@hadoop0$host:$pdir
done

chmod 777 xsync

7、编写集群操作脚本

在/usr/local/bin目录下创建xcall文件

#!/bin/bash
params=$@
i=1
for (( i=1 ; i <= 3 ; i = $i+1));doecho=============hadoop0$i $params=============sshhadoop0$i “$params”
done

chmod 777 xcall

8、配置集群

（1）集群部署规划

（2）配置文件
core-site.xml

Hdfs

hadoop-env.sh

hdfs.site.xml

slaves

Yarn
yarn-env.sh

yarn-site.xml

mapreduce
mapred-env.sh

mapred-site.xml

（3）在集群上分发以上所有配置文件

9、集群时间同步

详见hadoop集群时间同步