Hadoop从入门到精通系列之--3.完全分布式环境搭建

目录

一 什么是完全分布式

二 准备服务器

三 集群分发脚本

3.1 scp（secure copy）安全拷贝

3.2 rsync远程同步

3.3 集群分发脚本

四 集群规划

4.1 规划思想

4.2 具体配置

4.3 ssh免密登陆

---

一 什么是完全分布式

之前3篇博客搭建的环境都是伪分布式的环境，就是说除了我自己的电脑（win10）外，只有一台服务器（Linux），这在真正的生产环境下是不存在的，真正的生产环境是上百台甚至上千台服务器（Linux），那么上千台服务器之间如何工作呢？一个Hadoop如何在上千台服务器上进行工作呢？像这样由Hadoop统一管理服务器的形式叫做完全分布式。想要搭建这样的一个分布式框架，至少需要3台服务器，我也仅以3台服务器为例。

二 准备服务器

1. 准备三台安装Linux的服务器，可以在VMware中直接克隆，要求：关闭防火墙，静态ip，修改主机名称，这些在前面的博客中都详细介绍操作步骤。
2. 安装JDK，配置环境变量，安装Hadoop，配置Hadoop环境变量，这里注意每一台服务器上都现需要安装JDK和Hadoop。

这里还是总结一下：

• 关闭防火墙：chkconfig    iptables   off
• 设置静态IP：vim   /etc/sysconfig/network-scripts/ifcfg-eth0    修改IP地址
• 修改主机名称：vim   /etc/sysconfig/network

三 集群分发脚本

什么叫集群分发脚本呢？是这样，比方说上面准备虚拟机的时候需要安装Hadoop，需要拷贝安装包等，三台服务器还比较方便，如果是1000台服务器呢？可能一两天才能把Hadoop安装好，集群分发脚本就是在一台服务器上安装好了之后直接使用脚本给另外999台服务器发过去，方便了很多。

3.1 scp（secure copy）安全拷贝

1. 使用scp可以实现服务器和服务器之间的安全拷贝
2. 基本语法：scp    -r（递归）$pdir/$fname（需要拷贝的文件夹或者文件名称）$user@hadoop102:$pdir/$fname（目的用户的主机名称和目的地址）

举例：将hadoop103上的文件/home/wanglei/people下的文件拷贝到hadoop104上

温馨提示：当拷贝配置文件时，比如/etc/profile，需要source   /etc/profile

3.2 rsync远程同步

1. rsync与scp表达的功能相同，但是它比scp要快，因为rsync只复制不同的文件，而scp把所有文件都复制过去
2. 基本语法：rsync   -rvl     $pdir/$fname（需要拷贝的文件夹或者文件名称）$user@hadoop102:$pdir/$fname

举例：将hadoop103上的文件/home/wanglei/animal下的文件拷贝到hadoop104上

3.3 集群分发脚本

上述两种命令也仅仅只能让两个服务器之间通信，如何让多个服务器之间通信呢？这就需要写一个脚本了，下面附上脚本的代码再做解释。

#!/bin/bash
paraCount=$#
if [ $paraCount -eq 0 ]
then
 echo "没有输入参数"
exit
fi

p1=$1
fname=$(basename $p1)
echo "$fname"
pdir=$(cd -P $(dirname $p1);pwd)
echo "$pdir"
user=$(whoami)
echo "$user"
for ((host=104;host<105;host++))
do
 echo "$host"
 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/
 echo "$pdir/$fname $user@hadoop$host:$pdir/"
done

• #!/bin/bash：shell脚本的头文件标识，可以理解为c语言的头文件一样，不用理会，就是这个格式

• paraCount=$#：$#表示获取输入参数的个数，$0表示命令自己本身，$1表示输入的第一个参数，$2表示输入的第二个参数，以此类推，但是第十个参数以上就是${10}了；$*表示命令行所有的参数并把他们当作一个整体，$@表示命令行所有的参数，但是他们是分开的。

• if [ $paraCount -eq 0 ]：if条件语句，注意中括号中的条件与中括号两边都有空格。

• fname=$(basename $p1)：首先$()中是linux语句表示将这条语句的执行结果赋给某个值，其次basename表示去除/前面的所有路径，只保留最后一个

• pdir=$(cd -P $(dirname $p1); pwd)：dirname与basename恰恰相反，它的作用是保留最后一个/前的所有路径，cd  -P是获得物理地址，也就是说从根目录下来的地址。

• user=$(whoami)：whoami是获取当前用户名称，并把这个结果给user

• rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/：根据路径复制

具体用法：使用之前，记得给执行权限  chmod   777   xsync1

xsync1 /home/wanglei/animal

四 集群规划

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

4.1 规划思想

见上表格，Hadoop集群由NameNode、DataNode、SecondaryNameNode和ResourceManager、NodeManager组成，如何规划他们呢？上面的表格，做一下解释：只需要记住一点NameNode和ResourceManager不能在同一台服务器，因为这两个组件都非常消耗资源。

4.2 具体配置

所有机器：core-site.xml

      fs.defaultFS
      hdfs://hadoop102:9000




      hadoop.tmp.dir
      /opt/module/hadoop-2.7.2/data/tmp

hdfs-site.xml设置2nn的位置

      dfs.namenode.secondary.http-address
      hadoop104:50090

yarn-site.xml

	yarn.nodemanager.aux-services
	mapreduce_shuffle




	yarn.resourcemanager.hostname
	hadoop103

mapred-site.xml

	mapreduce.framework.name
	yarn

配置结束后直接用xsync分发整个hadoop包即可

4.3 ssh免密登陆

为什么需要ssh免密登陆呢？是为了方便群起集群，上面虽然将集群规划好了，但是还是要到相应的服务器上启动相应的服务，不方便，使用ssh免密登陆就可以在一台机器上启动所有服务。

步骤：

1. 生成公钥的密钥：ssh-keygen    -t   rsa
2. 将公钥拷贝至其他机器：ssh-copy-id  hadoop102；ssh-copy-id  hadoop103；ssh-copy-id  hadoop104
3. 配置slaves文件：vim    /etc/hadoop/slaves   在文件中删除localhost，添加hadoop102 hadoop103 hadoop104，并群发
4. 启动Hadoop，因为Hadoop分为hdfs和yarn，所以启动也是启动这两个部分
5. NameNode在102上，去102启动hdfs：sbin/start-dfs.sh
6. ResourceManager在103上，去103上启动yarn：sbin/start-yarn.sh

这样只需要启动一次hdfs和一次yarn即可。很方便。