hadoop集群搭建篇（伪分布，完全分布）

要点如下：

• 1，服务器搭建： virtualBox + Centos7
• 2,  centos7:  网络配置
• 3，centos 上安装jdk, hadoop

---

第一步： 安装centos, 配置网络

我使用ubuntu16 桌面版， 安装virtualbox后，创建虚拟机： 添加centos7镜像文件

点击 ‘start’， 开始安装centos7....

安装完成后， 需要关机，centos虚拟机还需以下配置：

1. 默认只有一块网卡（NAT模式）,且没有开启--->设置为开启， dhcp自动分配ip
2. 为virtualbox添加虚拟网卡：host network manager
3. 动态ip不方便管理虚拟机--->添加第二块网卡, 设置静态ip( 仅主机模式)

点击"File"---->host network manager : "create"

重启虚拟机， 配置网卡

1. 登录后， 输入命令：  ip addr --->查看现有的网络配置， 可以看到3个网卡【lo, enp0s3, enp0s8】
2. 修改网络配置文件： cd /etc/sysconfig/network-scripts/  && ls
3. 修改centos7主机名： vim /etc/hostname  --> 改为：node

此时只有两个网络配置文件：ifcfg-enp0s3 ，ifcfg-lo   ----->复制一份文件，对应刚添加的新网卡 enp0s8

1.  cp ifcfg-enp0s3 ifcfg-enp0s8
2. vim ifcfg-enp0s3

             

注意：网卡enp0s8的网段要和 virtualbox的一致

重启网卡,再次查看网络： service network restart  && ip addr

---

第二步：安装jdk, hadoop

因为centos7 mini版， 界面不美观，输入也不方便，所以我使用ubuntu 16 远程登录来控制虚拟机，具体操作如下

1. 先配置ubuntu16 本机免密码登录， 再复制公钥到虚拟机centos7： ssh-keygen -t rsa -P ''"
2. 使用scp 命令， 拷贝jdk , hadoop 压缩包到centos7虚拟机:   scp jdk-8u171-linux-x64.tar.gz hadoop-2.7.3.tar.gz node:~
3. 远程登录centos7, 解压文件， 配置环境变量:  ssh node 

---

伪分布式

1. core-site.xml:    【namenode通信端口  + hdfs工作目录】
2. hdfs-site.xml：  【block备份数】
3. mapred-site.xml:【mapreduce的管理框架】
4. yarn-site.xml：  【yarn服务器地址+ 指定的服务】

---

完全分布式

在伪分布基础上：(修改) 

1，添加物理机： 分离datanode-->部署在多个slave节点

2, 配置slaves文件： 加入datanode主机名

3，修改系统ip映射: /etc/hosts--> 加入datanode 节点主机名ip映射

4，在master节点修改： hdfs-site.xml-->备份数3， 再同步master节点配置文件

5，删除工作目录， 重新格式化namenode

第一种：不分离secondarynamenode        ===>nm ,2nm 共用一个机器

在伪分布式的基础上， 修改slaves文件， 删除localhost--->替换为真实slave节点主机名;  重新format namenode即可

第二种：分离secondarynamenode            ====>nm一台机器， 2nm一台机器

更改hdfs-site.xml：加入以下内容

         dfs.namenode.secondary.http-address
         某某主机名:50090

---

 

编写脚本：更改 ip, hostname（克隆master机器后的slave机器）

#!/bin/bash
#修改Ip
if [[ -n $1 && -n $2 && -n $3 ]]
then
        sed -i "[email protected][email protected]$2@g" /etc/sysconfig/network-scripts/ifcfg-enp0s8
        service network restart
        #修改hostname
        echo "$3">/etc/hostname
        #重启
        reboot
else
        echo "需要三个参数： 原ip  目标ip  目标hostname...."
fi

解压安装jdk, hadoop:  (以root用户身份运行脚本）

#!/bin/bash
#脚本作用： 解压安装hadoop

#创建安装目录
mkdir -p /soft/{jdk,hadoop}
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /soft/jdk
tar -zxvf hadoop-2.7.3.tar.gz        -C /soft/hadoop
(cd /soft/jdk ;    mv jdk*    jdk8)
(cd /soft/hadoop ; mv hadoop* hadoop2.7)

#jdk,hadoop环境变量配置
echo "JAVA_HOME=/soft/jdk/jdk8" >> /etc/profile
echo "HADOOP_HOME=/soft/hadoop/hadoop2.7" >> /etc/profile
echo 'PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin' >> /etc/profile
echo 'export JAVA_HOME=/soft/jdk/jdk8'>>/soft/hadoop/hadoop2.7/etc/hadoop/hadoop-env.sh

#验证是否安装成功
source /etc/profile
java -version
hadoop version

core-site.xml

      
                hadoop.tmp.dir
                /home/centos/hadoop-tmp
        
        
                fs.defaultFS
                hdfs://localhost:9000
        

hdfs-site.xml

                
                    dfs.replication
                    1
                

 mapred-site.xml

        
                mapreduce.framework.name
                yarn
        

yarn-site.xml

        
                yarn.resourcemanager.hostname
                node
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle