Hadoop 运行环境搭建（详细）

Hadoop 运行环境搭建（重点）

1、模板虚拟机环境准备

1.1 准备一台模板虚拟机（hadoop100）

​ 注：本文Linux系统环境全部以 CentOS-7.5-x86-1804 为例说明

模板虚拟机配置：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备

[root@hadoop100 ~]# yum install -y epel-release
[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

yum，是Yellow dog Updater Modified的简称，它能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装

使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms

1.2 关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld	关闭防火墙（start/status/stop）
[root@hadoop100 ~]# systemctl disable firewalld		关闭防火墙开机自启（disable/enable）

1.3 创建 xiaoxq 用户，并修改 xiaoxq 用户的密码

[root@hadoop100 ~]# useradd xiaoxq
[root@hadoop100 ~]# passwd xiaoxq

1.4 配置 xiaoxq 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改 /etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
xiaoxq   ALL=(ALL)     NOPASSWD:ALL

1.5 在/opt目录下创建文件夹，并修改所属主和所属组

• 在/opt目录下创建 module、software 文件夹

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

• 修改 module、software 文件夹的所有者和所属组均为 xiaoxq 用户

[root@hadoop100 ~]# chown xiaoxq:xiaoxq /opt/module 
[root@hadoop100 ~]# chown xiaoxq:xiaoxq /opt/software

• 查看module、software文件夹的所有者和所属组

[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
总用量 8
drwxr-xr-x. 4 xiaoxq xiaoxq 4096 7月  17 12:34 module
drwxr-xr-x. 2 xiaoxq xiaoxq 4096 7月  17 12:32 software

1.6 卸载虚拟机自带的open JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

1.7 重启虚拟机

[root@hadoop100 ~]# reboot

2、克隆虚拟机

2.1 利用模板机hadoop100，克隆三台虚拟机：hadoop105 hadoop106 hadoop107

|

2.2 修改克隆机IP，以下以hadoop105举例说明

• 2.2.1 修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static		//静态
NAME="ens33"
IPADDR=192.168.6.105	//虚拟机的IP
PREFIX=24
GATEWAY=192.168.6.2		
DNS1=192.168.6.2

• 2.2.2 查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

​ 进入NAT设置

• 2.2.3 查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

• 2.2.4 保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

2.3 修改克隆机主机名，以下以 hadoop105 举例说明

• 修改主机名称

[root@hadoop100 ~]# hostnamectl --static set-hostname hadoop105

或者修改 /etc/hostname 文件

[root@hadoop100 ~]# vim /etc/hostname
hadoop105

• 配置linux克隆机主机名称映射hosts文件，打开 /etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

添加如下内容

192.168.6.100 hadoop100
192.168.6.105 hadoop105
192.168.6.106 hadoop106
192.168.6.107 hadoop107

2.4 重启克隆机hadoop105

[root@hadoop100 ~]# reboot

2.5 修改 windows 的主机映射文件（hosts文件）

• 如果操作系统是 window7，可以直接修改

  进入C:\Windows\System32\drivers\etc路径，打开hosts文件并添加如下内容，然后保存

192.168.6.100 hadoop100
192.168.6.105 hadoop105
192.168.6.106 hadoop106
192.168.6.107 hadoop107

• 如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可

  进入C:\Windows\System32\drivers\etc路径，拷贝hosts文件到桌面，打开桌面hosts文件并添加如下内容

192.168.6.100 hadoop100
192.168.6.105 hadoop105
192.168.6.106 hadoop106
192.168.6.107 hadoop107

再将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

3、在 hadoop105 安装 JDK / hadoop

3.1 卸载现有JDK

[xiaoxq@hadoop105 ~]$ rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

3.2 用Xftp6工具将 JDK/hadoop 导入到opt目录下面的software文件夹下面

3.3 在Linux系统下的opt目录中查看软件包是否导入成功

[xiaoxq@hadoop105 ~]$ ls /opt/software/
hadoop-3.1.3.tar.gz  jdk-8u212-linux-x64.tar.gz

3.4 解压 JDK/hadoop 到/opt/module目录下

[xiaoxq@hadoop105 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
[xiaoxq@hadoop105 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3.5配置 JDK / hadoop 环境变量

• 新建 /etc/profile.d/my_env.sh 文件

[xiaoxq@hadoop105 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#!/bin/bash
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

• 保存后退出 :wq
• source一下/etc/profile文件，让新的环境变量PATH生效

[xiaoxq@hadoop105 ~]$ source /etc/profile

3.6 测试 JDK/ hadoop 是否安装成功

[xiaoxq@hadoop105 ~]$ java -version
java version "1.8.0_212"

[xiaoxq@hadoop105 ~]$ hadoop version
Hadoop 3.1.3

命令没有作用就重启 
[xiaoxq@hadoop105 ~]$ sudo reboot

4、Hadoop目录结构

4.1 查看Hadoop目录结构

[xiaoxq@hadoop105 ~]$ cd /opt/module/hadoop-3.1.3/
[xiaoxq@hadoop105 hadoop-3.1.3]$ ll
总用量 208
drwxr-xr-x. 2 xiaoxq xiaoxq   4096 9月  12 2019 bin
drwxr-xr-x. 3 xiaoxq xiaoxq   4096 9月  12 2019 etc
drwxr-xr-x. 2 xiaoxq xiaoxq   4096 9月  12 2019 include
drwxr-xr-x. 3 xiaoxq xiaoxq   4096 9月  12 2019 lib
drwxr-xr-x. 4 xiaoxq xiaoxq   4096 9月  12 2019 libexec
-rw-rw-r--. 1 xiaoxq xiaoxq 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 xiaoxq xiaoxq  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 xiaoxq xiaoxq   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 xiaoxq xiaoxq   4096 9月  12 2019 sbin
drwxr-xr-x. 4 xiaoxq xiaoxq   4096 9月  12 2019 share

4.2 重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例