大数据技术学习笔记（二）—— Hadoop运行环境的搭建
目录
- 1 模版虚拟机准备
-
- 1.1 修改主机名
- 1.2 修改hosts文件
- 1.3 修改IP地址
-
- 1.3.1 查看网络IP和网关
- 1.3.2 修改IP地址
- 1.4 关闭防火墙
- 1.5 创建普通用户
- 1.6 创建所需目录
- 1.7 卸载虚拟机自带的open JDK
- 1.8 重启虚拟机
- 2 克隆虚拟机
- 3 在hadoop101上安装JDK
-
- 3.1 传输安装包并解压
- 3.2 配置JDK环境变量
- 3.3 测试JDK是否安装成功
- 4 在hadoop101上安装Hadoop
-
- 4.1 解压安装包
- 4.2 配置Hadoop环境变量
- 4.3 测试Hadoop是否安装成功
-
- 启动HDFS
- 启动Yarn
笔者使用镜像为：
CentOS-7.5-x86_64-DVD-1804.iso
1 模版虚拟机准备
以 CentOS-7.5-x86-1804为例，安装成功后：
1.1 修改主机名
查看当前主机名
hostname
修改当前主机名
vim /etc/hostname
1.2 修改hosts文件
- 修改linux的主机映射文件（hosts文件）
编辑 /etc/hosts
vim /etc/hosts
添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
- 修改windows的主机映射文件（hosts文件）
进入C:\Windows\System32\drivers\etc 路径，打开hosts文件并添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
1.3 修改IP地址
1.3.1 查看网络IP和网关
查看虚拟网络编辑器
查看windows环境的中VMnet8网络配置
1.3.2 修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
编辑完后，按键盘esc ，然后输入 :wq 回车即可。
重启网络
systemctl restart network
查看修改后的IP
ifconfig
或者
ip addr
1.4 关闭防火墙
关闭防火墙，并关闭防火墙开机自启
systemctl stop firewalld
systemctl disable firewalld
1.5 创建普通用户
创建普通用户huwei
useradd huwei
修改普通用户huwei的密码
passwd huwei
配置 huwei 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令
vim /etc/sudoers
esc，键入:set nu显示行号，找到91行，在 root 下面添加一行
esc，对该只读文件保存强制退出:wq!
1.6 创建所需目录
在 /opt 目录下创建 module、software 文件夹
mkdir /opt/module
mkdir /opt/software
修改 module、software 文件夹的所有者和所属组均为 huwei 用户
chown huwei:huwei /opt/module
chown huwei:huwei /opt/software
查看module、software文件夹的所有者和所属组
cd /opt/
ll
1.7 卸载虚拟机自带的open JDK
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
1.8 重启虚拟机
reboot
2 克隆虚拟机
利用模板机 hadoop100，克隆三台虚拟机：hadoop101 、hadoop102、hadoop103
然后修改克隆机IP，以下以 hadoop101 举例说明。
修改IP地址，只需改 IPADDR=192.168.10.101
vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改主机名为 hadoop101
vim /etc/hostname
重启！
暂时不考虑克隆 hadoop102、hadoop103
3 在hadoop101上安装JDK
3.1 传输安装包并解压
将 hadoop 和 jdk 通过传输工具上传到 /opt/software
切换到 /opt/software目录下，解压 jdk到 /opt/module目录下
cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/
3.2 配置JDK环境变量
新建 /etc/profile.d/jdk.sh文件
sudo vim /etc/profile.d/my_env.sh
添加如下内容
# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
使环境变量生效
source /etc/profile
3.3 测试JDK是否安装成功
java -version
如果能看到以上结果，则代表 Java 安装成功！
4 在hadoop101上安装Hadoop
4.1 解压安装包
切换到 /opt/software目录下，解压 jdk到 /opt/module目录下
cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/
查看Hadoop目录结构
cd /opt/module/hadoop-3.1.3/
ll
重要目录
- bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
- etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
- lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
- sbin目录：存放启动或停止Hadoop相关服务的脚本
- share目录：存放Hadoop的依赖jar包、文档、和官方案例
4.2 配置Hadoop环境变量
编辑 /etc/profile.d/jdk.sh文件
sudo vim /etc/profile.d/my_env.sh
添加如下内容
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
使环境变量生效
source /etc/profile
4.3 测试Hadoop是否安装成功
hadoop version
如果能看到以上结果，则代表 Hadoop 安装成功！
启动HDFS
（1）集群单点启动
在hadoop101上启动NameNode、DataNode
[huwei@hadoop101 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[huwei@hadoop101 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop101 hadoop-2.7.2]$ jps
3426 Jps
3222 NameNode
3339 DataNode
在hadoop102上启动DataNode
[huwei@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop102 hadoop-2.7.2]$ jps
3233 DataNode
3319 Jps
在hadoop103上启动DataNode
[huwei@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop103 hadoop-2.7.2]$ jps
3344 Jps
3259 DataNode
（2）群起集群
在hadoop101上启动集群
[huwei@hadoop101 hadoop-2.7.2]$ sbin/start-dfs.sh
[huwei@hadoop101 hadoop-2.7.2]$ jps
3473 DataNode
3720 Jps
3324 NameNode
在hadoop102查看
[huwei@hadoop102 hadoop-2.7.2]$ jps
3380 Jps
3215 DataNode
在hadoop103查看
[huwei@hadoop103 hadoop-2.7.2]$ jps
3204 DataNode
3318 SecondaryNameNode
3464 Jps
web端查看HDFS文件系统
http://hadoop101:50070/dfshealth.html#tab-overview
启动Yarn
（1）集群单点启动
（2）群起集群
NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。
在hadoop102上启动Yarn
[huwei@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh
[huwei@hadoop102 hadoop-2.7.2]$ jps
3608 NodeManager
3481 ResourceManager
3935 Jps
3215 DataNode
在hadoop101上查看
[huwei@hadoop101 hadoop-2.7.2]$ jps
3824 NodeManager
3473 DataNode
3324 NameNode
3982 Jps
在hadoop103上查看
huwei@hadoop103 hadoop-2.7.2]$ jps
3204 DataNode
3318 SecondaryNameNode
3751 Jps
3579 NodeManage
YARN的浏览器页面查看
http://hadoop102:8088/cluster
