【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 概述-CSDN博客

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建-CSDN博客

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行模式-CSDN博客

1、模板虚拟机环境准备

1.1、 hadoop100 虚拟机配置要求如下

(1)使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com

(2)安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

(3)注意:如果Linux 安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作
net-tool:工具包集合,包含ifconfig 等命令
vim:编辑器

[root@hadoop100 ~]# yum install -y net-tools
[root@hadoop100 ~]# yum install -y vim

1.2、 关闭防火墙,关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

1.3、 创建普通用户,并修改普通用户的密码

[root@hadoop100 ~]# useradd Tom
[root@hadoop100 ~]# passwd Tom

1.4、 配置普通用户具有 root 权限,方便后期加sudo 执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers 文件,在%wheel 这行下面添加一行,如下所示:

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建_第1张图片

注意:Tom这一行不要直接放到 root行下面,因为所有用户都属于 wheel组,你先配置了Tom具有免密功能,但是程序执行到 %wheel行时, 该功能又被覆盖回需要密码 。所以Tom要放到 %wheel这行下面。

2.1.5 在 /opt目录下创建文件夹 ,并修改所属用户和所属组

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建_第2张图片

2.1.6 卸载虚拟机自带的 JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e --nodeps:强制卸载软件
注意:注意:如果你的虚拟机是最小化安装不需要执行这一步。

1.7| 重启虚拟机

[root@hadoop100 ~]# reboot


2.2 克隆虚拟机


2.1、 利用模板机 hadoop100,克隆 三台虚拟机 hadoop102 hadoop103 hadoop104

注意:克隆时,要先关闭 hadoop100

2.2、 修改克隆机 IP,以 hadoop102 举例说明

(1)修改克隆虚拟机的静态 IP:

[Tom@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建_第3张图片

(2)查看 Linux虚拟机的虚拟网络编辑器,编辑 ->虚拟网络编辑器 ->VMnet8

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建_第4张图片

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建_第5张图片
(3)查看 Windows系统适配器 VMware Network Adapter VMnet8的 IP地址

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建_第6张图片
(4)保证 Linux系统 ifcfg-ens33文件中 IP地址、虚拟网络编辑器地址和 Windows系统 VMnet8网络 IP地址相同。

2.3、 修改克隆机主机名 ,以 hadoop102举例说明

(1)修改主机名称

[root@hadoop100 ~]# vim /etc/hostname 

(2)配置 Linux克隆机主机名称映射 hosts文件 打开 /etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

2.4、 重启克隆机 hadoop102

[root@hadoop100 ~]# reboot

2.5、 修改 windows的主机映射文件(hosts文件)

进入C:\Windows\System32\drivers\etc路径,打开 hosts文件并添加如下内容 ,然后保存。

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建_第7张图片
3、 在 hadoop102 安装 JDK

3.1、卸载现有 JDK

注意:安装 JDK前,一定确保提前删除了虚拟机自带的 JDK。

3.2、用 XShell传输工具将 JDK导入到 opt目录下面的 software文件夹下面

3.3、在 Linux系统下的 opt目录中查看软件包是否导入成功

[Tom@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz

3.4、解压 JDK到 /opt/module目录下

[Tom@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3.5、配置 JDK环境变量

[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh 

ee604055f34b49c6840c6b723e1dbbaf.png

source一下 /etc/profile文件 ,让新的环境变量 PATH生效

[Tom@hadoop102 software]$ source /etc/profile

测试JDK是否安装成功

[Tom@hadoop102 software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[Tom@hadoop102 software]$ 

4、 在 hadoop102 安装 Hadoop

4.1、用 XShell文件传输 工具将 hadoop-3.1.3.tar.gz导入到 opt目录下面的 software文件夹下面

4.2、解压安装文件到 /opt/module下面

[Tom@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4.3、查看是否解压成功

[Tom@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3  jdk1.8.0_212

4.4、将 Hadoop添加到环境变量

[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh 

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建_第8张图片

让修改后的文件生效

[Tom@hadoop102 software]$ source /etc/profile

4.5、测试是否安装成功

[Tom@hadoop102 software]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[Tom@hadoop102 software]$ 


4.6、重启 如果 Hadoop命令不能用再重启虚拟机

[Tom@hadoop102 hadoop-3.1.3]$ sudo reboot

5、 Hadoop 目录结构

查看 Hadoop目录结构

[Tom@hadoop102 hadoop-3.1.3]$ ll
总用量 184
-rw-rw-r--. 1 Tom Tom     25 5月  28 16:49 a.txt
drwxr-xr-x. 2 Tom Tom    183 9月  12 2019 bin
drwxrwxr-x. 4 Tom Tom     37 5月  29 10:54 data
drwxr-xr-x. 3 Tom Tom     20 9月  12 2019 etc
drwxrwxr-x. 3 Tom Tom     18 5月  29 10:53 hdfsdata
drwxr-xr-x. 2 Tom Tom    106 9月  12 2019 include
drwxr-xr-x. 3 Tom Tom     20 9月  12 2019 lib
drwxr-xr-x. 4 Tom Tom    288 9月  12 2019 libexec
-rw-rw-r--. 1 Tom Tom 147145 9月   4 2019 LICENSE.txt
drwxrwxr-x. 3 Tom Tom   4096 5月  29 15:36 logs
-rw-rw-r--. 1 Tom Tom  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 Tom Tom   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 Tom Tom   4096 9月  12 2019 sbin
drwxr-xr-x. 4 Tom Tom     31 9月  12 2019 share
drwxrwxr-x. 2 Tom Tom     22 5月   6 22:23 wcinput
[Tom@hadoop102 hadoop-3.1.3]$ 

重要目录

(1) bin目录:存放对 Hadoop相关服务( hdfs yarn mapred)进行操作的脚本
(2) etc目录: Hadoop的配置文件目录,存放 Hadoop的配置文件
(3) lib目录:存放 Hadoop的本地库(对数据进行压缩解压缩功能)
(4) sbin目录:存放启动或停止 Hadoop相关服务的脚本
(5) share目录:存放 Hadoop的依赖 jar包 、文档和官方案例
 

你可能感兴趣的:(大数据,Hadoop,大数据,hadoop,学习)