Hadoop三节点大数据环境安装教程(1)

说明:

1.教程中出现字体加粗和加红的说明需要大家仔细阅读,按照步骤进行安装,都是比较重要的细节,如果有同学忘记或者跳过说明的步骤,环境大家的过程中问题会非常的多.

1.下载CentOS7

1.百度搜索centos-->2.点击centos官网连接-->3.点击DVD ISO-->4.点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso连接进下载.

Hadoop三节点大数据环境安装教程(1)_第1张图片
1561786292574

2.安装虚拟机管理软件

Windows安装教程

Mac安装教程

VMware Fusion配置Nat静态IP - zhishengqianjun的博客 - CSDN

安装完成虚拟机会在桌面上生成虚拟机快捷方式

1561787073315

3.创建虚拟机

3.1 启动虚拟机管理软件

安装完成虚拟机管理软件后,双击桌面的快捷方式

1561787073315

启动虚拟机管理软件,如下图:

Hadoop三节点大数据环境安装教程(1)_第2张图片
1561787128229

如下图,点击文件-->点击新建虚拟机-->默认选择典型(推荐)(T)-->点击下一步

Hadoop三节点大数据环境安装教程(1)_第3张图片
1561787527124

如下图,点击"稍后安装操作系统"-->点击下一步

Hadoop三节点大数据环境安装教程(1)_第4张图片
1561787642532

如下图,选择Linux(L)-->选择CentOS7 64 位-->点击下一步

Hadoop三节点大数据环境安装教程(1)_第5张图片
1561787816129

如下图,输入名称:BaseCentos7,选创建一个基本的虚拟机,后续的集群节点从此虚拟机上进行克隆而来

输入完虚拟机名称后,

1.点击浏览-->选择虚拟机位置-->选择这台电脑-->选择并展开本地磁盘C

2.在磁盘创建一下层级文件夹myprogram(虚拟机存放根目录)-->3nodesvm-->basecentos(虚拟机存放目录)

3.选择C:\myprogram\3nodesvm\basecentos目录作为BaseCentos7的存储目录

4.在C:\myprogram\3nodesvm\目录下一次创建node1,node2,node3用于存储后续分别三个节点的虚拟机磁盘文件。

5.选择完basecentos目录后点击下一步.

Hadoop三节点大数据环境安装教程(1)_第6张图片
1561788633380
Hadoop三节点大数据环境安装教程(1)_第7张图片
1561788868271
Hadoop三节点大数据环境安装教程(1)_第8张图片
1561789108419

如下图,修改最大磁盘大小从默认的20G修改为200G(一次性修改的大一些,集群运行的过程中会产生大量文件,默认20G不够用)

Hadoop三节点大数据环境安装教程(1)_第9张图片
1561789206480

如下图,点击完成,来完成虚拟机的创建,稍等两三秒会看到创建的虚拟机

Hadoop三节点大数据环境安装教程(1)_第10张图片
1561789347109

创建的虚拟机如下图:

Hadoop三节点大数据环境安装教程(1)_第11张图片
1561789397626

3.2 修改内存和CPU

如下图,点击内存-->选择内存-->在右侧输入2048调整虚拟机内存为2G

Hadoop三节点大数据环境安装教程(1)_第12张图片
1561789903285

继上一步操作,输入完内存值后,选择CPU,选择处理器数量和内核数量均为2

Hadoop三节点大数据环境安装教程(1)_第13张图片
1561790073613

如下图,点击确认.

Hadoop三节点大数据环境安装教程(1)_第14张图片
1561790136438

如下图,设置为内存和cpu后如下。

Hadoop三节点大数据环境安装教程(1)_第15张图片
1561790179896

3.3 选择Centos7的镜像文件

如下两张图:

1.点击CD/DVD

2.点击CD/DVD(IDE)

3.点击使用ISO镜像文件

4.点击浏览

5.选择刚开始下载的centos7系统的镜像文件

6.点击打开

7.点击确认,完成镜像文件的选择

Hadoop三节点大数据环境安装教程(1)_第16张图片
1561790383687

如下图,点击确认

Hadoop三节点大数据环境安装教程(1)_第17张图片
1561790531867

3.4 centos系统安装

如下图,点击开始此虚拟机

Hadoop三节点大数据环境安装教程(1)_第18张图片
1561790656058

如果出现下图,点击我已完成安装

Hadoop三节点大数据环境安装教程(1)_第19张图片
1561790723707

等待自动倒计时为0后自动开始系统安装....

Hadoop三节点大数据环境安装教程(1)_第20张图片
1561790751089

1.点击安装Tools,2.点击Continue

Hadoop三节点大数据环境安装教程(1)_第21张图片
1561790940962
Hadoop三节点大数据环境安装教程(1)_第22张图片
1561790875749

如下图,点击DATE&TIME

Hadoop三节点大数据环境安装教程(1)_第23张图片
1561791262437

如下图,选择时区,点击Done

Hadoop三节点大数据环境安装教程(1)_第24张图片
1561791428961

如下图,点击INSTALLATION SOURCE

Hadoop三节点大数据环境安装教程(1)_第25张图片
1561791737363

如下图,选择磁盘,点击Done

Hadoop三节点大数据环境安装教程(1)_第26张图片
1561791651571

磁盘选择完成后,Begin installation会变成蓝色可用状态,点击Begin installation继续下一步

Hadoop三节点大数据环境安装教程(1)_第27张图片
1561791877883

如下图,点击设置管理员root用户的密码为root和用户名一样,方便记忆.

Hadoop三节点大数据环境安装教程(1)_第28张图片
1561791985384
Hadoop三节点大数据环境安装教程(1)_第29张图片
1561792052213

等待安装进度完成,至此完美的开始已经成功了一半,耐心等待吧....

Hadoop三节点大数据环境安装教程(1)_第30张图片
1561792072304

如下图安装完成,点击Reboot重新启动.

Hadoop三节点大数据环境安装教程(1)_第31张图片
1561792684377

重启后如下图,显示localhost login :(冒号)后有个不停闪烁的白色短横杠,其中localhost表示当前主机名称,至此虚拟机安装完成.

Hadoop三节点大数据环境安装教程(1)_第32张图片
1561792857264

输入用户名root,输入密码:root,此时只需要输入密码即可,但是界面上不显示,输入完成后回车,登录成功如下图:

Hadoop三节点大数据环境安装教程(1)_第33张图片
1561793170290

登录成功后显示[root@localhost ~]#

输入init 0命令回车关闭centos linux系统,接下载对刚安装好的虚拟机做快照,以防止软件安装过程中出错可以使用快照还原到系统刚安装好的状态.

4.创建快照

如下如按照1-5的步骤提示操作创建快照,6,7,8方式查看创建的快照,后期操作的关键步骤建议大家创建快照.

Hadoop三节点大数据环境安装教程(1)_第34张图片
1561793696601

4.环境配置

创建完快照后启动虚拟机,使用root用户和root密码登录系统.

Hadoop三节点大数据环境安装教程(1)_第35张图片
1561793888697

4.1 停止防火墙

#停止防火墙
[root@localhost ~]#systemctl stop firewalld
#禁止防火墙随着系统启动而启动
[root@localhost ~]#systemctl disable firewalld
#查看防火墙状态
[root@localhost ~]#systemctl status firewalld

防火墙操作如下图:

Hadoop三节点大数据环境安装教程(1)_第36张图片
1561794196165

4.2 禁用selinux

#将SELINUX的值设置为disabled
[root@localhost ~]# vi/etc/selinux/config
#查看是否设置完成
[root@localhost ~]# cat /etc/selinux/config
Hadoop三节点大数据环境安装教程(1)_第37张图片
1561794424962

5.配置虚拟机网络

5.1 打开虚拟网络编辑器

Hadoop三节点大数据环境安装教程(1)_第38张图片
1561794791322

5.2 设置虚拟网络和子网

如下图选择VMnet8,点击更改设置,点击是

Hadoop三节点大数据环境安装教程(1)_第39张图片
1561794866933
Hadoop三节点大数据环境安装教程(1)_第40张图片
1561795004561

在此选择VMnet8,子网IP输入192.168.200.0,子网掩码输入255.255.255.0

Hadoop三节点大数据环境安装教程(1)_第41张图片
1561795132993

点击NAT设置,输入网关IP192.168.200.2(此ip地址必须是192.168.200.2,不能是192.168.200.1这个ip有特殊用途,知道即可),点击确定

Hadoop三节点大数据环境安装教程(1)_第42张图片
1561795216573

在此点击确定,完成虚拟网络的配置.

Hadoop三节点大数据环境安装教程(1)_第43张图片
1561795272238

5.3 设置虚拟机网路

BaseCentos-->右键选择设置打开虚拟机设置

Hadoop三节点大数据环境安装教程(1)_第44张图片
1561795623841

选择网络适配器-->选择自定义(U):特定虚拟网络-->确定,完成虚拟机网络设置.

Hadoop三节点大数据环境安装教程(1)_第45张图片
1561795603660

5.4 配置虚拟机IP

[root@localhost ~]#vi /etc/sysconfig/network-scripts/ifcfg-ens33

在文件ifcfg-ens33的末尾新增,如下内容:
IPADDR=192.168.200.10
NETMASK=255.255.255.0
GATEWAY=192.168.200.2 #和在配置虚拟网路中的网关保持一致
DNS1=8.8.8.8
DNS2=144.144.144.144

配置完成后保存文件

#重新启动网卡
[root@localhost ~]#systemctl restart network
#ping 百度的官网保证虚拟机能够访问外网,方便后期在线安装一些依赖软件
[root@localhost ~]#ping www.baidu.com
Hadoop三节点大数据环境安装教程(1)_第46张图片
1561802113087
Hadoop三节点大数据环境安装教程(1)_第47张图片
1561802479518

6.安装xshell工具

​ 使用这个工具可以很方便的操作linux,比如连接linux的命令行,通过xftp文件文件传输工具可以向linux中上传文件.一般我们已经给同学提供了如下的xhsell安装程序包.

6.1 xshell安装

Hadoop三节点大数据环境安装教程(1)_第48张图片
1561803239439

如上图,双击Xshell4.exe进行安装

如果出现以下提示点击是,这是win8,win10等操作系统为了安全提供的一种提示机制。

Hadoop三节点大数据环境安装教程(1)_第49张图片
1561803391824

开始安装

Hadoop三节点大数据环境安装教程(1)_第50张图片
开始安装

如下图点击next

Hadoop三节点大数据环境安装教程(1)_第51张图片
1561803482282

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第52张图片
1561803513294

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第53张图片
1561803566455

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第54张图片
1561803597211

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第55张图片
1561803630077

如下图点击Install

Hadoop三节点大数据环境安装教程(1)_第56张图片
1561805322970

点击Finsh完成安装.

Hadoop三节点大数据环境安装教程(1)_第57张图片
1561805352689

6.2 xftp安装

如下图,双击Xftp4.exe进行安装

Hadoop三节点大数据环境安装教程(1)_第58张图片
1561805507864

同样的如果出现下图,点击是

Hadoop三节点大数据环境安装教程(1)_第59张图片
1561805627152

开始安装

Hadoop三节点大数据环境安装教程(1)_第60张图片
开始安装..

如下图,点击next

Hadoop三节点大数据环境安装教程(1)_第61张图片
1561805681119

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第62张图片
1561805722257

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第63张图片
1561805757039

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第64张图片
1561805787340

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第65张图片
1561805813671

如下图选择,点击next

Hadoop三节点大数据环境安装教程(1)_第66张图片
1561805859338

6.3 xshell和xftp的使用

安装完xshell和xftp后再桌面上生成xshell和xftp的快捷方式.

1561812727681

双击Xshell4快捷键运行xshell

Hadoop三节点大数据环境安装教程(1)_第67张图片
1561812992616

如下图,点击打开
1561813021439

按钮打开会话窗口(第二步),在会话窗口中点击新建-->打开新建会话窗口新建会话.

Hadoop三节点大数据环境安装教程(1)_第68张图片
1561812969220

如下图,输入名称basecentos(为每个虚拟机的连接起相应的名字)和将要连接的虚拟机ip

Hadoop三节点大数据环境安装教程(1)_第69张图片
1561814007359

如下图,点击用户身份验证,输入用户名(root)和密码(root),点击确定

Hadoop三节点大数据环境安装教程(1)_第70张图片
1561814078073

确定后创建出如下的会话连接(basecentos),点击连接

Hadoop三节点大数据环境安装教程(1)_第71张图片
1561814144633

如下图,第一次连接虚拟机时xshell需要保存连接用户的用户名和密码,下次登录时就可以不要在输入,方便后期登录。

Hadoop三节点大数据环境安装教程(1)_第72张图片
1561814220782

如下图,我们已经成功登录到basecentos这个虚拟机的linux系统中.

Hadoop三节点大数据环境安装教程(1)_第73张图片
1561814309604

至此我们已经完成了使用xshell连接linux,我们会发现字体太小,看着不舒服,接下来我们调整下字体,如下图:

Hadoop三节点大数据环境安装教程(1)_第74张图片
1561814641561

如下图,点击外观,在右侧选择16号字体,点击确定,完成设置.

Hadoop三节点大数据环境安装教程(1)_第75张图片
1561814869529

7.上传jdk

将已经下载好的jdk上传到我们已经安装好的linux系统中,默认我们使用root用户安装jdk。

这时我们就需要使用xftp上传jdk安装包

如下图,点击xftp按钮,打开xftp工具

Hadoop三节点大数据环境安装教程(1)_第76张图片
1561814988772

xftp窗口如下:

Hadoop三节点大数据环境安装教程(1)_第77张图片
1561815130797

在左侧选择linux环境下的jdk安装包,鼠标按住左键直接拖到右侧后放开鼠标,可以看到下面的上传进度.

Hadoop三节点大数据环境安装教程(1)_第78张图片
1561815262611

如下图,上传完成.

Hadoop三节点大数据环境安装教程(1)_第79张图片
1561815359868

上传完成后我们就可以关闭xftp窗口,回到xshell命令窗口。

Hadoop三节点大数据环境安装教程(1)_第80张图片
1561815451541

在xshell命令窗口中输入ll命令然后回车,如下图,可以看到刚才上传的jdk安装文件.

Hadoop三节点大数据环境安装教程(1)_第81张图片
1561815533122

8.安装JDK

至此我们已经通过xftp工具将jdk的安装包上传到linux的root用户工作目录下,接下来我们进行安装.

8.1 安装jdk

[root@localhost ~]# rpm -ivh jdk-8u211-linux-x64.rpm

如下图,显示jdk的安装过程

Hadoop三节点大数据环境安装教程(1)_第82张图片
1561861604897

如下图,jdk安装完成

Hadoop三节点大数据环境安装教程(1)_第83张图片
1561861646079

8.2 配置java环境变量

1.查找到jdk的安装目录

#首先使用find命令找到java的安装目录
[root@localhost ~]# find / -name java
/etc/alternatives/java
/etc/pki/ca-trust/extracted/java
/etc/pki/java
/var/lib/alternatives/java
/usr/bin/java
/usr/java
#java(jdk)的安装目录
/usr/java/jdk1.8.0_211-amd64/bin/java
/usr/java/jdk1.8.0_211-amd64/jre/bin/java
[root@localhost ~]# 

2.配置环境变量

使用vi命令修改root家目录下的.bash_profile文件

[root@localhost ~]# vi .bash_profile

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs
#java环境变量
JAVA_HOME=/usr/java/jdk1.8.0_211-amd64
#java环境变量加入到path中
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

export JAVA_HOME
export PATH
~                                                                                                                                                                                    #先按下键盘左上角的esc建 ,然后按住shift输入:(冒号),在输入wq!(强制保存)
:wq!
[root@localhost ~]# vi .bash_profile
#使用source命令使配置的环境变量生效
[root@localhost ~]# source .bash_profile
#使用java -version命令查看java环境变量配置是否成功
[root@localhost ~]# java -version
#显示java version "1.8.0_211" 表示java环境变量(JAVA_HOME)已经配置成功.
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
[root@localhost ~]# 

9.配置时间同步

​ 后期搭建大数据集群内时需要个个节点之间的时间保持一样,所以我们搭建集群时需要进行节点和时间中心的时间同步。

9.1 安装时间同步软件

使用命令:yum install -y ntpdate 安装时间同步软件(yum是个linux下的一个在线软件安装工具,大家先简单使用下,我们后续课程中会讲解到

[root@localhost ~]# yum install -y ntpdate
Loaded plugins: fastestmirror
Determining fastest mirrors
 * base: mirrors.tuna.tsinghua.edu.cn
 * extras: mirrors.tuna.tsinghua.edu.cn
 * updates: mirrors.tuna.tsinghua.edu.cn
base                                                                     | 3.6 kB  00:00:00     
extras                                                                   | 3.4 kB  00:00:00     
.
.
.

Complete!
Hadoop三节点大数据环境安装教程(1)_第84张图片
1561861765391
Hadoop三节点大数据环境安装教程(1)_第85张图片
1561861780872

9.2 配置定时时间同步

#使用crontab  -e命令添加定时时间同步配置
[root@localhost ~]# crontab  -e   
#执行crontab -e命令后,按键盘上的字母i进入编辑模式,输入一下内容,然后按一下键盘左上角的esc进行命令模式,按主shift输入:(冒号),在输入wq!回车完成保存.
#以下配置的意思是每分钟同步一次时间
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
~                                                                                                                                                                                            
:wq!

#等待一分钟左右使用date命令查看系统时间是否同步
[root@localhost ~]# date
Sun Jun 30 10:51:17 CST 2019
[root@localhost ~]# 

10.安装网络工具net-tools

net-tools是linux系同下的一个网络故障排查工具,工作中我们经常使用它查看集群网络运行情况,在这里大家先简单安装即可,学习过程中老师断断续续会给大家讲解到.

[root@localhost ~]# yum install -y net-tools
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.tuna.tsinghua.edu.cn
 * extras: mirrors.tuna.tsinghua.edu.cn
 * updates: mirrors.tuna.tsinghua.edu.cn
Resolving Dependencies
--> Running transaction check
---> Package net-tools.x86_64 0:2.0-0.24.20131004git.el7 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

================================================================================================
 Package             Arch             Version                              Repository      Size
================================================================================================
Installing:
 net-tools           x86_64           2.0-0.24.20131004git.el7             base           306 k

Transaction Summary
================================================================================================
Install  1 Package

Total download size: 306 k
Installed size: 918 k
Downloading packages:
net-tools-2.0-0.24.20131004git.el7.x86_64.rpm                            | 306 kB  00:00:00     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : net-tools-2.0-0.24.20131004git.el7.x86_64                                    1/1 
  Verifying  : net-tools-2.0-0.24.20131004git.el7.x86_64                                    1/1 

Installed:
  net-tools.x86_64 0:2.0-0.24.20131004git.el7                                                   

Complete!
[root@localhost ~]# 

11.克隆虚拟机

为了保证我们所有机器环境的配置是一致的,我们需要克隆虚拟机,同时我们只需要在一台虚拟机上安装好linux操作系统,克隆后的机器上也安装好了linux系统,这样节省了我们重复安装linux系统的时间,同时减少了我们多台主机系统之间配置不一致的错误.

至此我们需要搭建三台机器的集群,就需要三台机器。我们通过一台机器克隆出三台来。

11.1.关闭当前运行的虚拟机

克隆虚拟机时需要关闭当前运行的虚拟机.

[root@localhost ~]# init 0 #输入init 0 完成后回车
Hadoop三节点大数据环境安装教程(1)_第86张图片
1561864325796

如下图,此时我们会发现xshell的连接basecentos会话已经关闭

Hadoop三节点大数据环境安装教程(1)_第87张图片
1561864380675

11.2 克隆虚拟机

切换到我们的虚拟机管理软件VMware Workstation主界面,按照以下步骤继续一路猛操作.

1.如下图,在BaseCentos7

Hadoop三节点大数据环境安装教程(1)_第88张图片
1561864608938

如下图,点击下一步

Hadoop三节点大数据环境安装教程(1)_第89张图片
1561864753228

如下图,点击下一步

Hadoop三节点大数据环境安装教程(1)_第90张图片
1561864792818

如下图,点击下一步

Hadoop三节点大数据环境安装教程(1)_第91张图片
1561864878206

如下图,输入虚拟机名称,选择好第一台虚拟机存放路径C:\myprogram\3nodesvm\node1(如果路径不存在请安装这样的路径层级进行自行创建)

Hadoop三节点大数据环境安装教程(1)_第92张图片
1561865018762

如下图,点击关闭,完成克隆

Hadoop三节点大数据环境安装教程(1)_第93张图片
1561865158057

完成虚拟机的克隆操作,我们使用以上同样的方法再克隆出来两台虚拟机node2和node3,操作完成后如下图,我们可以发现三台虚拟机已经完全创建好.

Hadoop三节点大数据环境安装教程(1)_第94张图片
1561865237546

你可能感兴趣的:(Hadoop三节点大数据环境安装教程(1))