Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细

Hadoop运行环境搭建准备环境

​ 由于各种原因,本人决定要在实验室使用三台主机搭建一个集群,集群使用的机器是三台破旧主机,破旧到什么程度,就是去库房拔了一下午,扒到了三台勉强还能跑的动的电脑,一言难尽,但总归是找到了三台,配置不高,主要是用于平时的练手实验使用。

​ 在主机准备好了之后,就是最开始的一步,重装系统,之前搭建系统使用的是Ubuntu20.0.4版本,但是这次改用了一下linux版本,使用的是CentOS7.5发行版本。重装系统的步骤就不多少,大概就是做系统盘,装系统,具体重装系统见这篇文章

win10和Ubuntu重装系统

​ 如果是采用虚拟机的方式进行伪分布式的操作,那么在虚拟机中安装linux系统详情见

虚拟机中安装linux系统

​ 经过了长久的安装历程之后,三台电脑的CentOS系统已经安装完成,安装完成之后我就把三台电脑放到了机架上,然后通过远程连接进行操作。

​ 使用Xshell远程工具进行连接,三台机器将其分别取名为hadoop102、hadoop103、hadoop104,因为最开始的集群名称就是这个,所以这次三台依然采用这三个名字

​ Xshell连接之后界面
Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第1张图片

​ 顺便说一下Xshell配套的文件传输工具Xftp,Xftp可以去官网下载,然后安装即可,Xftp是收费的,你可以选择免费使用哪个30day,也可以申请免费使用,面向师生的,我选择的是申请免费使用。官网地址:https://www.netsarang.com/en/xftp-download/

下面正式开始配置集群环境

一、安装软件包

安装epel-release:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供的额外的软件包。相当于一个大的软件曹库,那么就可以安装下来,为以后的软件安装提供便利

yum install -y epel-release

Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第2张图片

三台电脑一样的操作,再往后都是一样的,就不一一说明了

二、配置用户sudo权限,并无密码使用sudo

在上一步装包的时候,他让我用root权限,我用了之后,他又报错说用户不在sudoer里,已经上报
Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第3张图片

那就先解决一下这个问题,按照他的提示也可以知道,在sudoer文件中没有用户信息,那么就配置一下,文件在/etc/sudoers

vim /etc/suders

在vim编辑器中,找到相应的位置加入这么一段话

lnnu	ALL:(ALL)	NOPASSWD:ALL
(用户)   			   (使用无密码)	

Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第4张图片

三、关闭防火墙,关闭防火墙开机自启动

systemctl stop firewalld
systemctl disable firewalld.service

Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第5张图片

四、在/opt目录下创建文件夹,并修改所属用户和组

1、在/opt目录创建module、software文件夹,放置之后的大数据框架

mkdir /opt/module
mkdir /opt/software

修改所属组和用户,使用的命令是chown。

chown lnnu:lnnu /opt/module
chown lnnu:lnnu /opt/software

查看文件所属用户和组
Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第6张图片

五、卸载虚拟机自带的JDK

在CentOS安装的时候,会自动安装一个jdk,在安装时候无聊我无意中看到了什么正在安装openJDK,所以要卸载这个jdk

 rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

参数说明:

rpm-qa:查询所安装的所有rpm软件包

grep -i:忽略大小写

xargs -n1:表示每次只传递一个参数

rpm -e -nodeps:强制卸载软件
在这里插入图片描述

六、设置静态IP

动态IP会地址会变,所以如果在某些时刻IP地址变了,那么在集群中的通信就会出现故障,会内部连接不上,所以把IP配为静态

修改文件:

vim /etc/sysconfig/network-scripts/ifcfg-ens33

说明:文件不一定是ens33,要看你用的到底是哪个协议,可以使ifcfg-xxxxx

在该文件中修改几个地方

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.3.102	//IP
GATEWAY=192.168.3.1		//网关
NETMASK=255.255.255.0	//子网掩码

Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第7张图片

这个时候因为没有设置DNS,所以当你ping百度的时候或者外部IP的时候是会显示解析不了,所以配置DNS,选择8.8.8.8和8.8.4.4,谷歌的,在文件/etc/resolv.conf

vim /etc/resolv.conf
nameserver 8.8.8.8
nameserver 8.8.4.4

在这里插入图片描述

配置之后重启网络

service network restart

上述配置完成,ping一下网址www.baidu.com,如果没问题,则设置成功
在这里插入图片描述

注意:

如果是虚拟机的话,那么配置过程可能有些不同,具体参见

虚拟机中配置CentOs静态网络

七、修改主机名

将主机名修改为hadoop102、hadoop103、hadoop104

在文件/etc/hostname中修改
Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第8张图片

八、配置集群IP映射

在内部通信时,为了让集群采用的是机器名通信,而不是每次都是输入IP,我们需要配置一下IP映射,在文件/etc/hosts中添加映射

192.168.3.102	hadoop102
192.168.3.103	hadoop103
192.168.3.104	hadoop104

Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第9张图片

配置之后,如果能ping通hadoop102即时证明设置映射成功
在这里插入图片描述

九、安装JDK

在安装JDK前要确保已经把自带的JDK卸载了

将JDK的tar包通过Xftp传输到opt目录下的software,往后所有的安装包都放在software下,解压后的放在module下
Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第10张图片

解压到module中

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

查看module中是否已经解压了jdk
在这里插入图片描述

配置JAVA_HOME路径,创建文件/etc/profile.d/my_env.sh

sudo vim /etc/profile.d/my_env.sh

添加JAVA_HOME路径

export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH+$PATH:JAVA_HOME/bin

Hadoop集群搭建准备环境,手把手教你一步一步搭建,超详细_第11张图片

让PATH生效

source /etc/profile

测试是否jdk安装成功了

java -version

在这里插入图片描述

到这里准备环境已经全部设置完成了

你可能感兴趣的:(hadoop,linux,hadoop,linux)