虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境

一.安装Centos7

1.点击自定义安装虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第1张图片2.点击下一步
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第2张图片3.选择稍后安装操作系统,点击下一步
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第3张图片4.选择操作系统为linux和版本为Centos7
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第4张图片5.设置虚拟机名称和位置,位置后最好自己命名一个文件夹名称
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第5张图片6.直接下一步
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第6张图片虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第7张图片7.使用网络地址转换
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第8张图片8.直接下一步
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第9张图片虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第10张图片9.选择创建新的虚拟磁盘,注意不要点击立即分配磁盘空间
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第11张图片虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第12张图片10.直接下一步,然后完成
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第13张图片虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第14张图片11.完成后先不要着急启动,需要先进行设置,点击CD/DVD,使用IOS映射文件(这里的文件需要下载,我用的是CentOS-7-x86_64-Minimal-1804.iso)
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第15张图片12.点击确定,然后启动虚拟机,进入到这个界面,直接点回车
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第16张图片虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第17张图片13.选择简体中文,然后继续
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第18张图片14.在安装位置上会有感叹号,直接点击进去然后点完成,就可以进行安装了
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第19张图片虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第20张图片虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第21张图片15.之后设置root密码,点击完成(两次),之后等待安装完成
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第22张图片16.重启
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第23张图片17.使用root用户登录进行修改网络动态获取,修改属性ONBOOT=yes

vim /etc/sysconfig/network-scripts/ifcfg-ens33

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第24张图片
刷新网络配置

systemctl restart network

重新查看虚拟机ip
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第25张图片18.使用CRT连接诶到centos7
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第26张图片

二.在虚拟机中安装jdk

1.修改主机名以及ip映射

vi /etc/hostname

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第27张图片

vi /etc/hosts

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第28张图片注意要重启
在这里插入图片描述
测试成功
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第29张图片2.alt+p上传jdk的tar包,之后进行解压,并将名字改为jdk1.8

tar -zxvf jdk-8u171-linux-x64.tar.gz 
mv jdk1.8.0_171/ jdk1.8

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第30张图片3.将常用软件移动到共享目录(不仅root可以访问这个目录)

cd /usr
mkdir soft
mv jdk1.8/ /usr/soft/

4.配置当前用户的jdk的环境变量

vim .bashrc 
JAVA_HOME=/usr/soft/jdk1.8
CLASSPATH=.
PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME
export CLASSPATH
export PATH

5.重新加载配置文件使其生效

source .bashrc 

6.测试,jdk安装成功
在这里插入图片描述

三.安装hdfs与yarn

1.安装hdfs

注意:使用hadoop必须安装jdk
1.上传hadoop的tar包并解压
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第31张图片2.将文件移动到指定目录并配置环境变量,之后重新加载配置

mv hadoop-2.9.2 /usr/soft/hadoop-2.9.2

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第32张图片

source .bashrc 

3.在家目录下进行测试成功
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第33张图片4.配置hadoop-env.sh,在文件中配置jdk环境变量

vim /usr/soft/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第34张图片5.配置core-site.xml,用来对hdfs集群核心进行配置

vim /usr/soft/hadoop-2.9.2/etc/hadoop/core-site.xml

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第35张图片
6.配置hdfs-site.xml,用来对hdfs文件系统进行配置

vim /usr/soft/hadoop-2.9.2/etc/hadoop/hdfs-site.xml 

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第36张图片
7.配置slaves配置文件,决定哪台机器为DateNode

vim /usr/soft/hadoop-2.9.2/etc/hadoop/slaves

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第37张图片
8.注意:启动hdfs前要先格式化NameNode,把当前机器格式化成hadoop可以识别的文件系统

hdfs namenode -format

在这里插入图片描述9.启动hdfs,并检测是否成功,这里因为没有配置免密登录,所以要输出三次密码,一次是登录NameNode,一次为DateNode,一次为SecondNameNode

start-dfs.sh

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第38张图片
9.为了能访问网页端,需要关闭防火墙,开启不自动启动防火墙

systemctl stop firewalld
systemctl disable firewalld

访问:192.168.118.155:50070
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第39张图片10.配置免密登录
生成公钥和私钥,一顿按回车

ssh-keygen -t rsa

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第40张图片
这里需要输出一次密码

ssh-copy-id zly

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第41张图片

2.安装yarn

1.修改配置文件

vim /usr/soft/hadoop-2.9.2/etc/hadoop/yarn-site.xml 

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第42张图片
由于没有mapred-site.xml的文件,所以我拷贝了一份,当然你也可以重命名

cp mapred-site.xml.template mapred-site.xml

虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第43张图片2.启动yarn并测试
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第44张图片访问:http://192.168.118.155:8088
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境_第45张图片

你可能感兴趣的:(大数据的软件安装,hdfs)