软件版本:VM14,Centos 7,hadoop 2.5,jdk 1.8
本文是接上一篇虚拟机的设置的之后开始的,建议先看前一篇。
jdk 1.8官网下载:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
hadoop 2.5官网下载:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/
建议阅读本文前先浏览有关虚拟机的新建及网络配置:https://blog.csdn.net/qq_40471761/article/details/88557696
su //更改当前用户为root用户
cd /etc/sysconfig/network-scripts //进入指定目录下修改IP地址的配置
ll //查看当前目录的文件
默认情况下 ifcfg-ens33为ip地址的配置文件,使用vi命令编辑
(若为只读,使用 chmod u+x ifcfg-ens33 命令,增加写权限)
systemctl restart network.service
vi /etc/sudoers //编辑sudo的配置文件(若文件为只读,则增加文件写操作,具体操作见1.2)
添加ip地址与主机名之间的映射关系(若为分布式搭建,则将主从节点的映射关系都添加)
systemctl stop firewalld //临时关闭防火墙
systemctl disable firewalld //关闭防火墙自启动
本机之间(主从机之间)都需要配置
//从root用户退回自建用户
ssh-keygen -t rsa //生成秘钥,提示输入时,一直敲回车即可
ssh-copy-id 192.168.125.201//根据实际情况修改地址
tar -zxvf jdk-8u202-linux-x64.tar.gz -C ./ //解压缩
mv jdk-8u202-linux-x64.tar.gz jdk //重命名
sudo vi /etc/profile //编辑文件
export JAVA_HOME=/apps/jdk
export PATH=$PATH:$JAVA_HOME/bin //文件末尾增加(路径根据实际情况更改)
source /etc/profile
java -version
tar -zxvf hadoop-2.5.0.tar.gz -C ./ //解压缩
mv hadoop-2.5.0.tar.gz hadoop //重命名
hadoop-env.sh
添加jdk的路径
============
core-site.xml
注意这里设置的文件系统地址为 9000(有版本推荐设置为8020,可以自行更改)
fs.defaultFS
hdfs://主机名/IP地址:9000
hadoop.tmp.dir
/home/hadoop111/hadoop/hdpdata
================
hdfs-site.xml
dfs.replication
1
=======================
yarn-site.xml
yarn.resourcemanager.hostname
主机名/IP地址
yarn.nodemanager.aux-services
mapreduce_shuffle
==========
mapred-site.xml
mv mapred-site.xml.template mapred-site.xml //重命名模板文件
mapreduce.framework.name
yarn
==================
slaves
在其中加入从节点的IP
bin/hadoop namenode -format
格式化成功
sbin/start-all.sh
1.jps命令
2.浏览器端
http://192.168.125.201:50070
至此配置完成
觉得有帮助,请点赞加个关注