Hadoop单节点伪分布式环境搭建

1.安装JDK

先检查centos是否安装有自带的jdk，有则需要先卸载。
rpm -qa | grep "java"

上传并解压jdk安装包
tar -zxf jdk-8u221-linux-x64.tar.gz

配置java环境变量
vi /etc/profile

在profile文件末尾新增并保存退出
export JAVA_HOME=/opt/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

生效profile的配置
source /etc/profile

验证
java -version

2.安装Hadoop-2.7.3及基本配置

上传安装包后解压
tar -zxf hadoop-2.7.3.tar.gz

修改/hadoop-2.7.3/etc文件夹内的以下文件的JAVA_HOME路径

# hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8.0_221

# mapred-env.sh
export JAVA_HOME=/opt/jdk1.8.0_221

# yarn-env.sh
export JAVA_HOME=/opt/jdk1.8.0_221


# core-site.xml配置

	
	
		fs.defaultFS
		hdfs://hostname:8020
	
    
	
		hadoop.tmp.dir
		/opt/apache_hadoop/hadoop-2.7.3/data/tmp
	



# hdfs-site.xml

	
	
		dfs.replication
		1
	



# slave配置主机名, hostname填写你的主机名
hostname

3.格式化HDFS

进入hadoop根目录
cd /opt/apache_hadoop/hadoop-2.7.3

执行格式化命令
bin/hdfs namenode -format

看到日志有："has been successfully formatted" 则表示格式化成功！

查看 /opt/apache_hadoop/hadoop-2.7.3/data/tmp 下
会有dfs文件夹创建

4.完成以上步骤即Hadoop伪分布式环境已搭建完成

# 启动
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanone

# 启动所有服务
sbin/start-all.sh

# 查看启动进程
jps

# 客户端访问：域名或IP + 端口号
http://11.230.122.104:50070

 

================================================================================================

号外知识点

1.查看 namenode、datanode的集群ID

# 查看namenode的集群信息
cd /opt/apache_hadoop/hadoop-2.7.3/data/tmp/dfs/name/current
cat VERSION
'''
namespaceID=615266599
clusterID=CID-fdb603ad-1cfa-45f2-8d0e-df8b31b034f7
cTime=0
storageType=NAME_NODE
blockpoolID=BP-238480956-127.0.0.1-1592113596629
layoutVersion=-63

'''


# 查看datanode的集群信息 (相同集群的节点，集群ID是一样的)
cd /opt/apache_hadoop/hadoop-2.7.3/data/tmp/dfs/data/current
cat VERSION
'''
storageID=DS-55adea43-a105-41c2-96f1-0f7af50cf58f
clusterID=CID-fdb603ad-1cfa-45f2-8d0e-df8b31b034f7
cTime=0
datanodeUuid=4d89bc9e-23cd-4bba-81c5-34f7dfaf8f9a
storageType=DATA_NODE
layoutVersion=-56

'''