第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

第5节 hadoop3.2.1集群安装配置

  • 下载hadoop
  • 修改配置文件
      • workers
      • core-site.xml
      • hdfs-site.xml
      • mapred-site.xml
      • yarn-site.xml
      • hadoop-env.sh
  • 配置好以后,将hadoopmaster上的/usr/local/hadoop分发到各个节点
  • 在slave上执行:
  • 关闭防火墙
  • 启动
      • 将hadoop配置到系统环境变量中
      • 首次启动需要先在 hadoopaster 节点执行 NameNode 的格式化:
      • 启动主节点
  • 一些问题:

下载hadoop

hadoop官网下载
我将hadoop安装到/usr/local:下载好的安装包解压到/usr/local,把文件夹名字改成了hadoop

修改配置文件

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的6个配置文件:
workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 、hadoop-env.sh

workers

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置_第1张图片

core-site.xml

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置_第2张图片

hdfs-site.xml

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置_第3张图片

mapred-site.xml

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置_第4张图片

yarn-site.xml

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置_第5张图片

hadoop-env.sh

在这里插入图片描述

配置好以后,将hadoopmaster上的/usr/local/hadoop分发到各个节点

在这里插入图片描述
在这里插入图片描述

在slave上执行:

在这里插入图片描述

关闭防火墙

在这里插入图片描述

启动

将hadoop配置到系统环境变量中

在这里插入图片描述
在这里插入图片描述
source ~/.bashrc 使配置生效

首次启动需要先在 hadoopaster 节点执行 NameNode 的格式化:

在这里插入图片描述
用hadoop namenode -format 或者 hdfs namenode 命令

在这里插入图片描述
在格式化信息里找到name has been successfully formatted 就格式化成功了

启动主节点

usr/local/hadoop/sbin目录下 执行 start-all.sh
后续学习中官方不推荐这个命令,可以用start-dfs.sh + start-yarn.sh
第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置_第6张图片
jps可以看启动了的进程

一些问题:

我最开始启动后jps显示如上图,没有resourcemanager和nodemanagers
后来查找了很多问题,发现是jdk版本太高了,后来换成1.8就可以正常启动了

你可能感兴趣的:(hadoop平台学习笔记)