【大数据】Hadoop三节点集群搭建

一、前置准备

1.1 系统要求

• 操作系统：建议使用 CentOS 7/RHEL 7 或 Ubuntu 20.04。
• Java：Hadoop 推荐 Java 8，但也支持 Java 11。
• 内存：
  • Master 节点：4 GB（建议）
  • Worker 节点：2 GB（建议）
• 硬盘：每个节点至少 20 GB

1.2 下载 Hadoop

访问 Hadoop 官方下载页面 下载最新的稳定版（例如 Hadoop 3.4.1）。

或者直接使用命令下载二进制包（以 Hadoop 3.4.1 为例）：

1.3 节点角色

假设你有三台机器（或虚拟机）：

• master：运行 NameNode 和 ResourceManager。
• worker1 和 worker2：运行 DataNode 和 NodeManager。

1.4 下载 Hadoop 3.4.1

在所有节点下载并解压 Hadoop 二进制包：

wget https://downloads.apache.org/hadoop/common/hadoop-3.4.1/hadoop-3.4.1.tar.gz tar -zxvf hadoop-3.4.1.tar.gz sudo mv hadoop-3.4.1 /usr/local/hadoop

1.5 注意

Hadoop 不允许以 root 用户直接操作，创建一个普通用户（如 hadoop）并赋予权限。

---

二、配置集群环境

2.1 配置主机名和通信

在所有节点上编辑 /etc/hosts 文件，添加以下内容：

 hadoop001
 hadoop002
 hadoop003

在每台机器上设置主机名：

hostnamectl set-hostname hadoop001     # 在主节点
hostnamectl set-hostname hadoop002    # 在worker1节点
hostnamectl set-hostname hadoop003    # 在worker2节点

2.2 配置 SSH 免密登录

在主节点 master 上生成 SSH 密钥：

ssh-keygen -t rsa -P ""

将密钥分发到所有节点（包括自己）：

ssh-copy-id hadoop001
ssh-copy-id hadoop002
ssh-copy-id hadoop003

验证免密登录：

ssh hadoop001
ssh hadoop002
ssh hadoop003

---

三、配置 Hadoop

在所有节点上配置 Hadoop（/usr/local/hadoop）。以下配置以 master 节点为主，完成后将同步到其他节点。

3.1 配置环境变量

编辑 ~/.bashrc 文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
ex