Hadoop完全分布式安装

Hadoop 完全分布式安装

前言

​ 之前有搭建过一次 Hadoop 完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。

环境及机器：

节点：三台虚拟机

配置：内存 16G、硬盘 100G

系统：Centos 7.7

Hadoop版本：2.7.7

1、安装JDK1.8

1.1 下载 JDK

​ 推荐安装 Oracle 官方提供的 JDK 版本，可以在 Oracle 官网下载得到，下载 Linux 系统的版本即可

1.2 解压 JDK

​ 将下载的 JDK 安装包通过 FTP 工具上传至虚拟机或服务器，并执行命令解压

tar -zxvf jdk-xx-xx.tar.gz -C your.dir

​ 其中 -C 为你指定的解压目录

1.3 配置环境变量

​ 配置 /etc/profile

sudo vim /etc/profile
# 在其中加入如下环境变量
# set java environment
export JAVA_HOME=/opt/module/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

​ 保存后记得 source /etc/profile，然后执行 java -version 能正确显示版本则成功

2、SSH 免密登陆

2.1 配置 Host

1. 修改主机 hostname

   sudo hostnamectl set-hostname hadoop001
   

2. 修改 hosts 文件

   vim /etc/hosts
   

   在文件末尾添加：

   192.168.2.198 hadoop001
   192.168.2.199 hadoop002
   192.168.2.200 hadoop003

   其中 IP 换为自己机器的 IP，hostname 换为自己机器的 hostname，需要注意的是如果是云主机应该在此配置主机的内网 IP。

2.2 配置 SSH

1. 安装 SSH

   # 使用yum:
   yum  install -y openssh-server openssh-clients
   
   #启动ssh：
   service sshd start 或 /etc/init.d/sshd start
   
   #配置开机启动：
   
   chkconfig --level 2345 sshd on
   

2. 生成 SSH 密钥

# 执行命令
ssh-keygen -t rsa

3. 执行之后会在 home 目录生成一个 .ssh 的隐藏文件

4. 发送生成的公钥

#执行命令
ssh-copy-ip targer.hostname

执行命令后输入目标机器相应用户的密码即可完成免密登陆

5. 免密测试

ssh hadoop001

执行命令发现无需输入密码，免密登陆配置成功。

3