切记：反复安装6遍，直到对安装配置过程了熟于心。

基础软件清单

VMware Station15 Pro
Centos 7
JDK
xshell & xftp
Hadoop 3.2.0 :https://mirrors.aliyun.com/apache/hadoop/core/

一、虚拟机安装配置步骤如下：

1、vmware安装centos7

配置时，网络适配器指定为：vmnet8

2、打开虚拟机，配置centos7系统

配置root用户账户和密码：root/root 等待自动安装完毕
安装成功后，重启，通过root登录进系统

3、修改虚拟机主机名

-命令：vi /etc/hostname 或者 hostnamectl set-hostname master
-修改虚拟机主机名称：master

4、修改虚拟机ip地址，并定义为静态IP

windows中查看虚拟机网络适配器VMnet8：

IP地址：192.168.146.1
子网掩码：255.255.255.0
默认网关：192.168.146.2
设置默认网关：192.168.146.2(若没有，则设置）

调整虚拟机中的网络驱动设置，将其指定为VMnet8，取消DHCP，然后点击“NAT配置”

vmnet8配置

配置DNS
进入虚拟机Centos7中，将ip配置为静态IP

输入命令行：vi /etc/sysconfig/network-script/ifcfg-en33，并修改以下内容：
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.146.15
NETMASK=255.255.255.0
GATEWAY=192.168.146.2
DNS1=192.168.146.2 (没配DNS导致后面无法ping通)

配置完成后保存退出，并重启网关：或者service network restart

sudo systemctl restart network
sudo systemctl enable network

关闭防火墙

关闭防火墙systemctl disable firewalld
关闭开机自启systemctl stop firewalld
查看状态 systemctl status firewalld

然后尝试ping windows系统和虚拟机IP，能ping通说明虚拟机配置完成。
提前编辑hosts文件，为hadoop配置做准备

192.168.146.15 master
192.168.146.16 slave1
192.168.146.17 slave2

二、配置Java JDK

1、上传jdk安装包到服务器

解压缩jdk压缩包

tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/java

修改java在linux中的配置文件

vi /etc/profile
添加：JAVA_HOME=/usr/java/jdk1.8.0_261
添加：JRE_HOME=$JAVA_HOME/jre
添加：PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
添加：CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
添加：export JAVA_HOME JRE_HOME PATH CLASSPATH

使java配置文件生效

source /etc/profile
检查java版本：java -version

三、安装配置Hadoop

1、下载并上传hadoop至服务器

2、解压缩hadoop文件至/usr/hadoop

创建文件夹：mkdir /usr/hadoop
解压缩hadoop至目标目录：tar -zxvf hadoop-3.2.1.tar.gz -C /usr/hadoop

3、配置hadoop的jdk配置文件中

vi /usr/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh
修改：export JAVA_HOME=/usr/java/jdk1.8.0_261

4、到此为止，hadoop基础配置完成，接下来开始克隆创建hadoop集群。

四、hadoop集群克隆

以下操作适用于slave1和slave2配置

1、修改hostname

查看hostname : cat /etc/hostname
修改hostname: hostnamectl set-hostname slave2

2、修改ip

vi /etc/sysconfig/network-scripts/ifcfg-en33
确认：BOOTPROTO=static
确认：ONBOOT=yes
修改：IPADDR=192.168.146.17

3、重启网络

service network restart

4、检查网络是否配置成功：

ping 192.168.146.15 / 16 / 17
ping通，则服务器网络配置完成

5、配置集群间免密登录访问

首先确认防火墙状态：systemctl status firewalld
配置密钥，所有节点切换到root根目录

输入：ssh-keygen -t rsa -P ''
都回车后，查看密钥清单：cd /root/.ssh/

新增authorized_keys文件

1、touch /root/.ssh/authorized_keys
2、想办法将master/slave1/slave2中的id_rsa.pub本文统一放到authorized_keys中，并将合并后的文件分发到三个节点中
3、尝试ssh slave1/slave2/master，遇到选择时填入yes，此时可无密码访问节点

authorized_keys内容

五、hadoop属性配置

该部分全部在master节点进行配置

1、hadoop的配置文件路径：/usr/hadoop/hadoop-3.2.1/etc/hadoop/

配置项	说明
core-site.xml	集群全局变量设置，如HDFS URL，Hadoop的临时目录
hdfs-site.xml	hdfs参数，如节点namenode和数据节点datanode的存放位置、文件副本的个数、文件读取权限等
mapred-site.xml	mapreduce参数，包括jobhistory server和应用程序参数两部分，如reduce任务的个数，内存默认上下限等
yarn-site.xml	集群资源管理系统参数，配置resoucemanager、nodemanager等
hadoop-env.sh	hadoop运行环境配置
workers

2、创建临时hadoop存储目录

mkdir /root/hadoop

mkdir /root/hadoop/tmp

mkdir /root/hadoop/var

mkdir /root/hadoop/dfs

mkdir /root/hadoop/dfs/name

mkdir /root/hadoop/dfs/data

3、配置core-site.xml:vi /usr/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml

在configuration中间添加property配置信息:

hadoop.tmp.dir
/root/hadoop/tmp
temporary directions

fs.defaultFS
hdfs://master:9000

4、配置hdfs-site.xml: vi /usr/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml

在configuration中间添加property配置信息：

dfs.datanode.data.dir
/root/hadoop/dfs/data

dfs.namenode.name.dir
/root/hadoop/dfs/name

dfs.permissions.enabled
true

dfs.replication
2

5、配置mapred-site.xml : vi /usr/hadoop/hadoop-3.2.1/etc/hadoop/mapred-site.xml

mapreduce.framework.name
yarn

mapred.local.dir
/root/hadoop/var

mapred.job.tracker
master:49001

6、配置workers： vi /usr/hadoop/hadoop-3.2.1/etc/hadoop/workers

delete localhost
添加：slave1,slave2

7、配置yarn-site.xml: vi /usr/hadoop/hadoop-3.2.1/etc/hadoop/yarn-site.xml

yarn.resourcemanager.hostname
master

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.nodemanager.resource.memory-mb
1024

yarn.scheduler.maximum-allocation-mb
1024

备注：其他的采用默认的即可

8、切换到sbin目录下下面，修改执行权限

修改start-dfs.sh 和 stop-dfs.sh;注意，是在shell文件的第二行开始录入

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh 和 stop-yarn.sh;注意，是在shell文件的第二行开始录入

YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
以上配置，确保三台服务器中hadoop配置一致！

9、启动hadoop

1、初始化hadoop文件系统，master和slave都需要做format

cd /usr/hadoop/hadoop-3.2.1/bin
./hadoop namenode -format

2、启动hadoop，只需要master中启动

cd /user/hadoop/hadoop-3.2.1/sbin
./start-all.sh
此时即可成功！

10、输入masterIP:9870 和masterip:8088验证登陆结果

异常情况处理

1、安装Centos 7打开后提示：vmware 无法获得VMCI驱动程序的版本
解决方案：编辑hd-001.vmx文件，找到其中的vmci0.present,将TRUE修改为FALSE.
2、安装Centos 7打开后提示：无法安装
解决方案：路径不能与VMWare软件同一个目录

wmware+centos7+hadoop安装配置