基于VMware12虚拟机的Hadoop3.1.2伪分布式安装（含各软件百度云下载地址、安装过程中各类问题的解决方案）
一、软件环境配置
1. 物理机版本：Win10
2. 虚拟机版本：VMware 12
链接：https://pan.baidu.com/s/1j6dGmDL_jPJhWl4opVPMMQ
提取码：v315
3. Linux系统：CentOS 7.6 （64）
参考文献：
- CentOS与Ubuntu的区别
- CentOS安装
4. java JDK：jdk-8u221-linux-x64.tar
链接：https://pan.baidu.com/s/1i_tnq2urzvPB8kBE4ff_hA
提取码：5vib
（1）解压tar -zxvf jdk-7u80-linux-x64.tar.gz -C App
（2）配置全局环境变量，打开sudo vi /etc/profile，文末添加：
export JAVA_HOME=/home/sdp/App/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
（3）jdk立刻生效source /etc/profile
5. Hadoop版本:hadoop-3.1.2
链接：https://pan.baidu.com/s/15UjDsrDoWNWOc90CYG929w
提取码：ucc5
（1）解压tar -zxvf hadoop-3.1.2.tar.gz -C App/
（2）Hadoop相关文件配置
- 修改
/hadoop-3.1.2/etc/hadoop/hadoop-env.sh，文末添加
export JAVA_HOME=/home/sdp/App/jdk1.7.0_80
- 修改
/hadoop-3.1.2/etc/hadoop/core-site.xml，添加
fs.defaultFS
hdfs://Hadoop200:9000/
hadoop.tmp.dir
/home/sdp/App/hadoop-3.1.2/data/
- 修改
/hadoop-3.1.2/etc/hadoop/hdfs-site.xml，添加
dfs.replication
1
- 修改
/hadoop-3.1.2/etc/hadoop/mapred-site.xml，添加
mapreduce.framework.name
yarn
- 修改
/hadoop-3.1.2/etc/hadoop/yarn-site.xml，添加
yarn.resourcemanager.hostname
Hadoop200
yarn.nodemanager.aux-services
mapreduce_shuffle
（3）关闭防火墙systemctl stop firewalld.service
参考文献：
- centOS 7.3 防火墙使用iptables
（4） 将Hadoop执行命令添加到全局环境变量中去
- 打开
etc/profile，添加
export HADOOP_HOME=/home/sdp/App/hadoop-3.1.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
保存退出，使用source /etc/profile立刻生效
二、VMware虚拟机网路初始化配置
（1）右键HadoopMaster，选择“设置”
（2）选择“自定义：特定虚拟网络”中的“VMnet8（NAT 模式）”，点击确定。
（3）VMware虚拟网关设置或查询
（4）可以通过“NAT设置”子网掩码，现在选择默认的“192.168.44.0”
参考文献：
- Vmware虚拟机三种网络模式详解
三、Linux基本操作
1. 让普通用户具备root访问权限
（1） 切换到root用户（su）,打开sudoers文件（vi /etc/sudoers），加入sdp ALL=(ALL) ALL
2. 无法上网，即虚拟机IP地址没有配置
（1）通过ip addr查看当前系统所使用的网卡
（2）当前系统使用ens33网卡，但是并没有IP地址，打开对应的配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33，发现为null，此时需要手动设置ens33网卡的IP地址。
可以通过nmcli con show和ip addr命令查看HWADDR（MAC地址）和UUID值。具体请查看参考文献。
（3）reboot和service network restart使上述配置生效
参考文献：
- 解决CentOS添加新网卡后找不到网卡配置文件
3. ifconfig不生效的问题
参考文献：
- centos7中没有安装ifconfig命令的解决方法
- 【linux】CentOS 7 安装报错：Cannot find a valid baseurl for repo: base/7/x86_6
4. 修改主机名（将localhost修改为Hadoop100）
（1）修改/etc/sysconfig/network配置文件
（2）添加HOSTNAME = Hadoop100
（3）使用sudo hostname Hadoop100命令立即生效
（3）退出exit，重新登录，即可看到已主机名已改变
5. 通过主机名访问机器
（1）修改hosts文件，sudo vi /etc/hosts中的内容为
（2）添加192.168.44.100 Hadoop100
（3）保存退出，即可访问
四、Hadoop执行
1. 初始化运行hdfs namenode -format
- hadoop3.1.2初始化命令变为
hdfs namenode -format，而不是hadoop namenode -format - hadoop3.1.2对应jdk的版本应该是8，而不是jdk7，如上图使用jdk7出现版本不一致的问题，换成jdk8问题解决。
2. 启动（启动信息在 hadoop/sbin下）
- 配置启动命令所需的全局环境变量
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- 立即生效`source /etc/profile
- 启动hdfs\yarn
hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
yarn --daemon start timelineserver
3. 验证
- 在宿主机的浏览器中访问hadoop的hdfs,如访问成功，则说明伪分布式环境已搭建成功：
Hadoop2.X的版本中，访问hdfs的端口号是50070；
Hadoop3.X的版本中，访问hdfs的端口号由50070修改成了9870；
http://192.168.44.200:9870/
- Yarn资源调度系统：
http://192.168.44.200:8088
如对各位看官有用，请点赞和关注。可提供远程帮助，共同进步
参考文献：
- 搭建hadoop3.1.2伪分布式环境详细讲解（优质防坑资料）
- Hadoop3.1.0 伪分布式环境安装部署