Hadoop2.9.0+VMware+ubuntu16.04完全分布式安装指南-超详细记录

hadoop 2.9 +vmware 完全分布式环境搭建
环境概要
Linux：Ubuntu 16.04
hadoop：Hadoop 2.9.0
jdk：1.8.0
vmware：14.0 pro

第一部分Linux环境安装

第一步配置Vmware NAT网络

vmware虚拟机的配置，主要是网络配置，选择NAT网络，Ubuntu在我的电脑上不需要配置网络，所以这一步跳过

第二步Vmware安装Linux操作系统

1.关闭防火墙

chkconfig iptables off

2.关闭selinux

vim /etc/sysconfig/selinux

修改为

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled #修改这个地方
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2.hostname修改（永久）

vim /etc/sysconfig/network
NETWORKING=yes  #使用网络
HOSTNAME=hadoop00  #设置主机名

使用vim修改 vim /etc/hosts
hosts: 192.168.100.10 

3.免密码登录

4.创建工作目录

5.安装jdk-配置环境变量

a.官网下载JDK文件：JDK下载
选择对应的JDK，此处为jdk-8u151-linux-x64.tar.gz
b.创建一个文件夹sudo mkdir /java
c.将文件解压至该文件夹
　　tar -zxvf jdk-8u151-linux-x64.tar.gz -C /java
d.配置jdk的环境变量
　　 sudo gedit /etc/profile
在末尾加入以下语句

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin"
export CLASSPATH=.:\$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/java/jdk1.8.0_121

e.修改完成之后保存关闭，并输入以下命令使环境变量立即生效
source /etc/profile
f.输入java -version，显示JDK版本说明恭喜你，环境变量配置正确,继续下一步

模式名称	各个模块占用的JVM进程数	各个模块运行在几个机器数上
本地模式	1个	1个
伪分布式模式	N个	1个
完全分布式模式	N个	N个
HA完全分布式	N个	N个

6.Hadoop本地模式安装

模式名称	各个模块占用的JVM进程数	各个模块运行在几个机器数上
本地模式	1个	1个
伪分布式模式	N个	1个
完全分布式模式	N个	N个
HA完全分布式	N个	N个

1.下载Hadoop安装包Hadoop Download
解压到/home/hadoop
2.修改配置文件
增加环境变量-java-hadoop
a.在系统环境变量中添加hadoop的PATH

b.在/hadoop/etc的数个文件中添加java的PATH
包括
yarn-env.sh
mapred-env.sh
hadoop-env.sh

c.配置hadoop环境
包括
yarn-site.xml
hdfs-site.xml
core-site.xml
source一下，立刻见效

vmware克隆虚拟机2份
关闭虚拟机后，点击管理-克隆-创建完整克隆
重复克隆一次，两个虚拟机分别命名为slave1.slave2

分发到子机器

启动start-dsf，yarn

启动yarn的网页host：http://localhost:8088/cluster