Hadoop完全分布式模式安装
实验环境
·操作机：Windows 7
·目标机：3台集群，配置如下：
实验工具
·Web浏览器：常用的有谷歌浏览器，火狐浏览器等
·Xshell6：是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。
·Xftp6：是一个功能强大的SFTP、FTP 文件传输软件。
实验内容
Hadoop完全分布式模式是真正的生产环境，Hadoop的守护进程运行在由多台主机搭建的集群上。
本实验通过在三台服务器的环境中进行Hadoop完全分布式的搭建。
实验步骤
使用hadoop(个人用户)
1.关闭防火，输入下面两个命令
#关闭防火墙
sudo systemctl stop firewalld.service
#关闭开机启动
sudo systemctl disable firewalld.service
2.添加地址与主机名的映射：
sudo vi /etc/hosts
加入内网地址与主机名的对应：
3.设置免密登陆：
（1）目录跳转：cd ~/.ssh
（2）生成公私钥：ssh-keygen –t rsa
这里要点击回车，会在当前目录生成两个文件，一个公钥一个私钥
（3）将公钥拷贝到其它机器上，实现免密码登录
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
这样会在slave1 的~/.ssh/目录下生成一个authorized_keys 就可以实现master免登录到3个节点,如下：
（4）测试ssh免密：ssh slave2
4.安装JDK
（1）在/opt/下创建soft-install文件夹来存放安装的软件：mkdir /opt/soft-install
（2）创建soft目录来安装软件：mkdir /opt/soft
（3）Jdk下载地址：
（4）使用xftp6将压缩包传到服务器
（4）将jdk解压到/opt/soft/目录下：
tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/soft/
（5）修改环境变量
sudo vi /etc/profile
（6）在文件最后下添加：
export JAVA_HOME=/opt/soft/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
（7）刷新配置文件：source /etc/profile
（8）测试java环境：java -version
5.安装Hadoop
（1）下载Hadoop：
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
（2）解压hadoop压缩包：tar -zxvf ./soft-install/hadoop-2.7.7.tar.gz -C /opt/soft/
（3）删除docs
cd /opt/soft/Hadoop-2.7.7/share
rm –rf doc/
（4）修改环境变量
sudo vi /etc/profile
（5）在文件最后下添加：
（6）刷新配置文件
source /etc/profile
6.修改hadoop的6个配置文件hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml，slaves文件全部位于/opt/soft/hadoop-2.7.7/etc/hadoop文件夹下
（1）修改hadoop-env.sh，修改文件内容：
（2）修改core-site.xml，修改文件内容：
（3）hdfs-site.xml，修改文件内容：
（4）mapred-site.xml
先修改名字：
mv mapred-site.xml.template mapred-site.xml
修改内容：
（5）修改yarn-site.xml，修改内容：
8088需要配置外网。
（6）修改slaves，添加：
（7）新建一个masters的文件,这里指定的是secondary namenode 的主机
添加：
（8）在hadoop2.7.7目录下创建文件夹：
mkdir tmp name data
7.拷贝配置文件到其他主机
（1）复制/etc/hosts：
scp /etc/hosts slave1:/etc/
scp /etc/hosts slave2:/etc/
（2）复制/etc/profile：
scp /etc/profile slave1:/etc/
scp /etc/profile slave2:/etc/
（3）复制/opt/soft：
scp -r /opt/soft slave1:/opt/
scp -r hadoop slave1:/opt/soft/
scp -r /opt/soft slave2:/opt/
（4）记得在slave1和slave2上刷新环境变量
source /etc/profile
8.启动hadoop
（1）进入hadoop2.7.7目录下：
ch /opt/soft/hadoop2.7.7
（2）第一次启动需要格式化：
./bin/hdfs namenode –format
（3）启动dfs:
./sbin/start-dfs.sh
（4）启动yarn:
./sbin/start-yarn.sh
9.查看hadoop是否启动成功
（1）在master节点输入jsp查看
（3）在slave2节点输入jsp查看
（4）通过浏览器测试hdfs:
master:50070
（5）通过浏览器测试yarn:
master:8088
可以看到两个节点