hadoop2.7.5分布式集群安装

三台虚拟机

                192.168.79.132 master
                192.168.79.133 slave1

                192.168.79.134 slave2

1.修改主机名

                    hostnamectl set-hostname (name)

2.配置主机的映射(每台都要设置)

                     vi /etc/hosts

3.设置免密码登陆

                        ssh-keygen

输入上面的命令后，按三次回车即可

 将密钥复制到其他机器（包括本机）

                ssh-copy-id master    

                ssh-copy-id slave1

                ssh-copy-id slave2 

在复制密钥时会提示是否复制 输入 yes 并且要输入密码

每台机器都要复制

4.解压java和hadoop

                                tar -zxvf   jdk-8u77-linux-x64.tar.gz -C /opt

                                tar -zxvf   hadoop-2.7.5.tar.gz -C /opt

-C 指定解压到的目录

5.修改文件夹的名称(方便管理)

                               mv /opt/hadoop-2.7.5 /opt/hadoop

                               mv /opt/jdk1.8.0_77 /opt/jdk

6.配置环境变量

                    vi /etc/profile

在文件末尾加入

export JAVA_HOME=/opt/jdk

export HADOOP_HOME=/opt/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

                    source /etc/profile 使环境变量生效

验证

                    java -version

                    hadoop version

7.修改hadoop的配置文件

 切换到hadoop的配置文件目录

                            cd /opt/hadoop/etc/hadoop/

vi hadoop-env.sh

export JAVA_HOME=/opt/jdk

vi slaves

slave1 slave2

vi core-site.xml

fs.defaultFS         hdfs://master:9000                 hadoop.tmp.dir         /opt/hadoop/tmp

vi hdfs-site.xml

dfs.namenode.name.dir         /opt/hadoop/name                     dfs.replication         2                     dfs.datanode.data.dir         /opt/hadoop/data

vi mapred-site.xml

mapreduce.framework.name         yarn     `

vi yarn-site.xml

yarn.resourcemanager.hostname         master                     yarn.nodemanager.aux-services         mapreduce_shuffle

8.将hadoop和java和/etc/profile复制到另外两台机器

scp -r /opt/jdk /opt/hadoop @slave1:/opt/

scp -r /opt/jdk /opt/hadoop @slave2:/opt/

scp -r /etc/profile @slave1:/etc/profile

scp -r /etc/profile @slave2:/etc/profile

PS：在slave1和slave2上要使环境变量生效

source /etc/profile

9.启动hadoop

在启动之前要格式化hadoop

hdfs namenode -format

格式化成功后，就可以启动（两种启动方式）

1)分模块启动

start-dfs.sh

start-yarn.sh（启动yarn后会多出一个进程）

9.web界面的访问

关闭防火墙

systemctl stop firewalld

在浏览器中输入   192.168.79.133:50070 访问hdfs

在浏览器中输入   192.168.79.133:8088 查看hadoop应用

至此，hadoop分布式集群搭建完毕