[绝对要收藏]配置hadoop完全分布式环境

##

环境：

hadoop-2.7.2，jdk1.8.0_144，CentOS-7-x86_64-Minimal-2009.iso

1 先创建一个主机
2 修改id，hostname，hosts
3 关闭防火墙
4 连接xshell
5 在opt下创建en和software包并将java导入到software包中
6 解压 java到en下
7 配置/etc/profile将java的环境加入进去
8 让文件生效并检测java环境是否配置成功 
9 java -version
10 将主虚拟机关机
11 克隆3台虚拟机并把ip和hostname改掉重启
12 连接xshell
13 做免密
mkdir .ssh
ssh-keygen -t rsa
cd .ssh
在.ssh文件夹下进行免密秘钥生成并修改文件权限：
命令：
cat id_rsa.pub >> authorized_keys
文件权限修改
chmod 700 .ssh
chmod 600 .ssh/*
scp -r authorized_keys root@hadoop2:~/.ssh/ 从主节点到次节点
ssh-copy-id -i id_rsa.pub root@hadoop1          从次节点到主节点
14 配置好核心文件和hdfs文件
核心文件


        fs.defaultFS
      hdfs://hadoop5:9000

        hadoop.tmp.dir
        /opt/en/hadoop-2.7.2/data/tmp

HDFS文件
配置hadoop-env.sh
export JAVA_HOME=/opt/en/jdk1.8.0_144
配置hdfs-site.xml

        dfs.replication
        3

      dfs.namenode.secondary.http-address
      hadoop6:50090

15 向其他两个子节点分发hadoop文件夹，并将从节点的Hadoop环境配置好
scp  -r root hadoop2:/opt/en
16 第一次启动时，在主机格式化namenode，进入hadoop/bin文件下，执行
hadoop namenode -format
17 启动hadoop集群进入hadoop/sbin文件夹下，执行start-all.sh启动集群
18 打开50070端口
19 将测试文件内容上传到文件系统上
hadoop-2.7.2]$bin/hdfs dfs -put wcinput/wc.input  /input