Linux中Hadoop的安装与配置

一、准备
1，配通网络 ping www.baidu.com
之前安装虚拟机时配过
2，关闭防火墙 systemctl stop firewalld
systemctl disable firewalld（开机自动关闭）
3，关闭 selinux vi /etc/selinux/config
修改为selinux disabled
4，关闭 NetworkManager systemctl stop NetworkManager
systemctl disable NetworkManager
5，修改计算机名 hadp01(根据个人喜好)
6，配置yum源
安装 yum install wget
做个备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
运行 yum makecache 生成缓存
7，备份，做个快照
二、Hadoop的安装与配置
1，下载hadoop
https://dist.apache.org/repos/dist/release/hadoop/common/
2，先创建几个目
/opt/install 上传
/opt/software 安装
/opt/other 其他
/opt/test 测试
a.上传 rz
解压 tar -zxvf jdk-8u144-linux-x64.tar.gz 和 tar -zxvf hadoop-2.7.7.tar.gz
jdk：

               cd /opt/installed   #进入安装包目录
               rz   jdk-8u181-linux-x64.tar.gz   #上传JDK
               tar   -zxvf   jdk-8u181-linux-x64.tar.gz  #解压JDK
               mv  jdk1.8.0_181   ../software/jdk1.8   #移动到/opt/software目录

               Hadoop：

               cd  /opt/installed      #进入/opt/installed目录
               rz  hadoop-2.7.7.tar.gz   #上传hadoop2.7.7版本
               mv  hadoop-2.7.7.tar.gz  ../software/hadoop-2.7.7  #移动到software目录

   b.移动到安装目录中software   mv jdk1.8 ../software
   c.配置环境变量 
                  vim /etc/profile #编辑环境变量
                  JAVA_HOME=/opt/software/jdk1.8
                  HADOOP_HOME=opt/software/hadoop-2.7.7
                  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin;$HADOOP_HOME/sbin
                  source /etc/profile   #使环境变量生效
                  测试 是否配置成功 echo  $PATH 

3，伪分布式
A，修改主机名 vim /etc/hostname #编辑主机名文件
hadp01
B,修改主机映射
vim /etc/hosts #编辑主机映射文件
192.168.1.63 hadp01
C,实现ssh免密码登录
ssh-keygen -t rsa -P ''
ssh-copy-id hadp01
再回车一下会出来一个图形就OK了，重启
D,修改/opt/software/hadoop-2.7.7/etc/hadoop目录内的一系列文件
1.hadoop-env.sh
cd /opt/software/hadoop-2.7.7 #进入hadoop-2.7.7目录

       vim etc/hadoop/hadoop-env.sh        #编辑配置文件hadoop-env.sh

       export JAVA_HOME=/opt/software/jdk1.8  #修改25行

       export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop  #修改33行
    2.core-site.xml
       

       
       
            fs.defaultFS
            hdfs://hadoop101:9000
       

       
       
        hadoop.tmp.dir
        /opt/software/hadoop-2.7.7/tmp
       

      
   3.hdfs-site.xml
       
        
         
             dfs.replication
             1
           
 
         
             dfs.permissions
             false
         

        
   4.mapred-site.xml
       
        
        mapreduce.framework.name
        yarn
        
   5.yarn-site.xml
        
         
            yarn.resourcemanager.hostname
            hadoop101
         

        
         
            yarn.nodemanager.aux-services
            mapreduce_shuffle
         
 E，修改slaves文件
    将里面的localhost删除 改为hadp01
 F,格式化文件系统
    hadoop namenode  -format
 G,启动Hadoop
   start-all.sh 全部启动
   stop-all.sh  全部关闭
 H，测试Hadoop
   http://主机IP:port/
   NameNode web工程 端口号：50070 

　　 DataNode web工程 端口号：50075

　　 SecondaryNameNode web工程 端口号：50090

　　 ResourceManager web工程 端口号：8088