vm14安装centos7hadoop安装(三)

在v1虚拟机上安装
  1. 复制jdk-8u181-linux-x64.tar.gz  和  hadoop-3.1.1.tar.gz  到虚拟机到虚拟机的/home/hadoop目录上
    (此步骤不要进行拖拽操作,容易丢包)
  2. 在制定的用户目录下操作
     2.1 mkdir  software   存放文件压缩包
     2.2 mv     /home/hadoop/压缩包     /home/hadoop/software
     2.3 解压安装   tar -zxvf  xxxx.tar.gz
     2.4  配置环境变量 
            vim   /etc/profile
             在这个文件中增加如下内容vm14安装centos7hadoop安装(三)_第1张图片
   导入环境变量时,注意将$PATH放在最后,可能会出现java 的版本是机器原始的   
   2.4  运行环境变量   source /etc/profile (这样执行后配置文件生效)
          检测Java的安装是否正确   java -version
   2.5修改Hadoop 的配置
       cd  /home/hadoop/software/hadoop-3.1.1/etc/Hadoop 目录下,修改配置文件
       2.5.1 修改hadoop-env.sh
              
       2.5.2 修改core-site.xml
                vm14安装centos7hadoop安装(三)_第2张图片
        2.5.3 修改hdfs-site.xml
                  
  
      dfs.namenode.name.dir
      /home/hadoop/install/hadoop-3.1.1/hdfs/name
  
  
  
    dfs.datanode.data.dir
    /home/hadoop/install/hadoop-3.1.1/hdfs/data
  
  
  
    dfs.namenode.secondary.http-address
    v1:9001
 
 
    dfs.webhdfs.enabled
    true
 
 
    dfs.permissions
    false
 
 
 
    dfs.namenode.handler.count
    100
 
 
   dfs.secondary.http.address
   v1:50090
 
    

 
 
 
2.5.4 修改mapred-site.xml
      

 
    mapreduce.framework.name
    yarn
 

 
    mapreduce.jobhistory.address
    v1:10020
 

 
    mapreduce.jobhistory.webapp.address
    v1:19888
 

 
    mapreduce.map.memory.mb
    1536
 
 
2.5.5 修改yarn-site.xml
 
 
     yarn.nodemanager.aux-services
     mapreduce_shuffle
 
 
     yarn.nodemanager.auxservices.mapreduce.shuffle.class
     org.apache.hadoop.mapred.ShuffleHandler
 

 
     yarn.resourcemanager.address
     v1:8032
 

 
     yarn.resourcemanager.scheduler.address
     v1:8030
 

 
     yarn.resourcemanager.resource-tracker.address
     v1:8031
 

 
    yarn.resourcemanager.hostname
    v1
 

 
     yarn.resourcemanager.admin.address
     v1:8033
 

 
     yarn.resourcemanager.webapp.address
     v1:8088
 

 
    yarn.nodemanager.resource.memory-mb
    2048
 
vm14安装centos7hadoop安装(三)_第3张图片

 
 
2.5.6 修改workers  原来2.x叫slaves
      增加你相关的虚拟机 主机名    
      eg :  v2
                v3
      
同样的安装步骤在v2  和v3上安装一次,但切记用户名和密码同v1,v2 与v3虚拟机的配置同v1
 
3.  启动服务
     cd  /home/hadoop/install/hadoop-3.1.1
    sbin/start-all.sh
 
   jsp 查看服务
  

 
 
4.启动成功后 ,浏览器中输入v1:8088 即可看到hadoop 的主页
                                         //   v1:9087  
   
 

你可能感兴趣的:(环境,linux)