window 安装Hadoop3.0.0

第一步:Hadoop 官网下载地址:https://hadoop.apache.org/releases.html。

 

window 安装Hadoop3.0.0_第1张图片

第二步:将下载hadoop-3.0.0.tar.gz 解压至指定文件夹 C:\hadoop

window 安装Hadoop3.0.0_第2张图片

第三步:配置hadoop 涉及环境变量:

HADOOP_HOME:

window 安装Hadoop3.0.0_第3张图片

PATH :

window 安装Hadoop3.0.0_第4张图片

第四步:涉及Hadoop配置 :

1、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml配置:


    
       fs.default.name
       hdfs://localhost:9000
   

2、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置: 


    
       mapreduce.framework.name
       yarn
   

3、在C:/hadoop/hadoop-3.0.0目录下创建data目录,作为数据存储路径: 

在C:/hadoop/hadoop-3.0.0/data目录下创建datanode目录;

在C:/hadoop/hadoop-3.0.0/data目录下创建namenode目录;

4、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:


    
   
        dfs.replication
        1
   

     
     dfs.permissions 
     false 
 

   
       dfs.namenode.name.dir
       /D:/hadoop-3.0.0/data/namenode
   

   
        fs.checkpoint.dir
        /D:/hadoop-3.0.0/data/snn
    

    
        fs.checkpoint.edits.dir
        /D:/hadoop-3.0.0/data/snn
    

      
       dfs.datanode.data.dir
       /D:/hadoop-3.0.0/data/datanode
   


5、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置: 



    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   

   
          yarn.nodemanager.auxservices.mapreduce.shuffle.class  
        org.apache.hadoop.mapred.ShuffleHandler
   


6、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置,找到"set JAVA_HOME=%JAVA_HOME%"替换为set JAVA_HOME=set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_162

7、bin目录替换,至https://github.com/steveloughran/winutils下载解压 

window 安装Hadoop3.0.0_第5张图片

找到对应的版本后完整替换bin目录即可

至此配置完成. 

第五步:启动Hadoop 服务

启动Hadoop 格式化:C:\Users\zzg>hadoop namenode -format

window 安装Hadoop3.0.0_第6张图片

通过start-all.cmd启动服务: C:\Users\zzg>start-all.cmd

此时可以看到同时启动了如下4个服务:

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager  

window 安装Hadoop3.0.0_第7张图片

第六步:Hadoop涉及应用

1、通过http://127.0.0.1:8088/即可查看集群所有节点状态: 

window 安装Hadoop3.0.0_第8张图片

2、访问http://localhost:9870/即可查看文件管理页面:

进入文件管理页面:

window 安装Hadoop3.0.0_第9张图片

创建目录: 

window 安装Hadoop3.0.0_第10张图片

上传文件

window 安装Hadoop3.0.0_第11张图片

上传成功

window 安装Hadoop3.0.0_第12张图片

注意:在之前的版本中文件管理的端口是50070,在3.0.0中替换为了9870端口,具体变更信息来源如下官方说明 http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface 

3、通过hadoop命令行进行文件操作:

mkdir命令创建目录:hadoop fs -mkdir hdfs://localhost:9000/user 

如下新增的user目录 

put命令上传文件:hadoop fs -put C:\Users\songhaifeng\Desktop\11.txt hdfs://localhost:9000/user/

如下上传文件 

window 安装Hadoop3.0.0_第13张图片

ls命令查看指定目录文件列表:hadoop fs -ls hdfs://localhost:9000/user/ 

你可能感兴趣的:(hadoop)