win10下Hadoop安装

准备工作

1、Hadoop官方下载地址：http://hadoop.apache.org/releases.html

image.png

选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载，建议采用专业的下载工具下载，速度更快

image.png

2、将tar.gz包解压至D盘根目录：

image.png

Note：必须用管理员权限解压
3、配置环境变量:
添加HADOOP_HOME配置：

image.png

在Path中添加如下：

image.png

4、Hadoop需要依赖JDK，考虑其路径中不能有空格，故直接安装如下目录：

image.png

Hadoop配置

1、修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

       
           fs.default.name
           hdfs://localhost:9000
       
 

2、修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

    
       mapreduce.framework.name
       yarn
   

3、在D:/hadoop-3.0.0目录下创建data目录，作为数据存储路径：

image.png

在D:/hadoop-3.0.0/data目录下创建datanode目录；
在D:/hadoop-3.0.0/data目录下创建namenode目录；

4、修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

    
        dfs.replication
        1
    
     
     dfs.permissions 
     false 
  
   
       dfs.namenode.name.dir
       /D:/hadoop-3.0.0/data/namenode
   
   
        fs.checkpoint.dir
        /D:/hadoop-3.0.0/data/snn
    
    
        fs.checkpoint.edits.dir
        /D:/hadoop-3.0.0/data/snn
    
       
       dfs.datanode.data.dir
       /D:/hadoop-3.0.0/data/datanode
   

5、修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   
   
        yarn.nodemanager.auxservices.mapreduce.shuffle.class  
        org.apache.hadoop.mapred.ShuffleHandler
   

6、修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置，找到"set JAVA_HOME=%JAVA_HOME%"替换为"set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151"
7、bin目录替换，至https://github.com/steveloughran/winutils下载解压

image.png

找到对应的版本后完整替换bin目录即可

image.png

启动服务

1、D:\hadoop-3.0.0\bin> hdfs namenode -format

image.png

2、通过start-all.cmd启动服务

image.png

3、此时可以看到同时启动了如下4个服务：
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager

image.png

HDFS应用

1、通过http://127.0.0.1:8088/即可查看集群所有节点状态：

image.png

2、访问http://localhost:9870/即可查看文件管理页面：
进入文件管理页面：

image.png

创建目录：

image.png

上传文件

image.png

上传成功

image.png

Note：在之前的版本中文件管理的端口是50070，在3.0.0中替换为了9870端口，具体变更信息来源如下官方说明
http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface

image.png

3、通过hadoop命令行进行文件操作：
mkdir命令创建目录：hadoop fs -mkdir hdfs://localhost:9000/user

image.png