windows搭建hadoop分布式系统架构

1、下载hadoop的安装包：http://hadoop.apache.org/->Releases->mirror site

2、解压安装包：将下载包解压到指定目录，并添加环境变量；解压出来一个目录：D:\hadoop-3.1.0，将bin路径配置到环境变量中。

然后下载window相关支持工具类，https://share.weiyun.com/5RPjxnh，解压后把文件全部copy到D:\hadoop-2.9.0\bin目录，将hadoop.dll再复制到c:/windows/System32目录

3、修改配置文件

 配置Java_home环境变量

文件地址：D:\hadoop-3.1.0\etc\hadoop下的D:\hadoop-3.1.0\etc\hadoop\hadoop-env.cmd

注意事项：hadoop配置不识别空格 需要加引号，"C:\Program Files" \Java\jdk1.8.0_91

不然在后续操作会报错

去D:\hadoop-2.9.0\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去：

core.site.xml

    
        fs.defaultFS
        hdfs://localhost:9000
        

 hdfs-site.xml

    
        dfs.replication
        1
    
        
        dfs.namenode.name.dir    
        file:/hadoop/data/dfs/namenode    
        
        
        dfs.datanode.data.dir    
        file:/hadoop/data/dfs/datanode  
    

mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

 yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

 

5、进入到bin目录，运行hdfs namenode -format

6、进入sbin目录：start-all.cmd

7、访问 http://localhost:8088/cluster