windows本机搭建Hadoop环境

记录一下整个过程：

一、下载Hadoop安装包

• 官网下载Hadoop 2.6，并配置相关环境变量，自行百度
• 下载hadooponwindows-master.zip，能支持Hadoop能在Windows运行的工具，解压并覆盖Hadoop安装目录下bin和etc目录

二、修改相关配置文件

etc/hadoop目录下

• core-site.xml

    
        fs.default.name
        hdfs://localhost:9000
    

• hdfs-site.xml

    
    
        dfs.replication
        1
    
        
        dfs.namenode.name.dir    
        /D:/java/hadoop-2.6.0/hadoop-2.6.0/namenode    
        
        
        dfs.datanode.data.dir    
        /D:/java/hadoop-2.6.0/hadoop-2.6.0/datanode  
    

• mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

• yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

• hadoop-env.cmd
  找到JAVA_HOME那一行

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_151

三、启动Hadoop

• 格式化hdfs
  在Hadoop home目录创建namenode,datanode,tmp三个目录，打开cmd窗口执行hadoop namenode -format
  出现如下窗口表示成功

  
  
  image.png
• 启动Hadoop
  进到sbin目录执行start-all.cmd，会弹出四个窗口
• 打开localhost:8088和localhost:50070就可以看到yarn和hdfs的信息了