win7配置hadoop-2.7.7详细教程

Date:2019/09/27
Version:hadoop2.7.7; java1.8.0_221;

流程

安装java
下载并解压hadoop压缩包
修改配置文件
下载winutil，并覆盖
启动hadoop

0. 安装java

上官网https://www.oracle.com/technetwork/java/javase/downloads/index.html下载并安装jdk包，安装路径不要有空格和中文字符，避免可能会出现的错误。
然后配置环境变量，左下角菜单->计算机->右键->属性->高级系统设置->高级->环境变量->选择下面的新建按钮输入以下内容并选择确定保存

设置JAVA_HOME环境变量

再次点击新建，输入以下内容并选择确定保存,
下面图片中的变量值为：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar（注意前面有. 和;）

设置CLASSPATH环境变量

如下图所示，找到并编辑Path环境变量，然后在末尾添加如下内容，然后点击确定退出。
添加内容为：;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

找到并编辑PATH环境变量

打开终端，输入java -version，出现如下内容表示成功安装

java安装成功标志

1. 下载并解压hadoop压缩包

上清华hadoop镜像网https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/下载hadoop-2.7.7，然后将其解压。

与java一样为hadoop添加环境变量，

添加HADOOP_HOME环境变量

在Path后添加如下内容;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;（注意前后的;）

编辑Path

2. 修改配置文件

找到hadoop的配置文件存放目录，我的为D:\hadoop\hadoop-2.7.7\etc\hadoop，仅供参考。修改目录下的四个配置文件：core-site.xml, hdfs-site.xml, yarn-site.html, mapred-site.xml，其中mapred-site.xml是不存在的，只有一个mapred-site.xml.template，需将mapred-site.xml.template拷贝一份并重命名为mapred-site.xml。
以下修改内容仅供参考，需根据自己的电脑稍加修改
core-site.xml修改内容如下，不要照抄，检查自己的hadoop安装路径


    
        fs.defaultFS
        hdfs://localhost:9000
      
    
    
        hadoop.tmp.dir
        /D:/hadoop/hadoop-2.7.7/tmp
    
    
    
        fs.checkpoint.period
        3600

hdfs-site.xml修改内容如下，不要照抄，检查自己的hadoop安装路径



    
        dfs.replication
        1
    
    
    
        dfs.namenode.name.dir
        /D:/hadoop/hadoop-2.7.7/tmp/dfs/namenode
    
    
    
        dfs.datanode.data.dir
        /D:/hadoop/hadoop-2.7.7/tmp/dfs/datanode

yarn-site.xml修改内容如下：


    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    
    
    
        yarn.scheduler.minimum-allocation-mb
        1024
    
    
    
        yarn.nodemanager.resource.memory-mb
        4096
    
    
    
        yarn.nodemanager.resource.cpu-vcores
        2

mapred-site.xml修改内容如下：


    
        mapreduce.framework.name
        yarn

3. 下载winutil，并覆盖

下载对应版本的winutil（1Mb多点），这里给出hadoop-2.7.7对应的winutil的百度网盘链接：https://pan.baidu.com/s/1lAVgt5p8i_rF-PMXlBhuUg，如果是其他版本的hadoop，本winutil不一定适用。先将原D:\hadoop\hadoop-2.7.7\bin目录备份，然后解压winutil并覆盖原先的/bin目录。

4. 启动hadoop

第一次启动hadoop前需要运行hadoop namenode -format命令对namenode进行格式化，如果命令执行成功则会出现如下图片中的信息，如果失败，删除hadoop安装目录下的logs和tmp文件夹，并检查以上配置文件，重新执行hadoop namenode -format。

hadoop namenode -format执行成功标志

然后是启动hadoop，在终端执行cd D:\hadoop\hadoop-2.7.7\sbin（该目录仅供参考）进入/sbin目录，然后执行start-all.cmd，如果执行成功，在浏览器中输入你的hostname:50070（在终端输入hostname可查看自己电脑的hostname），将出现如下画面：

hostname:50070

在浏览器中输入你的hostname:8088，将出现如下画面

yarn资源管理器web界面

安装成功

参考并感谢

Win7 64位系统上Hadoop单机模式的安装及开发环境搭建
Win7 安装hadoop并配置hadoop环境
清华大学开源软件镜像站