window系统下搭建hadoop的运行环境

一、下载安装所需的资源

hadoop下载地址，选择一个版本进行下载，我下载的是：hadoop-3.0.2.tar.gz

由于hadoop在window中是无法直接运行的，因此我们需要进行一些改动，这里我们需要下载一个工具，最后将工具中的文件扔进hadoop目录中去（后面用到的时候会详细说明的）。

hadoop工具下载

二、配置

1、将下载的hadoop文件解压

2、配置环境变量

在path中加入 %HADOOP_HOME%\bin

3、文件配置

3.1、D:\hadoop\hadoop-3.0.2\etc\hadoop”下的core-site.xml文件

将下面内容粘贴进去

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.2、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的mapred-site.xml

将以下内容粘贴进去

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3.3、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的hdfs-site.xml

将以下内容添加进去

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop/workplace/data</value>
    </property>
</configuration>

3.4、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的yarn-site.xml

将以下内容添加进去

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

3.5、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的hadoop-env.cmd文件

将文件设置为

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\java\jdk

4、将下载的hadoop工具文件解压

里面有一个bin文件，将hadoop安装目录下的bin文件进行替换！！！！！！！

5、运行

运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd

哇哇哇··········································弹出4个小黑框

资源管理GUI

http://localhost:8088/