window系统下搭建hadoop的运行环境

文章目录

    • 一、下载安装所需的资源
    • 二、配置
        • 1、将下载的hadoop文件解压
        • 2、配置环境变量
            • 在path中加入 %HADOOP_HOME%\bin
        • 3、文件配置
            • 3.1、D:\hadoop\hadoop-3.0.2\etc\hadoop”下的core-site.xml文件
            • 3.2、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的mapred-site.xml
            • 3.3、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的hdfs-site.xml
            • 3.4、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的yarn-site.xml
            • 3.5、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的hadoop-env.cmd文件
      • 4、将下载的hadoop工具文件解压
        • 5、运行
            • 资源管理GUI

一、下载安装所需的资源

hadoop下载地址,选择一个版本进行下载,我下载的是:hadoop-3.0.2.tar.gz

由于hadoop在window中是无法直接运行的,因此我们需要进行一些改动,这里我们需要下载一个工具,最后将工具中的文件扔进hadoop目录中去(后面用到的时候会详细说明的)。

hadoop工具下载

二、配置

1、将下载的hadoop文件解压

2、配置环境变量

window系统下搭建hadoop的运行环境_第1张图片

在path中加入 %HADOOP_HOME%\bin

3、文件配置

3.1、D:\hadoop\hadoop-3.0.2\etc\hadoop”下的core-site.xml文件

将下面内容粘贴进去

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
3.2、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的mapred-site.xml

将以下内容粘贴进去

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>
3.3、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的hdfs-site.xml

将以下内容添加进去

<configuration>
    <!-- 这个参数设置为1,因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop/workplace/data</value>
    </property>
</configuration>
3.4、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的yarn-site.xml

将以下内容添加进去

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
3.5、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的hadoop-env.cmd文件

将文件设置为

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\java\jdk

4、将下载的hadoop工具文件解压

里面有一个bin文件,将hadoop安装目录下的bin文件进行替换!!!!!!!

5、运行

运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd

哇哇哇··········································弹出4个小黑框

window系统下搭建hadoop的运行环境_第2张图片
window系统下搭建hadoop的运行环境_第3张图片
window系统下搭建hadoop的运行环境_第4张图片
window系统下搭建hadoop的运行环境_第5张图片

资源管理GUI

http://localhost:8088/

你可能感兴趣的:(大数据)