一、本文思路

【1】、配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境)
【2】、安装Hadoop

  • 1、解压hadoop

  • 2、配置hadoop环境变量

  • 3、配置Hadoop文件

二、所需下载文件

【1】JDK下载地址

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第1张图片

【2】Hadoop下载地址—推荐binary版本是提前编译好的

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第2张图片【3】hadoop在windows上运行需要winutils支持和hadoop.dll等文件

  • 在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件,然后把文件拷贝到hadoop解压的bin目录中去

  • 【目前未找到对应的2.9.2版本,这一步未操作】

三、基础知识

Apache Hadoop系统的两个核心组件

  • (1)用于存储数据的Hadoop分布式文件系统(HDFS)

  • (2)用于实现数据处理的应用程序的Hadoop Yarn

四、JDK12安装配置过程

【1】JDK与JRE比较

  • JDK:java安装工具包,包含JRE。因此只需下载JDK即可;

  • JRE:java运行环境,用来运行JAVA程序的。

【2】JDK安装—选择默认安装目录即可。

【3】JDK配置–系统变量

  • (1)新建JAVA_HOME变量,变量值填写JDK的安装目录(我的是默认安装环境 C:\Program
    Files\Java\jdk-12.0.1)。

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第3张图片

  • (2)新建CLASSPATH变量,变量值  .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
    (注意前面有一个点)。

此处注意不要使用相对路径JAVA_HOME,因为重启电脑后cmd执行javac会失败

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第4张图片

更改为:

在这里插入图片描述

  • (3)在path变量值后加  %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

此处注意不要使用相对路径JAVA_HOME,因为重启电脑后cmd执行javac会失败

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第5张图片

更改为:

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第6张图片

  • (4)此处注意的是jdk安装目录下是没有jre的,需要手动添加

    • 1、打开cmd

    • 2、切换至jdk安装目录下 (我的是:C:\Program Files\Java\jdk-12.0.1)

    • 3、执行 bin\jlink.exe –module-path jmods –add-modules java.desktop–output jre

    • 4、结果如下图,在C:\Program Files\Java\jdk-12.0.1下出现jre即可。

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第7张图片

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第8张图片

  • (5)检查是否配置成功,运行cmd,分别输入java, javac, java -version 三个都可执行即为安装配置成功。

五、Hadoop2.9.5安装配置过程

【1】Hadoop安装—下载的安装包直接解压即可(我的在 D:\Hadoop\hadoop-2.9.2 目录)

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第9张图片

【2】Hadoop环境配置—系统变量

  • (1)新建HADOOP_HOME变量,变量值D:\Hadoop\hadoop-2.9.2
    Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第10张图片

  • (2)在path变量值后添加 %HADOOP_HOME%\bin;

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第11张图片

  • (3)此时测试hadoop是否安装成功会失败:原因是jdk的JAVA_HOME环境变量的配置路径不能有空格(C:\Program
    Files\Java\jdk-12.0.1),将其中的 Program Files 替换为 PROGRA~1即可。

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第12张图片

将其中的 Program Files 替换为 PROGRA~1即可

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第13张图片

cmd下执行 hadoop version成功,说明hadoop环境配置成功。

【3】 Hadoop伪分布式文件配置

  • (1)在hadoop根目录下新建文件夹data,然后在其下创建另个子文件夹datanode和namenode

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第14张图片Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第15张图片

  • (2)确认 …/etc/hadoop/core-site.xml中有如下代码

core-site.xml代码:

 
  
   
     fs.defaultFS
     hdfs://localhost:9000
   
 
  • (3)确认…/etc/hadoop/mapred-site.xml
    (如不存在该文件,则将mapred-site.xml.template文件更改为mapred-site.xml)中有如下代码:

mapred-site.xml代码:


 
  
    mapreduce.framework.name
    yarn
  
 
  • (4) 确认…/etc/hadoop/hdfs-site.xml中有如下代码
    (namenode和datanode是(1)中新建文件的地址)

hdfs-site.xml代码:—错误!!!

 
 
   
      dfs.replication
      1
   
   
   
     dfs.namenode.name.dir
     /D:/Hadoop/hadoop-2.9.2/data/namenode
   
   
     dfs.datanode.data.dir
     /D:/Hadoop/hadoop-2.9.2/data/datanode
  
  • (5)确认…/etc/hadoop/yarn-site.xml中有如下代码

yarn-site.xml代码:

  
   
    
      yarn.nodemanager.aux-services
      mapreduce_shuffle
    
    
      yarn.nodemanager.aux-services.mapreduce.shuffle.class
      org.apache.hadoop.mapred.ShuffleHandler
    
  
  • (6) …/etc/hadoop/hadoop-env.cmd(修改JDK的安装路径)

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第16张图片

  • (7)格式化HDFS文件系统(节点格式化),通过cmd进入文件夹 D:\Hadoop\hadoop-2.9.2\bin 后运行

   hdfs namenode -format

执行成功结果:

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第17张图片

然后进入sbin文件输入:start-all.cmd  之后会有四个窗口跳出来,分别是

- Hadoop Namenode
- Hadoop datanode
- YARN Resource Manager
- YARN Node Manager
  • (8)hadoop自带的web控制台GUI

    资源管理GUI(yarn的web界面) : http://localhost:8088

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第18张图片

节点管理GUI(hdfs的web界面): http://localhost:50070

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第19张图片

六、我的问题

五中步骤(7)中格式化hdfs、再输入start-all命令后只出现两个窗口,关于Yarn部分的窗口出现error,http://localhost:8088界面打不开。

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+_第20张图片