Window（win10）下安装Hadoop3.0.0安装步骤介绍

本文章将详细介绍再win10下安装hadoop3.0.0得详细过程，以及安装成功后，简单得启动和使用，图文并茂。

一、准备工作

1、下载Hadoop3.0.0安装包

Hadoop安装包官网下载地址：http://hadoop.apache.org/releases.html

点进去后如下图，可以看到并没有最新是3.3.0版本，并没有3.0.0.版本的，然后点击红色框框标注的位置。进入Hadoop版本库下载3.0.0版本：

如下版本库：

选择3.0.0版本点进去，下载安装包：

二、解压安装包

找个盘，创建目录将下载下来的安装包放进去，然后解压：如图我是在E盘下创建了hadoop目录

注意：使用管理原权限解压，否则后续安装时会出现莫名其妙的问题。

三、配置环境变量

解压完成后，配置环境变量

1、首先添加HADOOP_HOME变量

2、在path中添加如下变量配置

四、修改Hadoop配置

1、修改E:\hadoop\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd配置，(路径以自己的安装路径为准)

      找到 set JAVA_HOME=%JAVA_HOME%  替换为 set JAVA_HOME=D:\java\jdk1.8.0_181

注意：Hadoop需要依赖jdk，如果没安装jdk请先安装jdk，并配置号jdk的环境变量。此处修改是因为Hadoop本身存在bug，无法识别JAVA_HOME的环境变量读取到jdk地址，所以直接写死

2、修改E:\hadoop\hadoop-3.0.0\etc\hadoop\core-site.xml配置:（路经以自己的安装路径为准）

	
       fs.default.name
       hdfs://localhost:9000
   

3、修改E:\hadoop\hadoop-3.0.0\etc\hadoop\mapred-site.xml配置:（路经以自己的安装路径为准）

	
       mapreduce.framework.name
       yarn
   

4、在安装目录的根目录E:\hadoop\hadoop-3.0.0创建data目录，作为数据存储路径：（路经以自己的安装路径为准）

• 在data目录下创建datanode目录；
• 在data目录下创建namenode目录；

5、修改E:\hadoop\hadoop-3.0.0\etc\hadoop\hdfs-site.xml配置:（路经以自己的安装路径为准）

    
        dfs.replication
        1
    
	 
     dfs.permissions 
     false 
  
   
       dfs.namenode.name.dir
       /E:/hadoop/hadoop-3.0.0/data/namenode
   
   
		fs.checkpoint.dir
		/E:/hadoop/hadoop-3.0.0/data/snn
	
	
		fs.checkpoint.edits.dir
		/E:/hadoop/hadoop-3.0.0/data/snn
	
	   
       dfs.datanode.data.dir
       /E:/hadoop/hadoop-3.0.0/data/datanode
   

6、修改E:\hadoop\hadoop-3.0.0\etc\hadoop\yarn-site.xml配置:（路经以自己的安装路径为准）

	
    	yarn.nodemanager.aux-services
    	mapreduce_shuffle
   
   
      	yarn.nodemanager.auxservices.mapreduce.shuffle.class  
		org.apache.hadoop.mapred.ShuffleHandler
   

7、前往https://download.csdn.net/download/caopeng721210/12881772下载bin目录下的编译文件，然后选择对应版本替换安装目录下bin中的所有文件

至此，配置就已经完成了。

 

五、启动Hadoop

1、在bin目录下，打开命令窗口执行： .\hdfs namenode -format  格式化文件系统

2、完成后，在进入到sbin目录下，执行 ./start-all.cmd  启动服务

可以看到，启动了四个服务

分别是：

• Hadoop Namenode（文件系统目录，类似于书的目录部分）
• Hadoop datanode（数据文件内容，就是书的正文）
• YARN Resourc Manager（统一节点管理、调度者）
• YARN Node Manager （各个子节点）

六、HDFS（数据存储）应用

1、通过 访问http://127.0.0.1:8088/，即可查看集群所有节点状态：我们目前是单节点部署

2、通过访问 http://localhost:9870/ 即可查看文件管理页面：

   如图是我创建的一个目录和上传的一个文件

 

注意：在之前的版本中文件管理的端口是50070 ，在3.0.0中替换为了9870端口，具体变更信息来源如下官方说明

http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface

完结撒花！！！！！！！！