Windows安装 hadoop 环境

1.需要安装 Java 环境
2.下载 hadoop
https://archive.apache.org/dist/hadoop/common/
3.解压 hadoop 压缩包 （如：将下载好的压缩包放在 E:\config 目录下）
进入到 E:\config 下输入 cmd 回车
打开 cmd 后输入 start winrar x -y hadoop-3.2.1.tar.gz 进行解压（正常右键解压会报错）

4.下载 winutils
https://github.com/cdarlint/winutils
因为 hadoop 默认 Linux 环境，如果在 Windows 上运行 hadoop ，必须下载该文件
将对应版本中的文件放到 hadoop 所在目录下的 bin 文件中，即 E:\config\hadoop-3.2.1\bin 文件下
将 winutils 文件夹中的 hadoop.dll 文件 拷贝一份放到 C:\Windows\System32 目录下

5.配置环境变量
HADOOP_HOME：E:\config\hadoop-3.2.1
Path：%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
6.hadoop 基础配置
在 hadoop 目录下新建 data 文件夹和 tmp 文件夹
在新建的 data 文件夹下新建 datanode 、namenode 文件夹

以下的配置都在 E:\config\hadoop-3.2.1\etc\hadoop 目录下
6.1配置 core-site.xml 文件

	
		fs.defaultFS
		hdfs://localhost:9000
	
	
		hadoop.tmp.dir
		/E:/config/hadoop-3.2.1/tmp
	
	
		dfs.datanode.data.dir
		/E:/config/hadoop-3.2.1/data
	

注意路径
6.2配置 hdfs-site.xml 文件

	
		dfs.replication
		1
	
	    
		dfs.namenode.name.dir    
		/E:/config/hadoop-3.2.1/data/namenode    
	    
	    
		dfs.datanode.data.dir    
		/E:/config/hadoop-3.2.1/data/datanode  
	

6.3配置 mapred-site.xml 文件

	
		mapreduce.framework.name
		yarn
	

6.4配置 yarn-site.xml 文件

		
			yarn.nodemanager.aux-services
			mapreduce_shuffle
		
		
			yarn.nodemanager.aux-services.mapreduce.shuffle.class
			org.apache.hadoop.mapred.ShuffleHandler
		
		
		
			yarn.application.classpath
			E:\config\hadoop-3.2.1\etc\hadoop;E:\config\hadoop-3.2.1\share\hadoop\common;E:\config\hadoop-3.2.1\share\hadoop\common\lib\*;E:\config\hadoop-3.2.1\share\hadoop\common\*;E:\config\hadoop-3.2.1\share\hadoop\hdfs;E:\config\hadoop-3.2.1\share\hadoop\hdfs\lib\*;E:\config\hadoop-3.2.1\share\hadoop\hdfs\*;E:\config\hadoop-3.2.1\share\hadoop\yarn;E:\config\hadoop-3.2.1\share\hadoop\yarn\lib\*;E:\config\hadoop-3.2.1\share\hadoop\yarn\*;E:\config\hadoop-3.2.1\share\hadoop\mapreduce\lib\*;E:\config\hadoop-3.2.1\share\hadoop\mapreduce\*
		
	

注意 yarn.application.classpath 下的 value 值的获取方式
打开 cmd 后，直接输入 yarn classpath 回车，将显示的数据全部复制放到 value 中

7.配置 hadoop-env.cmd 文件(如果启动不报错则可以不配置)
如果 Java 找不到时，修改 JAVA_HOME （如：Java 的安装目录在 D:/Java 目录下）
修改 set JAVA_HOME=D:/Java/jdk1.8.0_191
有事在启动的时候会提示 “错误：找不到或无法加载主机 xxx”
这时需要修改该文件下的 set HADOOP_IDENT_STRING 的值（如我的计算机的名称为 WIN 10 ）
则修改为 ：set HADOOP_IDENT_STRING=“WIN 10”
8.启动 hadoop
进入 sbin 文件夹中 E:\config\hadoop-3.2.1\sbin
双击 start-all.cmd 启动
这时会弹出四个黑框

如果启动不报错，则启动成功
9.通过http://127.0.0.1:8088/即可查看集群所有节点状态

访问http://localhost:9870/即可查看文件管理页面