Window10安装Hadoop3.1.0

准备
(1) Hadoop3.1.0版本的安装包：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz  (耐心下载,很慢的,1个小时起步)

(2) Windows环境安装所需的bin：https://github.com/s911415/apache-hadoop-3.1.0-winutils
(hadoop自带bin是linux系统运行,要在window系统运行,需要这个文件bin替换hadoop包的bin)

1.安装JDK (省略)

2.winutils的bin文件夹替换Hadoop3.1.0的bin文件夹 (支持hadoop在win系统运行)

3.像安装JDK一样配置系统环境变量,因为scala语言运行在jvm,所以还需要安装jdk

4.修改Hadoop配置文件

1.core-site.xml

	
		fs.defaultFS
		hdfs://localhost:900
	

2. mapred-site.xml

   
	       
	mapreduce.framework.name       
	yarn   
	

3. yarn-site.xml

	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	
	
		yarn.nodemanager.auxservices.mapreduce.shuffle.class
		org.apache.hadoop.mapred.ShuffleHandler
	

 4. 创建存数据的文件夹,路径与5的配置相关联

 5. hdfs-site.xml  (如果反斜杠\不行,可以换成正斜杠/); 其中value是文件夹datanode和namenode的路径

	       
	dfs.replication       
	1   
	   
	       
	dfs.datanode.name.dir       
	D:/hadoop-3.1.0/data2020/datanode
	   
	       
	dfs.namenode.data.dir     
	D:/hadoop-3.1.0/data2020/namenode
	

验证环境是否正常: 

#进入到 D:\hadoop-3.1.0\bin 路径,如果没报错的话，证明配置文件没出问题！
hdfs namenode –format

#跳出两个窗口，不要关掉它们！
start-dfs.cmd

#进入到D:\hadoop-3.1.0\Sbin路径再输入命令，再出现两个窗口，也不要关！
start-yarn.cmd

接着在浏览器中访问  http://localhost:9870/

补充说明:  我这里环境变量配置sbin,于是在 D:\hadoop-3.1.0\bin目录 执行命令,打不开网站,原因不详!!