Windows下hadoop配置

第一步：安装JDK，点击一下链接下载JDK，并安装。

http://www.oracle.com/technetwork/java/javase/downloads/index.html

在安装过程中，第一小步安装jdk，第二小步是安装jre。建议两个都安装在同一个java文件夹中的不同文件夹中。（不能都安装在java文件夹的根目录下，jdk和jre安装在同一文件夹会出错）

第二步：配置环境变量，找到 计算机→属性→高级系统设置→高级→环境变量

系统变量→新建 JAVA_HOME 变量 。

变量值填写jdk的安装目录（本人是 C:\PROGRA~1\Java\jdk1.8.0_171)

系统变量→寻找 Path 变量→编辑
在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

（注意原来Path的变量值末尾有没有;号，如果没有，先输入；号再输入上面的代码）

系统变量→新建 CLASSPATH 变量
变量值填写   .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar（注意最前面有一点）
系统变量配置完毕

检验是否配置成功 运行cmd 输入 java -version （java 和 -version 之间有空格）

若如图所示 显示版本信息 则说明安装和配置成功。

注意，在这个地方有一个Java的环境变量配置中不能出现空格，否则hadoop配置不会成功，跑不起来。我这里JDK安装的目录就有空格，如下图，本来是C盘program files下Java文件夹，在JAVA_HOME配置那个地方直接用PROGRA~1代替program files

第三步：下载hadoop并安装

hadoop安装步骤可以参考https://blog.csdn.net/xrui_java7/article/details/70231221

或者https://www.cnblogs.com/wuxun1997/p/6847950.html 这两篇就OK啦，很简单的。

需要注意的是 在hadoop-3.0.3\etc\hadoop配置hadoop文件的hdfs-site.xml 文件时注意要根据自己的hadoop安装路径做相应的调整，改成自己的安装路径

其他就没什么了，配好之后cmd打开控制台，运行

hadoop namenode -format

可以看到如下图的效果就配好了。

接着使用  start-all.cmd 命令启动服务

启动这四个服务：

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager 

如果有服务没启动起来，看下报啥错。这里我本来也没启动起来，打开Hadoop/etc/hadoop 下的hadoop-env.cmd文件 把Java_home值改成jdk安装的绝对路径。

HDFS应用

在浏览器输入 http://127.0.0.1:8088/cluster 就能看到集群所有节点的状态

2、访问http://localhost:9870/即可查看文件管理页面：

进入文件管理页面：如果这里打不开不对的话，重新用  hdfs namenode -format命令建一下namenode，然后去D:\hadoop\data\dfs\namenode 里头(hdfs-site.xml里配的namenode和datanode保存的路径，自己建下文件夹)看下有没有东西，如果有东西了就是已经成功。这样才能访问文件管理页面。

第四步 安装Spark

点击链接可下载Spark：http://spark.apache.org/downloads.html，可根据自己安装的hadoop版本在箭头位置选择自己对应的版本。

下载完之后直接，解压安装就可以了，很简单的。

然后cmd 在DOS下输入：

spark-shell

酱紫就安装成功了。

但这个时候每次运行spark-shell（spark的命令行交互窗口）的时候，都需要先cd到Spark的安装目录下，比较麻烦，因此可以将Spark的bin目录添加到系统变量PATH中。例如我这里的Spark的bin目录路径为D:\spark-2.3.0-bin-hadoop2.7\bin，那么就把这个路径名添加到系统变量的PATH中即可，方法和JDK安装过程中的环境变量设置一致，设置完系统变量后，在任意目录下的cmd命令行中，直接执行spark-shell命令，即可开启Spark的交互式命令行模式。