【scala+spark+hadoop+idea】踩坑记

昨天装了一天，出现各种问题，比如版本不对应，hadoop的配置文件修改错误等等，我出现了问题照着网上的教程一步步走，最终还是死在了spark版本应该改低点【传送门】的问题上，这个问题我没有找到其他的解决方法，所以今天我把他们全部卸载重新配置一遍，记录自己遇到的问题供大家参考。
参考教程：milkboylyf写的博客【传送门】

0：安装材料：

(1) jdk-8u171-windows-x64
(2) scala-2.11.8
(3) spark-2.3.1-bin-hadoop2.7.rar
(4) hadoop-2.7.6.rar

1：下载链接

链接: https://pan.baidu.com/s/1TEwzZFwotDvi7Izc1Mr-FA
提取码: dasq

2：安装过程

(1) 安装jdk环境
因为我已经安装过jdk8，所以在这边就不作展示了。

(2) 安装scala-2.11.8
（2.1）双击scala-2.11.8图标，选择路径默认安装。
（2.2）配置环境变量

在path中加入scala的环境变量

（2.3）打开PowerShell窗口输入scala出现如下窗口。

(3) 安装spark-2.3.1-bin-hadoop2.7
（3.1）解压
（3.2）类似地设置环境变量

注意这里的spark环境变量需要绝对路径，如果用%SPARK_HOME%\bin的话，启动spark-shell时会出现spark-shell不是内部或外部命令，也不是可运行的程序或批处理文件。

(3.3)cmd输入spark-shell启动spark，若如下图所示则启动成功

(4) 安装hadoop-2.7.6
（4.1）类似地解压、配置环境变量

（4.2）修改配置文件参考这篇博客【传送门】（很重要！！！）

（4.3）格式化namenode时出现问题

找到hadoop-env.cmd文件右键编辑修改JAVA_HOME的值（根据自己的情况）

（4.4）cmd进入E:\hadoop-2.7.6\sbin文件夹输入start-all.cmd
再输入jps看是否全部启动
如下图所示则启动成功

3:IDEA配置环境

(1) scala


（2）spark
导入下载好的spark的jar包

4.：总结

目前为止，我遇到的问题告一段落，如果之后还有问题再做记录，配这个环境花了我一天半的时间，真的是太浪费时间了，猛女生气，希望能给大家作个参考不用走太多的弯路。