Windows下Pycharm的Spark、Hadoop、Scala安装及常见报错（graphframes避坑、jupyter的文件位置更换、conda环境建立）

目录

软件安装

1、jdk安装

2、Anaconda安装

3、scala安装

4、Hadoop安装

5、Spark安装

6、安装sbt 

包安装

1、安装py4j

2、安装pyspark

接下来是新建python项目

1、项目配置

2、使用graphframes库

---

项目环境

jdk1.8.0_333

python3.7.13

scala2.11.8

hadoop2.7.1

spark2.4.3-bin-hadoop2.7

我参考过的博客  

• windows下的spark总体安装流程window环境下安装spark - 知乎
• 【Anaconda教程01】怎么安装Anaconda3 - 知乎
•  Jupyter notebook文件默认存储路径以及更改方法 - 数说张小桃 - 博客园

软件安装

1、jdk安装

安装jdk1.8.0_333

链接：https://pan.baidu.com/s/1apVg0mYzHXDwEZcQvC0EgA 
提取码：6666

新建环境变量JAVA_HOME

值为jdk安装目录D:\soft\jdk1.8_64

PATH中添加%JAVA_HO