PySpark安装教程

一、JAVA SDK 1.8
最好重新选择安装目录 尽量安装在没有空格、中文的目录下
如果以前安装在默认目录下 需要更改环境变量
环境变量配置



二、HADOOP 安装及配置
参考链接
https://blog.csdn.net/csj941227/article/details/78311317?

Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\con
参考链接
https://blog.csdn.net/weixin_43986204/article/details/90210010
三、SCALA安装
参考链接
https://www.cnblogs.com/zlslch/p/5881971.html
四、spark安装
参考链接
utm_term=hadoop2.6.5winutils&utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2_allsobaiduweb~default-0-78311317&spm=3001.4430
https://blog.csdn.net/weixin_43986204/article/details/90210010

解决’spark-shell’不是内部或外部命令，也不是可运行程序或批处理文件
参考链接
https://zhuanlan.zhihu.com/p/339070597
五、pycharm配置pyspark环境
https://blog.csdn.net/ringsuling/article/details/84448369

注意：找不到指定路径 或者不是内部命令 一般都是环境变量的问题