Windows平台搭建Spark开发环境(Intellij idea 2020.1社区版+Maven 3.6.3+Scala 2.11.8)
在开始之前,需要说明的是要跑通基本的wordcount程序,是不需要在windows上安装hadoop和spark的,因为idea在跑程序的时候,会按照pom.xml配置文件,从指定的repository源,按照properties指定的版本,下载dependency中指定的依赖包。如果需要在本地通过spark-shell,或者运行开发完的包,那么就需要完整的hadoop和spark环境,就需要把