IDEA集成Spark

1.新建maven工程
2.点击工程项目,添加scala语言环境(注意Spark有对应的Scala版本信息)

IDEA集成Spark_第1张图片
图片.png

IDEA集成Spark_第2张图片
图片.png

3.maven 中央库中查找相应的Spark包,添加到maven配置中
https://mvnrepository.com/
4.运行时的一些注意事项:
4.1新建的时obj不是class
4.2报的一些启动的问题,可能时Spark和Scala版本不一致(到Spark官网上查找相应的版本)
4.3拷贝一些DemoCode时注意SparkSession和SparkContext区别

你可能感兴趣的:(IDEA集成Spark)