2023_Spark_实验三：基于IDEA开发Scala例子

一、创建一个空项目，作为整个项目的基本框架

二、创建SparkStudy模块，用于学习基本的Spark基础

三、创建项目结构

1、在SparkStudy模块下的pom.xml文件中加入对应的依赖，并等待依赖包下载完毕。

在pom.xml文件中加入对应的依赖

​





2.11

2.1.1













com.thoughtworks.paranamer

paranamer

2.8





org.apache.spark

spark-core_${scala.version}

${spark.version}





org.apache.spark

spark-sql_${scala.version}

${spark.version}





org.apache.spark

spark-streaming_2.11

${spark.version}





org.apache.spark

spark-mllib_2.11

2.1.1





org.apache.spark

spark-streaming-kafka-0-10_2.11

2.3.0





org.apache.spark

spark-streaming-kafka-0-8_${scala.version}

2.3.0





net.jpountz.lz4

lz4

1.3.0





mysql

mysql-connector-java

8.0.18





org.apache.flume.flume-ng-clients

flume-ng-log4jappender

1.7.0















org.apache.spark

spark-hive_2.12

2.4.8













org.apache.maven.plugins

maven-compiler-plugin

3.8.1



1.8

1.8







org.apache.maven.plugins

maven-assembly-plugin





jar-with-dependencies












​

等待依赖包下载完毕

2、若不能自动下载依赖包，则按以下步骤操作

四、创建SCALA目录

四、解决无法创建scala文件问题

验证：

问题解决！

五、编写第一个SCALA程序

成功！