使用IntelliJ Idea开发Spark应用程序

未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计3704字，阅读大概需要3分钟

一、实验目的

掌握使用IntelliJ Idea开发Spark应用程序的过程。

二、实验内容

1、使用IntelliJ Idea开发本地Spark应用程序。
  2、部署分布式Spark应用程序。

三、实验原理

首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。

四、实验环境

硬件：x86_64 ubuntu 16.04服务器
  软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea

五、实验步骤

5.1 启动IntelliJ Idea并创建spark项目

1、启动IntelliJ Idea。在终端窗口下，执行以下命令:

1.	$ cd /opt/idea-IC-191.7479.19/bin
2.	$ ./idea.sh

2、在Idea中创建scala项目，并命名为”helloscala”，其它都默认即可。

3、依次选择”File | Project structure…”菜单项，进入项目结构界面。如下图所示：

4、Spark程序开发和运行，需要依赖Spark相关的jar包。按图中所示依次选择，手动导入spark的jar包到项目中。如下图所示：

5、要引入的jar包位于Spark安装目录的jars目录下(本实验中位于”/opt/spark/jars/“目录下)。之后一直点击【OK】按钮即可导包成功。如下图所示：

6、查看成功导入的部分jar包。如下图所示：

5.2 数据准备

我们将构建一个简单的程序，它根据莎士比亚的文集执行单词计数。因此，我们需要保存此shakespeare.txt数据集的两个副本。一个在项目中用于本地系统测试，另一个在HDFS (Hadoop分布式文件系统)中用于集群测试。
  1. 将shakespeare.txt拷贝到项目的resources目录下。打开一个终端窗口，执行如下命令：

1.	$ cp /data/dataset/shakespeare.txt ~/IdeaProjects/helloscala/src/

2. 将shakespeare.txt上传到HDFS目录下。执行如下的命令执行上传：

1.	$ start-dfs.sh
2.	$ hdfs dfs -mkdir -p /data/dataset/
3.	$ hdfs dfs -put /data/dataset/shakespeare.txt  /data/dataset/

5.3 编写spark代码

1、选中spark_project1项目的src目录上，单击右键，依次选择”New | Scala Class”，创建Scala类。如下图所示：

2、在弹出的对话框中，命名”HelloScala”，并选择”Object”类型。如下图所示：

3、打开”HelloScala.scala”源文件，编辑代码如下：

1.	import org.apache.spark.{SparkConf, SparkContext}
2.	    　
3.	object HelloScala {
4.	    　
5.	  def main(args: Array[String]) {
6.	    　
7.	    // 创建一个SparkContext来初始化Spark
8.	    val conf = new SparkConf()
9.	    conf.setMaster("local")
10.	    conf.setAppName("Word Count")
11.	    val sc = new SparkContext(conf)
12.	    　
13.	    // 将文本加载到Spark RDD中，它是文本中每一行的分布式表示
14.	    val textFile = sc.textFile("src/shakespeare.txt")
15.	    　
16.	    // 执行单词计数
17.	    val counts = textFile.flatMap(line => line.split(" "))
18.	                      .map(word => (word, 1))
19.	                      .reduceByKey(_ + _)
20.	    　
21.	    counts.foreach(println)
22.	    System.out.println("全部单词: " + counts.count());
23.	  }
24.	
25.	}

4、运行程序。右键单击文本编辑器并选择”Run ‘HelloScala’”来运行程序。这将运行Spark作业并打印莎士比亚作品中出现的每个单词的频率，预期输出如下:

注意我们设置了这一行代码:

1.	conf.setMaster("local")

这告诉Spark使用这台计算机在本地运行，而不是在分布式模式下运行。要在多台机器上运行Spark，我们需要更改此值。

5.4 部署分布式Spark应用程序

在生产环境中，Spark通常会处理存储在HDFS等分布式文件系统中的数据。Spark通常也以集群模式运行。
  1. 修改源代码如下：

1.	import org.apache.spark.{SparkConf, SparkContext}
2.	    　
3.	object HelloScala {
4.	  def main(args: Array[String]): Unit = {    　
5.	    // 创建一个SparkContext来初始化Spark
6.	    val conf = new SparkConf().setAppName("Word Count")
7.	    val sc = new SparkContext(conf)
8.	    　
9.	    // 修改输入和输出文件路径为HDFS上的路径（请把其中的localhost换为当前的机器名）
10.	    val input = "hdfs://localhost:9000/data/dataset/shakespeare.txt"
11.	    val output = "hdfs://localhost:9000/data/dataset/shakespeareWordCount"
12.	    　
13.	    // 将文本加载到Spark RDD中，它是文本中每一行的分布式表示
14.	    val textFile = sc.textFile(input)
15.	    　
16.	    // 进行单词计数
17.	    val counts = textFile.flatMap(line => line.split(" "))
18.	                         .map(word => (word, 1))
19.	                         .reduceByKey(_ + _)
20.	    　
21.	    counts.foreach(println)
22.	    System.out.println("全部单词: " + counts.count())
23.	    　
24.	    counts.saveAsTextFile(output)
25.	  }
26.	}

这告诉Spark读写HDFS，而不是本地。

5.5 打包程序

我们将把这些代码打包到一个已编译的jar文件中，该文件可以部署在Spark集群上。jar是一个压缩文件，它包含我们的代码和代码工作所需的所有依赖项。
  1、依次选择”File | Project Structure…”菜单项，进入项目结构界面。如下图所示：

2、按图中选择依次点击进行打包，如图13所示

3、在弹出的对话框，Main Class框中选择 HelloScala，其它保持默认即可，点击【OK】。如下图所示：

4、返回到项目结构界面，把项目依赖的所有jar包都删除，只导出类文件，点击【OK】按钮。如下图所示：

5、点击”Build | Build Artifacts”菜单项进行编译。如下图所示：

6、按图中所示选择即开始编译。如下图所示：

5.6 集群运行jar包

1、启动Spark集群。在终端窗口下，执行以下命令：

1.	$ cd /opt/spark
2.	$ ./sbin/start-all.sh

2、提交作业执行。使用spark-submit运行我们的代码。我们需要指定主类、要运行的jar和运行模式(集群)。(注意：请将下面命令中的localhost替换为虚拟机当前的机器名)

1.	$ spark-submit --class HelloScala  --master spark://localhost:7077 /root/IdeaProjects/helloscala/out/artifacts/helloscala_jar/helloscala.jar

控制台应该打印莎士比亚作品中出现的每个单词的频率，如下所示:

…
(comutual,1)
(ban-dogs,1)
(rut-time,1)
(ORLANDO],4)
(Deceitful,1)
(commits,3)
(GENTLEWOMAN,4)
(honors,10)
(returnest,1)
(topp’d?,1)
(compass?,1)
(toothache?,1)
(miserably,1)
(hen?,1)
(luck?,2)
(call’d,162)
(lecherous,2)
…

此外，可通过HDFS或Web UI查看输出文件的内容：

1.	$ hdfs dfs -cat /data/dataset/shakespeareWordCount/part-00000

— END —