Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

太男了,必须写这篇博客让你们少走弯路(阿亮制作) 

1.安装 IDEA

下 载 地 址 : https://www.jetbrains.com/idea/download/#section=windows

下载版本:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第1张图片

spark 和 scala 版本的选择,进入虚拟机,启动 spark-shell,使用命令./spark-shell,查看版本信息:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第2张图片

2.下载 Scala

scala 官网:

下载地址:https://www.scala-lang.org/download/2.11.12.html  

下载版本:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第3张图片

3.下载 Spark,spark 版本的确定

http://spark.apache.org/downloads.html

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第4张图片

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第5张图片

选择相应的 jar 包下载。

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第6张图片

导入 spark-core_2.11-2.4.4 后:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第7张图片

到指定区域,按 Alt+Enter 键,导入包

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第8张图片

右键 cc,然后选择 Run ‘cc’:

出现如下错误:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第9张图片

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第10张图片

 Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第11张图片

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第12张图片

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第13张图片

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第14张图片

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第15张图片

选 择 Build Build 成功后

将D:\IntellijIDEA\mywordcount\out\artifacts\mywordcount_jar 目录下的mywordcount.jar

包拷贝到桌面上。

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第16张图片

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第17张图片

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行_第18张图片

你可能感兴趣的:(大数据)