Spark(Scala)-示例程序

1.版本

• system: windows10
• jdk: 1.8.0_141
• scala: 2.10.5
• spark: spark-2.0.2-bin-hadoop2.6
• IntelliJ: 15.0.6

---

2.基本环境安装

• 下载安装Spark https://www.jianshu.com/p/1d7015dbc541
• 配置开发环境 https://www.jianshu.com/p/ddd1024b757d

---

3.配置ssh免密登录

• cd ~进入用户目录

• ssh-keygen生成相关文件,一路回车即可

• cd ~/.ssh进入ssh目录,如果没有mkdir .ssh创建一个再生成文件

• touch authorized_keys创建公钥保存文件

• cat id_rsa.pub > authorized_keys密钥拷贝到公钥

• chmod 600 authorized_keys附加权限
  

  生成后的文件

• ssh localhost登录验证
  

  登录成功

---

4.创建Spark项目

创建项目

选择创建Scala项目,选择SBT作为打包工具,相当于Java中的Maven

选择对应版本,第一次创建需要下载一些依赖会比较慢

创建成功后的项目结构

---

5.示例程序编写

• 读取文件,统计文件中每一个单词出现的次数

• 配置编写程序需要的依赖,点击右上角刷新,等待idea加载依赖到项目

  
  
  配置依赖,如果网络状况不好下载很慢,耐心等待

• scala目录下创建一个Scala Class
  

  创建Scala Class

• 输入Name,选择Object创建
  

  创建Object

• 编写程序

import org.apache.spark.{SparkContext, SparkConf}

/**
  * author: shenke
  * date: 2018/12/1 20:46
  * description: 读取文本文件内容,统计每个单词出现的次数
  * helloSpark.txt文本文件内容示例:
  * hello Spark
  * hello World
  * hello Spark !
  */
object WordCount {

  def main(args: Array[String]) {
    // 创建Spark配置类并且指定名称
    val conf = new SparkConf().setAppName("wordCount");
    
    // 创建Spark上下文对象,加载配置
    val sc = new SparkContext(conf);

    // 读取指定文件内容
    val input = sc.textFile("/usr/local/helloSpark"); 

    // flatMap空格拆分文件内容,拆分后变成:hello,Spark,hello,World,hello,Spark,!
    val lines = input.flatMap(line => line.split(" "));

    // map把单词转换成key:value对的形式,转换后变成:hello:1,Spark:1,hello:1,World:1,hello:1,Spark:1,!:1
    // reduceByKey对相同的key进行reduce操作,这里累加key相同的value,操作后的结果:hello:3,Spark:2,World:1,!:1
    val count = lines.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }

    // 计算结果保存到指定文件
    var output = count.saveAsTextFile("/usr/local/helloSparkRes") 

  }

}

---

6.编译打包

• 配置jar包

  
  
  配置jar包

配置jar包

选择项目和Main Class,OK打包

选择Build项目

Build项目

Build成功会生成MANIFEST.MF文件

同时在项目根目录out目录下会生成打包好的jar包

生成的jar包

---

7.启动运行

• 启动集群
  cd /usr/local/spark-2.0.2-bin-hadoop2.6进入spark安装目录
  ./sbin/start-master.sh启动master
jps查看master是否已启动
  
  master已经启动

到安装spark环境的虚拟机上访问http://localhost:8080/查看启动worker的地址信息

查看启动worker的地址信息

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077启动worker,这里填写刚才访问web ui查看的address信息

jps查看worker是否已启动

worker已经启动

yum -y install lrzsz安装lrzsz
rz -be上传jar包

上传jar包

./bin/spark-submit --master spark://localhost:7077 --class WordCount /usr/local/spark.jar提交作业,指定同上的address,jar的Main Class以及jar的path

• 作业运行期间可以访问http://localhost:4040/jobs/可以查看任务的执行信息
  

  可以看到任务执行相关信息

• 作业执行完毕后查看结果
  cd /usr/local/helloSparkRes进入保存作业执行结果的目录
  生成了part-00000,part-00001,_SUCCESS三个文件,其中part-00000和part-00001保存了作业的执行结果
  cat part-00000
cat part-00001

• 分别输出执行结果

  
  
  作业执行结果

• 对比一下预测的结果是一致的

  
  
  编码时预测的结果

`