一、Spark基础解析

第一章：Spark概述

1.1 什么是Spark

是一种基于内存的快速、通用、可扩展的大数据分析引擎。

1.2 Spark内置模块

Spark内置模块

Spark Core：实现了Spark的基本功能，包含

• 任务调度、
• 内存管理、
• 错误恢复、
• 存储系统交互等模块。
  Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。

Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache
Hive版本的SQL方言(HQL)来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。
Spark Streaming：是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的RDD API高度对应。
Spark MLlib：提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据 导入等额外的支持功能。
集群管理器：Spark 设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器(Cluster Manager)上运行，包括

1. Hadoop YARN、
2. Apache Mesos，
3. 以及Spark自带的一个简易调度器，叫作独立调度器。 

1.3 Spark特点

Spark特点

第二章：Spark运行模式

2.1 Spark安装地址

官网地址
文档查看地址
下载地址

2.2 重要角色

2.2.1 Driver

Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动Spark shell的时候，系统后台自启了一个Spark驱动器程序，就是在Spark shell中预加载的一个叫作 sc的SparkContext对象。如果驱动器程序终止，那么Spark应用也就结束了。主要负责：

1. 把用户程序转为作业（JOB）i
2. 跟踪Executor的运行状况
3. 为执行器节点调度任务
4. UI展示应用运行状况

2.2.2 Executor

Spark Executor是一个工作进程，负责在 Spark 作业中运行任务，任务间相互独立。
Spark 应用启动时，Executor节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。
如果有Executor节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点上继续运行。主要负责：

1. 负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程；
2. 通过自身的块管理器（Block Manager）为用户程序中要求缓存的RDD提供内存式存储。RDD是直接缓存在Executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

2.3 local模式

2.3.1 概述

local模式概述

2.4 Standalone模式

2.4.1 概述

构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。

Standalone运行模式介绍

2.5 Yarn模式【重点】

2.5.1 概述

Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出
yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。

Yarn运行模式介绍

2.6 Messos模式【了解】

Spark客户端直接连接Mesos；不需要额外构建Spark集群。国内应用比较少，更多的是运用yarn调度。

2.7 几种模式对比

模式对比

第三章：Spark案例实操

Spark Shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖。

3.1 编写WordCount程序

1. 创建一个Maven项目WordCount并导入依赖

 
 org.apache.spark
 spark-core_2.11
 2.1.1
 



 WordCount
 

             net.alchim31.maven
scala-maven-plugin
             3.2.2
             
             
            
           compile
           testCompile
            
              
              
 
 

2）编写代码

package com.atguigu
import org.apache.spark.{SparkConf, SparkContext}
object WordCount{
 def main(args: Array[String]): Unit = { 
//1.创建SparkConf并设置App名称 val conf = new SparkConf().setAppName("WC")
//2.创建SparkContext，该对象是提交Spark App的入口 val sc = new SparkContext(conf)
 //3.使用sc创建RDD并执行相应的transformation和action
 *sc.textFile(args(0)).flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_, 1).sortBy(_._2, false).saveAsTextFile(args(1))* 
//4.关闭连接 sc.stop()
 }
}

3）打包插件

       org.apache.maven.plugins
       maven-assembly-plugin
       3.0.0
 
           
             
                WordCount
             
         
         
             jar-with-dependencies
         
 
 
 
 make-assembly
 package
 
 single
 
 
 
 

4）打包到集群测试

bin/spark-submit \
--class WordCount \
--master spark://hadoop102:7077 \
WordCount.jar \
/word.txt \
/out

3.1 编写 Word Count程序

3.2 本地调试

本地Spark程序调试需要使用local提交模式，即将本机当做运行环境，Master和Worker都为本机。运行时直接加断点调试即可。如下：
创建SparkConf的时候设置额外属性，表明本地执行：
val conf = new SparkConf().setAppName("WC").setMaster("local[*]")
如果本机操作系统是windows，如果在程序中使用了hadoop相关的东西，比如写入文件到HDFS，则会遇到如下异常：

image.png

出现这个问题的原因，并不是程序的错误，而是用到了hadoop相关的服务，解决办法是将附加里面的hadoop-common-bin-2.7.3-x64.zip解压到任意目录。

image.png

在IDEA中配置Run Configuration，添加HADOOP_HOME变量

image.png