1.Spark基础学习一（Spark概念）

什么是Spark

Spark是一种基于内存的快速的，通用的，可扩展的大数据分析引擎

Spark内存模块

Snipaste_2020-08-18_20-33-17

Spark特点

快:与Hadoop和MapReduce响度，Spark基于内存运算要快100倍以上，基于硬盘的运算要快10倍以上，Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流，计算的中间结果是存在内存中的

易用: Spark支持Java，Python和Scala的API，还支持超过80中的高级算法，使用户可以快速构建不同的应用，而且Spark支持交互式的Python和Scala的Shell，可以非常方便的再这些Shell中使用Spark集群来验证解决问题。

通用: Spark提供了同意的解决方案，Spark可以用于处理，交互式查询，实时处理，机器学习，图计算，这些不同类型的处理都可以在同一个应用中无缝使用，减少开发和维护的人力成本。

兼容: Spark可以非常方便的与其他开元产品进行融合，比如，Spark可以使用Hadoop的yarn和Apache Mesos作为它的资源管理器和调度器，并且可以处理所有的Hadoop支持数据。包括HDFS，Hbase等。

Spark的安装地址

1．官网地址

http://spark.apache.org/

2．文档查看地址

https://spark.apache.org/docs/2.1.1/

3．下载地址

https://spark.apache.org/downloads.html

角色

Driver（驱动器）

​ Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动Spark shell的时候，系统后台自启了一个Spark驱动器程序，就是在Spark shell中预加载的一个叫作 sc的SparkContext对象。如果驱动器程序终止，那么Spark应用也就结束了。主要负责：

​ 1）把用户程序转为作业（JOB）

​ 2）跟踪Executor的运行状况

​ 3）为执行器节点调度任务

​ 4）UI展示应用运行状况

Executor（执行器）

​ Spark Executor是一个工作进程，负责在 Spark 作业中运行任务，任务间相互独立。Spark 应用启动时，Executor节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有Executor节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点上继续运行。主要负责：

1）负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程；

2）通过自身的块管理器（Block Manager）为用户程序中要求缓存的RDD提供内存式存储。RDD是直接缓存在Executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

Snipaste_2020-08-18_20-46-52

Yarn模式

Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出

yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。

Snipaste_2020-08-19_17-39-17

几种模式的对比

模式	Spark机器安装数	需要启动的进程	所属者
local	1	无	Spark
Standlone	3	Master及Worker	Spark
Yarn	1	Yarn及Hdfs	Hadoop

Java编写一个本地的Spark应用

创建一个Maven项目WordCount并导入依赖

    
        org.apache.spark
        spark-core_2.11
        2.1.1
    


        WordCount
        

                net.alchim31.maven
scala-maven-plugin
                3.2.2
                
                    
                       
                          compile
                          testCompile
                       
                    
                 
            
        

用wordCount例子来举证

package com.leon.bigdata.spark

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {

  def main(args: Array[String]): Unit = {
    val sparkConfig = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    
    val sc = new SparkContext(sparkConfig)

    val lines: RDD[String] = sc.textFile("./SparkDemo/data")

    val words = lines.flatMap(_.split(" "))

    val wordsMap = words.map((_,1))

    val wordsSum = wordsMap.reduceByKey((_+_))

    val result: Array[(String, Int)] = wordsSum.collect()

    result.foreach(println)
  }
}