怎样高效使用spark？

[toc]

背景知识: Spark与Hadoop差异

Spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷，具体如下：

1. 基于内存运算，DAG减少shuffle次数 Spark把中间数据放到内存中，迭代运算效率高。MapReduce中计算结果需要落磁盘上，而Spark支持DAG图的分布式并行计算的编程框架（有惰性计算的特性），DAG减少了shuffle以及落地磁盘的次数，提高了处理效率。
2. 一次性资源申请，避免重复申请 Spark是粗粒度资源申请，也就是当提交spark application的时候，application会将所有的资源申请完毕，如果申请不到资源就等待，如果申请到资源才执行application，task在执行的时候就不需要自己去申请资源，task执行快，当最后一个task执行完之后task才会被释放。优点是执行速度快，缺点是不能使集群得到充分的利用。
3. spark具有容错性，RDD可重建 spark引入弹性分布式数据集RDD (Resilient Distributed Dataset)的抽象，它是一个只读对象集合。如果数据集一部分丢失，则可以根据“血统”（即充许基于数据衍生过程）对它们进行重建。
4. 不同于MapReduce，spark定义了丰富的数据操作类型，主要分为：Transformations和Actions

Transformations的结果是从一个RDD转换到另一个RDD，包括：Map、Filter、FlatMap、Sample、GroupByKey、ReduceByKey、Union、Join、MapValues、Sort和PartionBy等
Actions是从一个RDD转换到一个非RDD。包括：count, head, collect、reduce、first、take、foreach和save等操作

介绍

Spark Session是Spark 2.0中Spark应用程序的统一入口点。 包含各种交互接口：spark context, hive context, SQL context。
spark context包含了spark conf

使用技巧

1. 尽量避免使用耗时或浪费的运算

Avoid select *

读入/存储数据的方式会对数据查询效率有很大的影响。读数据时，添加一个select语句来限制读入的列，尽量避免在分析场景中已知需要用到什么数据的情况下使用“select *”，这将迅速减小读入数据集的大小，并会让explode之类的操作运行的更快。

Avoid import *

避免使用类似“from pyspark.sql.functions import *”这种import所有function的操作。按照实际分析需求只import后续会用的function。

少用order by

order by是一个非常耗时的运算逻辑，除非在特定情况下必须要对数据集进行排序，否则尽量不要在分析场景中使用order by或者在上游数据生产环节中就有对数据某个重要维度的排序。

避免频繁查看统计数据

在分析的逻辑过程中会经常不自觉地对每一步的数据处理进行快速统计或者查看，比如.count()，在没有暂存数据集的情况下频繁使用会非常耗时，所以不必要的情况下不要频繁对大量数据进行count等统计操作。必要的情况下可以对中间数据进行.persist()操作。

尽早filter

类似使用select相关列数据，越早filter数据集越好，这样Spark可以尽快前置的过滤数据源从而减少后续的运算需求。如果需要做一些快速的前置探索性分析，可以直接先取数据集的一小部分进行不同分析逻辑的尝试。

2. 用好repartition这把双刃剑

当读入一个数据集时，在一个近似随机分布并有high cardinality的列上，将它重新分区到更多的分区，比如像id列。repartition好后的数据会让后续groupby、join的操作更加快速高效，但要注意的是repartition本身是full shuffle数据的，所以如果后面没有耗时运算的话repartition就没有那么重要了。
high cardinality:有很多取值的属性，例如：用户id, 关键词tag

使用repartition的列应当尽量是均匀分布的，比如device_id。而订单费用就是分布很倾斜的列，应当尽量避免用repartition。

repartition和coalesce的差别

repartition用来增加或者减少一个df中分区数量，是一个full shuffle的函数，把全量数据从所有分区中取出并重新分配分区。

coalesce是用来减少dataframe中的分区数量，它并不是一个full shuffle的函数。不同于repartition重新建立分区的方式，coalesce是使用hash paritioner重新shuffle数据，并调整减少已经存在的分区数。

3. Broadcast

Broadcast可以在不同的executor上复制数据，在很多计算场景下可以让运算速度变快，但因为是复制数据，同样可能让运算速度变得很快，所以使用broadcast需要很注意分析场景。尤其是在需要将非常小的数据集（比如几百行的配置表等等）join到很大的数据集的时候，broadcast是很有效的方式。

广播机制

操作地图

常用操作一览表

参考：
https://tech.meituan.com/2016/04/29/spark-tuning-basic.html