Spark简介系列01

Spark是一种什么软件框架？

Spark是一种管理和协调多台计算机来执行计算任务的软件架构。

一组机器没有协调机制，就不能产生强大的计算能力。

Spark有哪些集群管理器？

Spark集群管理器、YARN、Mesos等；他们接收提交的Spark应用程序，然后将计算资源分配给应用程序，以便完成计算任务。

Spark应用程序由那两部分组成？

一个驱动器进程和一组执行器进程

Spark的驱动进程有哪三个作用？

1、维护Spark应用程序的相关信息

2、回应用户的程序或输入

3、分析任务并分发给若干执行器进行处理

备注：驱动器在应用程序执行的整个生命周期中维护着所有相关信息。

Spark执行器的两个责任？

1、执行驱动器分配给它的代码

2、将自身的计算状态报告给运行驱动器的节点

Spark的两套API

结构化API和非结构化API

Spark编程模型的核心是

函数式编程

Spark包含两种操作

转换操作和动作操作

转换操作分为哪两类转化

窄依赖关系的转换、宽依赖关系的转换

窄依赖是每个输入分区仅决定一个输出分区的转换

宽依赖是每个输入分区决定了多个输出分区的转换

Spark的三类action操作

1、控制台输出数据的动作

2、将数据汇集为某个语言的原生对象的动作

3、写入输出数据源的动作

查看Spark的执行计划

aDataFrame.sort("column1").explain()

默认情况下，Spark的shuffle操作会输出多少个分区

200个

DataFrame的大多数方法可接受哪些类型的参数

字符串、Column类型、表达式