RDD vs DataFrame vs Dataset

本篇文章主要是介绍RDD、DataFrame、Dataset这三者的不同

1.RDD、DataFrame、Dataset介绍

1.1 RDD

RDD是Resilient Distributed Datasets的简写。它是一个只读的数据集合。RDD是Spark最基础的数据结构。
RDD允许开发者使用容错的形式在集群中使用内存计算，这样可以提高计算速度。

1.2 DataFrame

DataFrame是使用数据组成命名列，它是一个不可变的分布式数据集合。

1.3 Dataset

Dataset是基于DataFrame的一个扩展，它支持强类型、面向对象编程的接口。Dataset可以通过表达式和字段，使用Catalyst优化器来进行查询优化。

2.RDD vs DataFrame vs Dataset

2.1 什么时候发布

• RDD在Spark 1.0发布的
• DataFrame 是在Spark 1.3发布
• Dataset 是在Spark 1.6发布的

2.2 数据格式

2.2.1 RDD

RDD可以处理结构化或者非结构化数据。RDD不需要获取数据的源数据。

2.2.2 DataFrame

DataFrame只使用结构化和半结构化数据。DataFrame允许Spark管理schema信息。

2.2.3 Dataset

Dataset可以处理结构化或者非结构化数据，使用行或者行集合表示JVM对象中的数据。

2.3 不可变性和可互操作性

RDD包含的数据集合都是可分区的，分区数就是并行度。每个分区是数据的逻辑分区，数据是不可变的，并且可以通过其他RDD使用转换操作获取。
不可变性可以保证计算的一致性。可以通过toDF()方法来生成DataFrame。

转换为DataFrame之后，无法再次生成域对象。可以通过rdd方法生成RDD对象。

可以使用Dataset和DataFrame转换为Dataset。

2.4 编译时期类型安全

	SQL	DataFrames	Datasets
参数错误	运行时错误	编译时错误	编译时错误
分析错误	运行时错误	运行时错误	编译时错误

2.5 优化

• RDD:RDD中没有内置的优化引擎。当处理结构化数据，RDD不能使用Spark高级优化器。
• DataFrame:使用catalyst优化器来进行优化。DataFrame在下面4个阶段使用catalyst转换框架:a)分析逻辑计划解析饮用;b)优化逻辑计算;c)物理计划；d)代码生成部分查询编译为Java字节码。
• Dataset:使用优化器来优化执行计划。

2.6 序列化

RDD在写数据时，使用的时Java序列化，在序列化数据时和节点之间发送数据时，成本高。

在使用DataFrame时，可以将数据以二进制格式存储到堆外，如果知道schema信息时，可以直接处理堆外数据，在编数据时，不需要使用java序列化，Spark提供了一个Tungsten物理执行后端，它可以明确的管理内存并动态生成字节码来进行表达式评估。

在序列化数据时，Dataset有自己的api来实现表格数据与序列化数据的转换。Dataset使用Spark内部的Tungsten二进制格式来存储表格数据，Dataset只获取需要的数据。

2.7 垃圾回收

• RDD:创建和销毁单个对象而导致垃圾收集的开销。
• DataFrame:在构造单个对象时，避免垃圾收集成本。
• Dataset: 不需要销毁对象，因为序列化使用tungsten进行，使用offheap数据序列化。

2.8 效率/内存使用

RDD在序列化数据时，效率低，花费了大量的时间。

DataFrame使用offheap内存可以减少花销，DataFrame动态生成字节代码，以便可以对该序列化数据执行许多操作。无需对小型操作进行反序列化。

Dataset无需对整个对象进行序列化。

2.9 schema信息

RDD需要手动定schema信息。

DataFrame可以根据数据自动发现schema信息。

Dataset可以自动发现文件的schema信息。

2.10 聚合

RDD在进行分组和聚合操作时，速度慢。

DataFrame提供的API，在大量数据集上执行聚合操作、分析操作速度很快。

Dataset在大量数据集上执行聚合操作，效率高。