SparkSql -- DataFrame和DataSet

SparkSql – DataFrame和DataSet

1. 什么是sparksql

Hive将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

2. sparksql的特点

• 易整合
• 统一的数据访问方式
• 兼容hive
• 标准的数据连接

3. DataFrame和DataSet

DataFrame它不是spark sql提出来的，而是早期在R、Pandas语言就已经有了的

• DataSet： A DataSet is a distributed collection of data. (分布式的数据集)
• DataFrame：A DataFrame is a DataSet organized into named columns.（以列（列名，列类型，列值）的形式构成的分布式的数据集，按照列赋予不同的名称）

1. DataFrame的概念

1. 分布式的数据集，并且以列的方式组合的。相当于具有schema的RDD
2. 相当于关系型数据库中的表，但是底层有优化
3. 提供了一些抽象的操作，如select、filter、aggregation、plot
4. 它是由于R语言或者Pandas语言处理小数据集的经验应用到处理分布式大数据集上
5. 在1.3版本之前，叫SchemaRDD

2. DataFrame对比RDD

DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame是为数据提供了Schema的视图。可以把它当做数据库中的一张表来对待，DataFrame也是懒执行的。性能上比RDD要高，主要原因优化的执行计划：查询计划通过Spark catalyst optimiser进行优化。逻辑查询计划优化就是一个利用基于关系代数的等价变换，将高成本的操作替换为低成本操作的过程。

3. DataSet的概念

RDD、DataFrame、Dataset是Spark三个最重要的概念，RDD和DataFrame两个概念出现的比较早，Dataset相对出现的较晚（1.6版本开始出现）

1）是Dataframe API的一个扩展，是Spark最新的数据抽象。

2）用户友好的API风格，既具有类型安全检查也具有Dataframe的查询优化特性。

3）Dataset支持编解码器，当需要访问非堆上的数据时可以避免反序列化整个对象，提高了效率。

4）样例类被用来在Dataset中定义数据的结构信息，样例类中每个属性的名称直接映射到DataSet中的字段名称。

5） Dataframe是Dataset的特列，DataFrame=Dataset[Row] ，所以可以通过as方法将Dataframe转换为Dataset。Row是一个类型，跟Car、Person这些的类型一样，所有的表结构信息我都用Row来表示。

6）DataSet是强类型的。比如可以有Dataset[Car]，Dataset[Person].

7）DataFrame只是知道字段，但是不知道字段的类型，所以在执行这些操作的时候是没办法在编译的时候检查是否类型失败的，比如你可以对一个String进行减法操作，在执行的时候才报错，而DataSet不仅仅知道字段，而且知道字段类型，所以有更严格的错误检查。就跟JSON对象和类对象之间的类比。

相比DataFrame，Dataset提供了编译时类型检查 。这很重要。因为DataFrame是懒执行的，DataFrame只知道结构，但是不知道类型，不能进行类型检查，编译之前的时候不能检查出数据类型的错误。但是DataSet可以进行类型检查，在IDEA中编写代码就不能通过。