SparkSQL 总结（未完待续）
SparkSQL
- 一. 概述
-
- 1.1 Hive and SparkSQL
- 1.2 SparkSQL 特点
- 1.3 DataFrame 是什么 ？
- 1.4 DataSet 是什么 ？
- 二. 核心编程
-
- 2.1 环境
一. 概述
Spark SQL 是Spark 用于结构化数据(structured data)处理的 Spark 模块。
1.1 Hive and SparkSQL
SparkSQL 的前身是 Shark，而 Shark 是伯克利实验室 Spark 生态环境的组件之一，是基于Hive 所开发的工具；
但是，随着Spark 的发展，对于野心勃勃的Spark 团队来说，Shark 对于 Hive 的太多依赖（如采用 Hive 的
语法解析器、查询优化器等等），制约了 Spark 的One Stack Rule Them All 的既定方针，制约了 Spark 各个组件的相互集成，所以提出了 SparkSQL 项目。SparkSQL 抛弃原有 Shark 的代码，汲取了 Shark 的一些优点，如内存列存储（In-Memory ColumnarStorage）、Hive 兼容性等，重新开发了SparkSQL 代码；由于摆脱了对Hive 的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便，真可谓“退一步，海阔天空”。
SparkSQL 作为 Spark 生态的一员继续发展，而不再受限于 Hive，只是兼容 Hive；
Hive on Spark 是一个Hive 的发展计划，该计划将 Spark 作为Hive 的底层引擎之一，也就是说，Hive 将不再受限于一个引擎，可以采用 Map-Reduce、Tez、Spark 等引擎。
对于开发人员来讲，SparkSQL 可以简化RDD 的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是 SparkSQL。
hive: 将SQL转换为MapReduce来执行；
Spark： SparkSQL是为了简化RDD的开发，把RDD做了一套封装，
写SparkSQL时会自动把封装好的模型转化为RDD ！ 而封装的模型就是DateFrame和DateSet ；
1.2 SparkSQL 特点
易整合
无缝的整合了 SQL 查询和 Spark 编程
统一的数据访问
使用相同的方式连接不同的数据源(hbase , hive, Mysql)
兼容 Hive
在已有的仓库上直接运行 SQL 或者 HiveQL (SparkSQL前身就是与Hive结合的Shark)
标准数据连接
通过 JDBC 或者 ODBC 来连接
1.3 DataFrame 是什么 ？
RDD只关心数据，DataFrame更关心元数据的结构信息；
DataFrame 是一种以 RDD 为基础的分布式数据集，类似于传统数据库中的二维表格。
DataFrame 与 RDD 的主要区别在于：
DataFrame 带有 schema 元信息，即 DataFrame 所表示的二维表数据集的每一列都带有名称和类型。而RDD只关心数据而不关心数据的结构。
同时，与Hive 类似，DataFrame 也支持嵌套数据类型（struct、array 和 map）。从 API 易用性的角度上看，DataFrame API 提供的是一套高层的关系操作，比函数式的 RDD API 要更加友好，门槛更低。
如图，RDD中只有一个个Person 泛型。数据都是Person的对象，不关心数据的属性。
DataFrame像二维表格， 会保存数据的元数据信息；
左侧的 RDD[Person]虽然以 Person 为类型参数，但 Spark 框架本身不了解Person 类的内部结构。
而右侧的DataFrame 却提供了详细的结构信息，使得 Spark SQL 可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。
DataFrame 是为数据提供了 Schema 的视图。可以把它当做数据库中的一张表来对待；
1.4 DataSet 是什么 ？
DataSet 把一行数据当成一个对象来用；
DataSet 是分布式数据集合。DataSet 是Spark 1.6 中添加的一个新抽象，是DataFrame的一个扩展；
它提供了RDD 的优势（强类型，使用强大的 lambda 函数的能力）以及SparkSQL 优化执行引擎的优点。DataSet 也可以使用功能性的转换（操作 map，flatMap，filter等等）；
DataSet 是DataFrame API 的一个扩展，是SparkSQL 最新的数据抽象；
DataSet 是强类型的。比如可以有 DataSet[Car]，DataSet[Person]
DataFrame 是DataSet 的特列，DataFrame=DataSet[Row] ，所以可以通过 as 方法将DataFrame 转换DataSet。
Row 是一个类型，跟 Car、Person 这些的类型一样，所有的表结构信息都用 Row 来表示。获取数据时需要指定顺序；
二. 核心编程
2.1 环境
Spark Core 中，如果想要执行应用程序，需要首先构建上下文环境对象 SparkContext （sc）；
而Spark SQL 其实可以理解为对 Spark Core 的一种封装，不仅仅在模型上进行了封装，上下文环境对象也进行了封装。
SparkSession 是 Spark 最新的 SQL 查询起始点，实质上是 SQLContext 和HiveContext 的组合，所以在 SQLContex 和HiveContext 上可用的API 在 SparkSession 上同样是可以使用的。
SparkSession 内部封装了 SparkContext，所以计算实际上是由 sparkContext 完成的；
sc即选择Spark Context为环境对象
spark即选择Spark Session为环境对象
5