Spark-Sql版本升级对应的新特性汇总

Spark-Sql版本升级对应的新特性汇总

SparkSQL的前身是Shark。由于Shark自身的不完善,2014年6月1日Reynold Xin宣布:停止对Shark的开发。SparkSQL抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-Memory Columnar Storage)、Hive兼容性等,重新开发SparkSQL。


Spark-1.1 :2014年9月11日,发布Spark1.1.0。Spark从1.0开始引入SparkSQL(Shark不再支持升级与维护)。Spark1.1.0变化较大是SparkSQL和MLlib

spark-1.3 : 增加 DataFrame新API ,参考文章:Spark-Sql之DataFrame详解

spark-1.4 : 增加 分析开窗函数,参考文章: Spark分析窗口函数

Spark 1.5 : Hive中有UDF与UDAF,Spark中对UDF支持较早,UDAF:User Defined Aggregate Function。用户自定义聚合函数,是直到Spark 1.5.x才引入的最新特性。参考文章: Spark编写UDAF自定义函数

spark-1.6 : 执行的sql中可以增加 "--" 注释  Spark-1.5/1.6的新特性

你可能感兴趣的:(Spark)