Spark 3.0发布啦，改进SQL，弃Python 2，更好的兼容ANSI SQL，性能大幅提升

Apache Spark 3.0.0正式发布啦，Apache Spark 3.0是在Spark 2.x的基础上开发的，带来了新的想法和功能。

Spark是一个开源的大数据处理、数据科学、机器学习和数据分析工作负载的统一引擎，自2010年首次发布以来，已经成长为最活跃的开源项目之一；支持Java、Scala、Python、R等语言，并为这些语言提供了相关的SDK。

Spark 3.0中的Spark SQL是这个版本中最活跃的组件，46%的已解决的问题都是是针对Spark SQL的，包括结构化流和MLlib，以及高层API，包括SQL和DataFrames。在经过了大量优化后，Spark 3.0的性能比Spark 2.4快了大约2倍。

Python是目前Spark上使用最广泛的语言；针对Python语言提供的PySpark在PyPI上的月下载量超过500万。在Spark 3.0中，对PySpark的功能和可用性做了不少改进，包括用Python类型提示重新设计pandas UDF API，新的pandas UDF类型，以及更多的Pythonic错误处理。

以下便是Spark 3.0中的功能亮点：包括自适应查询执行，动态分区修剪，ANSI SQL合规性，pandas API的重大改进，结构化流的新UI，调用R用户定义函数的速度提高了40倍，加速器感知的调度器，以及SQL参考文档。

把这些功能按照模块来划分就可以分为以下几个模块：

• core、Spark SQL、Structured Streaming
• MLlib
• SparkR
• GraphX
• 放弃Python 2和R 3.4以下的版的支持；
• 修复一些已知的问题；

core、Spark SQL、Structured Streaming

突出功能

1. 加速器感知调度器；
2. 自适应查询；
3. 动态分区修剪；
4. 重新设计的pandas UDF API与类型提示；
5. 结构化流用户界面；
6. 目录插件API的支持；
7. 支持Java 11；
8. 支持Hadoop 3；
9. 能够更好的兼容ANSI SQL；

性能提升

1. 自适应查询；
2. 动态分区修剪；
3. 优化9项规则；
4. 最小化表缓存同步性能优化；
5. 将聚合代码分割成小函数；
6. 在INSERT和ALTER TABLE ADD PARTITION命令中增加批处理；
7. 允许聚合器注册为UDAF；

SQL兼容性增强

1. 使用Proleptic Gregorian日历；
2. 建立Spark自己的日期时间模式定义；
3. 为表插入引入ANSI存储分配策略；
4. 在表插入中默认遵循ANSI存储分配规则；
5. 添加一个SQLConf： spark.sql.ansi.enabled，用于开启ANSI模式；
6. 支持聚合表达式的ANSI SQL过滤子句；
7. 支持ANSI SQL OVERLAY功能；
8. 支持ANSI嵌套方括号内的注释；
9. 超出整数范围时抛出异常；
10. 区间算术运算的溢出检查；
11. 当无效字符串被转换为数字类型时，抛出异常；
12. 使用区间乘法和除法的溢出行为与其他操作一致；
13. 为char和decimal添加ANSI类型的别名；
14. SQL解析器定义了ANSI兼容的保留关键字；
15. 当ANSI模式开启时，禁止使用保留关键字作为标识符；
16. 支持ANSI SQL.LIKE...ESCAPE语法；
17. 支持ANSI SQL布尔-谓词语法；

PySpark增强版

1. 重新设计的pandas UDFs，并提供类型提示；
2. 允许Pandas UDF采用pd.DataFrames的迭代器；
3. 支持StructType作为Scalar Pandas UDF的参数和返回类型；
4. 通过Pandas UDFs支持Dataframe Cogroup；
5. 增加mapInPandas，允许DataFrames的迭代器；
6. 部分SQL函数也应该取数据列名；
7. 让PySpark的SQL异常更加Pythonic化；

扩展性增强

1. 目录插件；
2. 数据源V2 API重构；
3. Hive 3.0和3.1的版本的元存储支持；
4. 将Spark插件接口扩展到驱动程序；
5. 可通过自定义指标来扩展Spark指标系统；
6. 为用于扩展列式处理支持提供了开发者API；
7. 使用DSV2的内置源迁移：parquet, ORC, CSV, JSON, Kafka, Text, Avro；
8. 允许在SparkExtensions中注入函数；

连接器增强

1. 在数据源表中支持spark.sql.statistics.fallBackToHdfs；
2. 升级Apache ORC到1.5.9；
3. 支持CSV数据源的过滤器；
4. 使用本地数据源优化插入分区Hive表；
5. 升级Kafka到2.4.1；
6. 新的内置二进制文件数据源，新的无操作批处理数据源和无操作流接收器；

K8s中的原生Spark应用

1. 使用K8S进行更灵敏的动态分配，并在K8S上增加对Spark的Kerberos支持；
2. 使用Hadoop兼容的文件系统支持客户端依赖性；
3. 在k8s后台增加可配置的认证秘密源；
4. 支持K8s的子路径挂载；
5. 在PySpark Bindings for K8S中把Python 3作为默认选项；

MLib

1. 为Binarizer 、StringIndexer 、StopWordsRemover 和PySpark QuantileDiscretizer添加了多列支持；
2. 支持基于树的特征转换；
3. 增加了两个新的评估器MultilabelClassificationEvaluator和RankingEvaluator；
4. 增加了PowerIterationClustering的R API；
5. 添加了用于跟踪ML管道状态的Spark ML监听器；
6. 在Python中的梯度提升树中添加了带有验证集的拟合。
7. 增加了RobustScaler变压器；
8. 添加了因子化机器分类器和回归器；
9. 增加了高斯奈夫贝叶斯和互补奈夫贝叶斯；

此外，在Spark 3.0中，Pyspark中的多类逻辑回归现在将返回LogisticRegressionSummary，而不是其子类BinaryLogisticRegressionSummary；pyspark.ml.param.shared.Has* mixins也不再提供任何set(self, value)setter方法，而是使用各自的self.set(self., value)代替。

SparkR

通过矢量化的R gapply()、dapply()、createDataFrame、collect()提高性能来优化SparkR的互操作性；

还有 "eager execution "的R shell，IDE以及迭代聚类的R API。

弃用组件

1. 弃用Python 2的支持；
2. 弃用R 3.4以下版本的支持；
3. 弃用Deprecate UserDefinedAggregateFunction；

此次的Spark 3.0也算是一个大版本，不仅带来了不少新功能、也修复了很多已知的问题，在性能上有了很大的提升。

自从Python官方宣布停止维护Python2之后，各大组件也是纷纷响应，都停止了Python的支持，各位项目学习Python的小伙伴也是可以考虑直接学习Python 3了。

老夫虽不正经，但老夫一身的才华！关注我，获取更多编程科技知识。