spark 发布 2.2.0版本

spark 发布 2.2.0版本

• Apache Spark 2.2.0是2.x分支上的第三次主版本发布，其他两个版本分别2.0.x,2.1.x两个主版本以及下属的分支版本。这次发布spark移除了Structured Streaming的实验标签。也就是说，这次发布的版本的焦点在于其易用性、稳定性，并完善、解决了超过1100个问题(目前来看，实际上有1146个问题，具体内容可以在spark的 jira上看到)。
• 这次版本主要对一下几个模块着做了修改
  • Core and Spark SQL
  • Structured Streaming
  • MLlib
  • SparkR
  • GraphX
  • Deprecations
  • Changes of behavior
  • Known Issues
  • Credits

Core and Spark SQL(内核和spark SQL)

• API更新
  • SPARK-19107：支持通过DataFrameWriter和catalog来创建hive表
    • DataFrameWriter是spark.sql下的一个接口，主要用于将数据集写到外部存储系统中
    • Catalog同样是spark.sql的一个接口，用于提供标准API访问spark SQL中的元数据
  • SPARK-13721：支持hive的LATERAL VIEW OUTER explode()功能
    • LATERAL VIEW OUTER explode()是hive所提供的一行转多列的方法(详情 现在这里挖个坑，找个时间来添一下)
  • SPARK-18885:针对数据源和hive的正/反序列化数据的同一建表语法
  • SPARK-16475:对sql查询中的 BROADCAST, BROADCASTJOIN, and MAPJOIN增加广播提示功能
  • SPARK-18350:支持本地回话时区(为了解决机器处于不同时区、或者不同用户处于不同时区所产生的时间不同问题)
  • SPARK-19261:支持扩展的sql语法alter table table_name add cloumns
  • SPARK-20420:增加external catalog时间
    • external catalog
  • SPARK-18127：增加spark的钩子和扩展点
    • 这是Srinath提出的一个改进点，其本意是希望通过自定义spark会话的方式来来实现以下目标：增加自定义的分析规则，如实现递归操作;增加自己的分析检查，如对数据源做特殊的检查，在发现问题的时候可以提前发现；增加自定义优化等
  • SPARK-20576：在Dataset/DataFrame中支持通用的提示函数
  • SPARK-17203：数据源操作不应该区分大小写
  • SPARK-19139：为spark增加AES基础认证机制
• 性能和稳定
  • 代价优化器
    • 针对filter,join,aggregate,project和limit/sample操作的评估基数
    • 对join重排序进行优化
    • 对TPC-DS利用启发式星型结构进行优化
  • 引入一个基于聚合操作的jvm对象
  • 部分聚合支持hive UDAF 函数
  • 对CSV和JSON的文件列表/IO进行优化
  • 解决不可撤销/不可杀死的任务耗尽系统资源的问题
  • 拓扑结构的块复制问题
• 其他值得注意的改变
  • 支持解析多行JSON文件
  • 支持解析多行CSV文件
  • 支持分区表的表分析命令
  • 在完成插入和创建hive表后丢弃阶段字典和数据文件
  • 视图更加文健、标准而不需要大量的SQL扩展
  • 支持从hive 2.0/2.1的模型仓库中读取数据
  • 提供提交协议的RDD端口API
  • 对定时调度任务增加黑名单列表
  • 移除对hadoop 2.5和更早版本的支持
  • 移除对java7的支持

Structured Streaming(结构流)

• 常规应用
  • Structured Streaming(结构流)的API现在属于常规应用，不再具有实验标签
• kafka 优化
  • 支持在流中或者批量从kafka中读取/写入数据
  • 使用一个缓存的kafka生产者通过kafka sink向kafka写入数据
• API更新
  • 使用[flat]MapGroupWithState时支持复杂状态执行和超时
  • 支持一次触发器
• 其他不重要的改变
  • 增加一个测试和基准的rate source(信率源)
• structtured streaming 编程指南

MLlib

• 基于data-frame的新算法API
  • 线性SVC
    • SVC: support vector classification(支持向量聚类算法)
  • 基于data-frame API的卡方检验
  • 基于data-frame API的相关分析
  • 基于特征转化的确实值处理
  • 广义线性模型增加Tweedie分布
  • 频繁项集挖掘中的FPGrowth算法和关联规则
• 已存在的算法中增加python和R的api
  • Gradient Boosted Trees(梯度提升树)
  • 二分k均值
  • 局部敏感哈希 参考
  • pySpark的分布式主成分分析和矩阵奇异值分解
• 主要bug修复
  • DistributedLDAModel.logPrior计算准确率修复
  • EMLDAOptimizer因类型匹配错误失败(由GraphX checkpointing的bug导致)
  • 修复在二项式广义线性模型中计算信息准则错误问题
    • AIC ：AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，由于它为日本统计学家赤池弘次创立和发展的， 因此又称赤池信息量准则
  • 在某些输入数据中训练二分K均值模型报"java.util.NoSuchElementException: key not found"错误
  • pyspark.ml.Pipeline 在多线程模式使用时会出问题
  • 框约束的逻辑回归
• MLlib编程指南

SparkR

• SparkR在2.2.0版本焦点主要集中在:增加了大量现存Spark SQL特性的支持
  *主要特征
  • Structured Streaming API支持R语言
  • 完整的catalogAPI可以支持R语言
  • to_json,from_json的列函数
  • 合并dataFrame 和 合并列
  • 支持dataFrame的checkpointing
  • R中approxQuantile函数支持多列计算
• SparkR编程指南

GraphX图计算

• bug修复
  • 图计算接收器从PageRank中获取到了不准确的结果
  • 图顶点Rdd/边缘RDD做checkpoint操作时出现ClassCastException异常
• GraphX编程指南

不赞成

• python
  • 放弃对python2.6的支持
• MLlib
  • spark.ml LDA类不应该在spark.mllib的API中暴露，在spark.ml.LDAModel中，不提倡oldLocalModel 和 getModel
• SparkR
  • 不提倡创建外部表

方式改变

• MLlib
  • 开发API ALS.train()使用默认参数0.1代替1.0，为了匹配常规算法API中的默认参数设置
• sparkR:
  • 为SparkR的高斯矩阵模型增加对数似然估计，但是引入一个sparkR的模型不会持续兼容：高斯矩阵模型在SparkR 2.1中已经被移除，可能不会在sparkR 2.2中重新引入。我们计划在将来对其保持向后兼容。

由于知识局限，文中可能有些地方翻译的不准确，欢迎批评指正。更多信息请多关注ApacheCN