Flink Weekly | 每周社区动态更新 - 20200107

本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。

作者:唐云(茶干)

大家好,2020 年转眼就来了,先恭喜大家新年快乐,Flink 社区也会在新的一年中继续陪伴大家,一起将 Flink 做大做好。

本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。

Flink 开发进展

[Release] Yu 分享了目前 Flink-1.10 发布的喜人进展,release-1.10 分支刚被拉出来时有 46 个 blocker,11 个 critical 级别的 issue,目前已经下降到只有 12 个 blocker 级别的 issue,一个 RC 版本有望于近期发布,可以访问下面的链接一睹为快:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Progress-of-Apache-Flink-1-10-3-td36359.html

**[Build] **在社区邮件达成一致后,目前 Flink 已经移除了厂商提供的仓库支持:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Drop-vendor-specific-repositories-from-pom-xml-td36113.html

https://issues.apache.org/jira/browse/FLINK-15459

[SQL] Forward Xu 发起了 FLIP-90(在 Flink SQL 中支持 SQL 2016-2017 JSON 函数)的投票,考虑到讨论时没有收到负面意见,该投票有望较快通过。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-90-Support-SQL-2016-2017-JSON-functions-in-Flink-SQL-td36341.html

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html

[SQL] Jark 发起了在 Table API&SQL 中将"Time-windowed Join"重命名为"Interval Join" 的投票:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Rename-terminology-quot-Time-windowed-Join-quot-to-quot-Interval-Join-quot-in-Table-API-amp-SQL-td36370.html

[SQL] Jark 发起了将 Blink planner 在 release 1.10 中设置为 SQL Client 默认 planner 的讨论。目前 Table API 仍然使用 Flink planner,但是也规划在 release 1.11 中将 Blink planner 设置为默认 planner。理论上来说 Blink planner 是 Flink planner 的超集,当然不排除一些边角功能没有覆盖到,如果你有任何相关发现,欢迎在下面的邮件中回复:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Set-default-planner-for-SQL-Client-to-Blink-planner-in-1-10-release-td36379.html

[SQL] Godfreyhe 发起了支持 SQL client gateway(FLIP-91)的讨论。FLIP-91 的目标是在 FLIP-24 的基础上使得 SQL Client 支持 REST/JDBC 接口,提高 Flink SQL 的易用性。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-91-Support-SQL-Client-Gateway-td36349.html

需要注意的一些缺陷

  • [FLINK-15477] [1.9.1] 有用户反馈无法创建 BatchTableEnvironment。

https://issues.apache.org/jira/browse/FLINK-15477

  • [FLINK-15467] [1.9.1] task cancel 阶段没有等待 source 线程发送完全数据。

https://issues.apache.org/jira/browse/FLINK-15467

  • [FLINK-15466] [1.8.3][1.9.1] FlinkAggregateExpandDistinctAggregatesRule 会在执行带有过滤的 distinct aggs 时创建错误的 SQL plan。

https://issues.apache.org/jira/browse/FLINK-15466

  • [FLINK-15463] [1.9.1] 使用 table SQL API 连接 phoenix 时,会遇到 ClassNotFoundException 异常。

https://issues.apache.org/jira/browse/FLINK-15463

中文邮件问题答疑汇总

  • IDEA 默认选择 java 11 profile,导致 IDEA 在 JDK8 下无法编译 Flink。已经获得了相关解决方法:

http://apache-flink.147419.n8.nabble.com/Error-java-add-exports-java-base-sun-net-util-ALL-UNNAMED-td943.html

  • Flink 内存配置相关的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-td1358.html

  • 如何获取一条数据记录的处理时间:

http://apache-flink.147419.n8.nabble.com/-td1380.html

  • StreamTableEnvironment.registerDatastream() 开放用户自定义的 schemaDescriptionh 和 DeserializationSchema:

http://apache-flink.147419.n8.nabble.com/StreamTableEnvironment-registerDatastream-schemaDescriptionh-DeserializationSchema-td1347.html

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程:

  1. 发送任意邮件到 [email protected]
  2. 收到官方确认邮件
  3. 回复该邮件 confirm 即可订阅Flink Weekly | 每周社区动态更新 - 20200107_第1张图片

订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 [email protected] 发邮件提问也可以帮助别人解答问题,动动手测试一下!

Tips:

Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

作者介绍:

唐云(茶干),南京大学硕士,2017 年加入阿里巴巴实时计算事业部,专注 Flink 核心引擎开发,入职以来长期从事 Flink state & Checkpoint 相关研发,目前也积极参与 Flink on K8s 相关软件化输出开发和社区开发推广工作。

你可能感兴趣的:(Flink,实时计算,大数据)