Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型

Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型_第1张图片

导读:近日,Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复,并引入了部分的功能,如支持 FlinkSQL 任务类型,新增 Zeppelin 任务类型,新增 Kubernetes namespace 管理功能,以及通过 bash 传参功能等,具体更新详见下文。

01

新功能

支持 FlinkSQL 任务类型

在该版本中,我们扩展了 Flink 任务类型,使其支持运行 Flink SQL 任务,其使用 sql-client.sh 提交任务。

更多详情查看:

flink sql client](https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sqlclient/) 

对应 PR:9840

【链接】

https://github.com/apache/dolphinscheduler/pull/9840

Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型_第2张图片

新增 Zeppelin 任务类型

在该版本中,我们增加了 Zeppelin 任务类型,用于创建并执行 Zeppelin 类型任务。Worker 执行该任务时,会通过 Zeppelin Cient API 触发 Zeppelin Notebook 段落。

PR:9810

【链接】

https://github.com/apache/dolphinscheduler/pull/9810

Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型_第3张图片

新增 Kubernetes namespace 管理

该版本新增了 kubernetes namespace 管理功能,允许用户在 Apache  DolphinScheduler 中管理 Kubernetes 的 namespace。 

PR:9303

【链接】:

https://github.com/apache/dolphinscheduler/pull/9303

Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型_第4张图片

新增通过shell组件获取本地参数

新版本还新增了通过 bash 传参的功能,如果你想在下游任务中使用 bash 变量而不是常量值 export 参数,你可以在通过 setValue 和 Bash 变量实现,它更加灵活,可以让你动态地获取现有的本地或 HTTP 资源 获取设定变量。

可以使用类似的语法:

lines_num=$(wget https://raw.githubusercontent.com/apache/dolphinscheduler/dev/README.md -q -O - | wc -l | xargs)echo "#{setValue(set_val_var=${lines_num})}"

Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型_第5张图片

PR:9586

【链接】

https://github.com/apache/dolphinscheduler/pull/9586

允许用户上传没有后缀的文件

之前资源中心只能上传有后缀的文件,在 3.0.0-beta-1 版本后,我们支持用户上传没有后缀的文件。

02

Bug Fix

  • 3.0.0-alpha 各个部署方式出现的问题

  • 任务组为空时页面报错问题

  • treemap 视图深度错误问题

  • 告警信息不明确问题:告警组为空时报错信息不明确,批量删除工作流有异常时报错信息不明确,租户内容错长的错误提示,删除

  • 参数校验问题:数据源中心的参数校验问题,修改密码时密码不一致提示,发告警前校验 alert script

  • Python api:不能设置 release state 问题,本地参数有值但是校验失败问题

  • token 查询不遵循时区问题

  • 修复 HTTPS 和 HTTP 字符串识别问题

  • 修复 alert server 健康监测失效问题

  • 修复 condition 任务分支失败问题

  • 修复 docker 镜像不支持多平台问题

  • 修复带有任务组优先级的工作流创建时不能正确写数据库的问题

  • master 任务的失效问题

  • 修复串行等待不运行的问题

  • 时区问题:调度时区错误问题,日志增加时区支持

  • 重新运行、暂停工作流实例失败问题

  • 资源中心实例化失败问题

03

文档修改

  • 更正部署文档

  • 修复、更新部分使用文档:WebexTeams 中文文档,本地参数、全局参数文档,Kubernetes FAQ 文档,Spark 注意事项文档,DataX 使用文档,删除 Flink API 文档,修复 open-api 的错误,修复数据质量中的错误文档;新增 stand-alone 切换数据库文档;新增 shell 中判断 Yarn 运行状态文档;新增更新系统截图

  • 更正部分开发文档:明确支持的操作系统,修复开发环境搭建文档,新增自己构建 docker 镜像文档

04

具体修改

可以在:https://github.com/apache/dolphinscheduler/releases/tag/3.0.0-beta-1 中找到全部修改记录。

05

感谢 3.0.0-beta-1 版本贡献者

Amy0104, BaoLiang, caishunfeng, calvin, chuxing, czeming, Dannila, Devosend, Eric Gao, exmy, gaojun2048, guoshupei, HeChuan, hstdream, jiachuan.zhu, Jiajie Zhong, JinYong Li, Kerwin, kezhenxu94, labbomb, leiwingqueen, lidongdai, litiliu, LongJGun, longtb, Lyle Shaw, mans2singh, mazhong, Mr.An, naziD, nobolity, Paul Zhang, PJ Fanning, qianli2022, QuakeWang, rockfang, songjianet, sparklezzz, sq-q, Town, Tq, WangJPLeo, wangyang, worry, wqxs, xiangzihao, yimaixinchen, youzipi, zhuxt2015, zixi0825, 陈家名, 陈爽, 旺阳

参与贡献

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

7665ae5a3e73c39aeabe3111c572f07a.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

b969cfda96df22bba2ded6714dda8e7a.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

更多精彩推荐

☞恭喜!Apache DolphinScheduler社区再添9枚“新鲜”Committer

☞达人专栏 | 还不会用 Apache Dolphinscheduler?大佬用时一个月写出的最全入门教程【二】

☞Apache Dolphinscheduler 5月Meetup:6个月重构大数据平台,帮你避开调度升级改造/集群迁移踩过的坑

☞金融任务实例实时、离线跑批,Apache DolphinScheduler 在新网银行的三大应用场景与五大优化

☞中国联通改造 Apache DolphinScheduler 资源中心,实现计费环境跨集群调用与数据脚本一站式访问

☞又是一年开源之夏,八大课题项目奖金等你来拿!

我知道你在看

Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型_第6张图片

你可能感兴趣的:(java,docker,python,大数据,小程序)