Apache DolphinScheduler 1.3.3 发布，新一代大数据任务调度系统

 

内容简介：新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.3 版本，1.3.3 作为 1.3.x 的 bug 修复版本，本次共修复了 1.3.2 发现的 30 多个bug，其中多数...

本文转载自：https://www.oschina.net/news/120960/apache-dolphinscheduler-1-3-3-released，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有。

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.3 版本，1.3.3 作为 1.3.x 的 bug 修复版本，本次共修复了 1.3.2 发现的 30 多个bug，其中多数bug是测试伙伴在极端环境下发现的。1.3.x 重要的修复需要关注以下 3 个：

 3 个重要修复：

1、现象：在任务执行的 worker 节点上发现异常： Too many open files #3618

原因：

[worker] 由于已完成任务执行但未释放文件句柄，因此将打开太多文件。

[api] 删除流程实例级联删除任务日志时，log client 没有 close

解决:

https://github.com/apache/incubator-dolphinscheduler/pull/3075       https://github.com/apache/incubator-dolphinscheduler/pull/3971

2、现象：当worker向master发送执行结果的时候，master刚好被挂掉，重启master后，工作流及任务状态一直为进行中，且工作流无法停止

原因： master 和 worker 异步交互，通信流程中遇到极端情况出现任务状态丢失问题

解决：

部分环节改为同步，具体修复请参考：https://github.com/apache/incubator-dolphinscheduler/pull/3748

 3、现象：某些网络情况下，master submit task时，无法进行netty通信，task信息发送不到worker，等待很长时间之后，出现time out的异常，然后过一段儿时间就又会出现这种现象。 #3789

解决： 添加master和worker之间的心跳检测   PR #3913

其他 BUG FIX 请参考下列内容：

[ #3615 ] [master] 成功执行任务，但尚未提交下一个任务后，停止 master，工作流将失败
[ #4010 ] [master] 当条件节点失败时，过程状态为在容错后失败
[ #3929 ] [master/worker] 在 master 和 worker 容错之后，在成功执行任务实例后，流程实例失败
[ #3994 ] [Sql] 无法导入 sql/dolphinscheduler_mysql 的SQL文件 .sql
[ #3964 ] [api/ui] sub_process的超时警告未生效
[ #3974 ] [api/worker] 子进程不继承父进程的工作组
[ #3966 ] [master] 超时警告在 sub_process
[ #3958 ] [api]  文件中不生效，不应在以下子目录中成功创建文件授权文件的目录
[ #3618 ] [工作人员] 由于已完成任务执行但未释放文件句柄，因此将打开太多文件。
[ #3615 ] [master] 任务成功执行但下一个任务尚未提交后，停止 master，工作流程将失败。
[ #3843 ] [api] 当更新工作流定义名称已存在时，提示不友好。
[ #3924 ] [ui] 保存工作流程定义时，如果后端验证不成功，则保存弹出窗口将不会关闭。
[ #3789 ] [remote] 支持netty心跳以解决频道超时问题。
[ #3836 ] [api] verifyProcessDefinitionName错误消息
[ #3702 ] [api] 重新上传资源文件不会覆盖原始文件。此按钮无效
[ #3621 ] [master] 批量删除正在执行的流程实例后，master无法获得工作人员的反馈结果
[ #3617 ] [master]子任务容错后，生成了2个任务实例，该流程实例状态始终在执行
[ #3616 ] [master] 主机收到工作人员的结果后，主机就停止了。主 服务器 重新启动后，工作流状态始终在执行
[ #3573 ] [dao] 潜在的水平未经授权的访问
[ #3887 ] [ui] 资源文件列表和UDF列表数据的英文版未显示
[ #3702 ] [api ]重新上传资源文件不会覆盖原始文件。此按钮无效。
[ #3487 ] [API]创建具有多个线程的文件夹将导致多个相同的文件夹
[ #3493 ] [api]工作组管理ui无法显示创建时间和更新时间
[ #3549 ] [Server] [sqlTask​​]查询SQL中的别名列不生效
[ #3719 ] [api] 任务资源可以不可删除
[ #3548 ] [UI] 监控器量表显示空白，具有相同的pid错误
[ #3707 ] [ui] 如果选择，则无法取消工作流定义和工作流实例页面中的批处理删除功能
[ #3553 ] [ui] 编辑工作流程时，所选的连接线没有样式更改，但其他连接线变大
[ #3238 ] [docker] 无法在独立模式下的docker中创建文件夹
[ #3713 ]  [common] catfile方法流未关闭
[ #3258 ] [api] 无法获取创建时间和更新时间，报告DateTimeParseException

除了 Bug 修复外，本次也做了几处功能改进，参考以下内容：
[ #3720 ] [ui] js邮箱验证
[ #3843 ] [api]当更新工作流定义名称已存在时，提示不友好
[ #3131 ] [api]当新租户已存在时，提示不正确

1.3.3 版本经过测试伙伴的大量测试，修复了不少极端情况下可能出现问题的情况，十分推荐大家下载部署 1.3.3 版本

此外，1.3.3 具体变化请参考：https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.3

1.3.3 下载地址：https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

 

Apache DolphinScheduler 社区介绍

Apache DolphinScheduler 是一个非常多样化的社区，至今贡献者已100多名， 他们分别来自 30 多家不同的公司。 微信群用户近4000人。

部分用户案例(排名部分先后)

已经有近 400 多家企业和科研机构在使用 DolphinScheduler，来处理各类调度和定时任务，另有 1200 多家公司开通了海豚调度的试用：

 

Apache DolphinScheduler 能力

• 以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
• 支持丰富的任务类型：Shell、MR、Spark、Flink、SQL(mysql、 postgresql 、hive、sparksql)、 Python 、Http、Sub_Process、Procedure等
• 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
• 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
• 支持工作流全局参数及节点自定义参数设置
• 支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
• 支持任务日志在线查看及滚动、在线下载日志等
• 实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
• 支持对Master/Worker cpu load，memory，cpu在线查看
• 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
• 支持补数
• 支持多租户
• 支持国际化

参与开源 - 加入 Apache DolphinScheduler

DolphinScheduler 社区参与贡献的方式，包括：

• 文档
• 翻译
• 布道
• 答疑
• 测试
• 代码
• 实践文章
• 会议分享等

欢迎加入贡献的队伍，加入开源社区从提交第一个 PR开始

  - 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等)，先通过第一个PR熟悉提交流程，如果有任何疑问，欢迎联系

邮件订阅方式：

https://dolphinscheduler.apache.org/zh-cn/docs/development/subscribe.html

gitee:

https://gitee.com/dolphinscheduler/DolphinScheduler

github：

https://github.com/apache/incubator-dolphinscheduler

官方网站

https://dolphinscheduler.apache.org

最后非常欢迎在线试用 http://106.75.43.194:8888/   ！

 

以上所述就是小编给大家介绍的《Apache DolphinScheduler 1.3.3 发布，新一代大数据任务调度系统》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

本文来源：码农网
本文链接：https://www.codercto.com/a/120191.html