Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统

​Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版,发布内容如下:

新特性:

  • [#1497] 通过 API 创建的工作流在前端展示时自动调整布局。
  • [#747] Worker server 运行日志脱敏。
  • [#1635] 配置文件适当合并。
  • [#1547] 节点内容编辑支持全屏缩放。

增强:

  • [#184] 被工作流引用的 worker 不能被删除。
  • [#1441] 可创建包含 "." 的用户名。
  • [#839] 可切换 Spark 版本。
  • [#1511] 前后端编译文件合并。
  • [#1509] 去除 Master 和 Worker 监听端口(5566,7788)。
  • [#1575] 去除 kazoo ,简化部署。
  • [#1300] 邮件内容可右对齐。
  • [#1599] 增加前端部署的 nginx 配置文件。
  • 支持 Mac 进行开发和 debug。

Bug 修复:

  • 特定情况下弹出框不能关闭。
  • [#1399] 日志信息中字段顺序错误。
  • [#1379] sql 任务节点日期转换错误。
  • [#1477] 特定情况下,数据库延迟的时候,任务会一直执行。
  • [#1514] 队列关联用户后修改队列信息,新修改的队列信息未保存到数据库。
  • [#1768] 用户管理分页错误。
  • [#1770] 用户取消租户关联后,仍能使用原租户 hdfs 的资源。
  • [#1779] 子进程失败后仍显示成功。
  • [#1789] 通过任务实例页面查看任务执行历史显示错误。
  • [#1810] 特定情况下,依赖节点不显示具体依赖。
  • [#1816] 添加多个依赖后,再添加新的依赖时,依赖列表读取错误。
  • [#1828] UDF 授权后,UDF 文件路径授权错误。

更多发布信息可移步:

https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.2.1

近期社区也收到了来自社区贡献者的诸多新特性贡献,比如 DataX , Sqoop 数据同步、条件判断任务类型; DolphinScheduler 的 Ambari 插件化部署等等新功能,预计不久后就会发布。


DolphinScheduler设计特点:

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化

在线 DEMO 试用: http://106.75.43.194:8888/

系统部分截图

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统_第1张图片

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统_第2张图片

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统_第3张图片

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统_第4张图片

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统_第5张图片

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统_第6张图片

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统_第7张图片

在用公司(部分统计,Wanted: who's using DolphinScheduler)

已经有大量知名企业和科研机构在使用 Apache DolphinScheduler,来处理各类调度和定时任务:

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统_第8张图片

加入 Apache DolphinScheduler

在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。

发送订阅邮件也非常简单,步骤如下:

1. 用自己的邮箱向 [email protected] 发送一封邮件,主题和内容任意。

2. 接收确认邮件并回复。 完成步骤1后,您将收到一封来自[email protected] 的确认邮件(如未收到,请确认邮件是否被自动归入垃圾邮件、推广邮件、订阅邮件等文件夹)。然后直接回复该邮件,或点击邮件里的链接快捷回复即可,主题和内容任意。

接收欢迎邮件。 完成以上步骤后,您会收到一封主题为WELCOME to [email protected]的欢迎邮件,至此您已成功订阅Apache DolphinScheduler(Incubating)的邮件列表。

强烈推荐订阅开发邮件列表,与社区保持最新信息同步,这一点非常重要。

 

你可能感兴趣的:(大数据实战系列)