Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】

今天,Apache DolphinScheduler 3.2.0 版本在万众期待中终于发布了!在之前的预告中,包括《重磅预告!Apache DolphinScheduler 3.2.0 新功能“剧透”》、《3.2.0 版本预告!Apache DolphinScheduler API 增强相关功能》、《3.2.0 版本预告!远程日志解决 Worker 故障获取不到日志的问题》,以及《3.2.0 终极预告!云原生支持新增 Spark on k8S 支持》文章汇总已经大致覆盖了 3.2.0 版本的全新功能和优化。

现在,来看看新版本的全新“样貌”吧!

Release Note: https://github.com/apache/dolphinscheduler/releases/tag/3.2.0

下载地址: https://dolphinscheduler.apache.org/en-us/download/3.2.0

主要更新包括:

  • 添加默认租户
  • 新增多种数据源
  • 新增任务类型
  • 重跑任务时指定工作流向前、向后运行
  • 增加远程日志功能
  • 参数优化
  • 资源中心
  • 增强页面易用性
  • 云原生支持新增 Spark on k8S 支持
  • 增加了部分 Restful API
  • 注册中心增加 ETCD、JDBC 注册中心
  • 架构优化

添加默认租户

在之前的版本中,用户部署完毕后必须手动添加租户。3.2.0 版本中添加了默认租户,方便用户更直接地使用 Apache DolphinScheduler。

新增多种数据源

新增了多个数据源,如 Snowflake、Databend、Kyuubi、Doris、OceanBase、Dameng、AzureSQL、StarRocks、AWS Athena、,并且更新了部分数据源,如 Redshift 增加 Access key。

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第1张图片

新增任务类型

新增了多个任务类型,包括:

    • 通用模块中,增加 Remote-shell组件、Java Task

    • Cloud 模块中,新增 Amazon DMS、Azure Datafactory、AWS Database Migration,增强与各种云的互联互通

    • 机器学习模块中,新增 Kubeflow组件(基于云原生构建的机器学习任务工具大合集)

    • 其他模块中,增加 AmazonDatasync、Apache Linkis

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第2张图片

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第3张图片

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第4张图片

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第5张图片

并更新了部分任务,如 DataX 支持 Presto,http任务增加output 参数传递,运行批量同时 kill 多个 Yarn 任务:

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第6张图片

Dependent 支持依赖自己:

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第7张图片

支持了 Zeppelin 鉴权;

此外,任务现在可以支持缓存;

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第8张图片

Sqoop 日志支持隐藏密码;

以及 SQL 任务支持默认切割符:

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第9张图片

新增远程日志功能

3.2.0 版本增加了远程日志功能,并同时支持了 Google Cloud Storage、Amazon S3、阿里云 OSS 日志存储,用户可以通过编辑配置文件,把日志存储到云端,解决万一意外情况发生,Woker 日志不存在,用户无法查看日志的问题。

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第10张图片

详情参加《3.2.0 版本预告!远程日志解决 Worker 故障获取不到日志的问题》。

参数优化

  • 增加了项目级别参数
  • 调整参数优先级,启动参数最高
  • 增加了内置参数计算规则

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第11张图片

  • 增加了文件类型的参数

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第12张图片

云原生相关

  • 支持 KEDA 做 worker 自动扩缩容
  • 支持 Terraform 部署到 AWS
  • zk 和 pg 支持多架构
  • 提交 Spark 任务到 Kubernetes(详情见《3.2.0 终极预告!云原生支持新增 Spark on k8S 支持》)
  • 获取 pod 实时日志
  • 自定义 k8s 任务标签

资源中心

增加了 Alibaba Cloud OSS 、Huawei Cloud OBS、Azure Blob Storage的支持,重构资源中心并设计默认使用本地作为存储介质,重新支持了 re-upload。

file

资源中心容许覆盖上传,优化文件路径,显示文件的全部路径。另外,之前版本中资源中心已经上传的同类型文件只能删除后重新上传,新版本中对本功能进行了优化,可以点击上传按钮进行上传。

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第13张图片

支持 reupload 文件

API 增强

3.2.0 版本中,增加了部分 Restful API,包括 taskInstance、workflow state、workflowInstance、workflow and schedule、task relation,且API 触发工作流运行可以获得 instance ID,从而使得 Apache DolphinScheduler 的 API 能力得到显著增强。

详情参见:《3.2.0 版本预告!Apache DolphinScheduler API 增强相关功能》

增加页面易用性

3.2.0 增加了页面易用性和便利性,如增加 workflow instance 跳转到当前工作流、复制工作流名称、调整列宽等操作。

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第14张图片

跳转到工作流实例

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第15张图片

复制工作流名称

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第16张图片

调整列表名称宽度

默认情况下会有 default 租户和本地资源中心,安装后就能使用。

file

默认租户

允许在 workflow instance 中重新运行任务,任务运行日志更加明确。

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第17张图片

可以重新运行任务
json 导出可阅读性加强。

Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】_第18张图片

注册中心

增加了 ETCD、JDBC 注册中心。

架构

  • Alert 支持 HA
  • 单线程更新 Kerberos
  • Worker server 移除了 dao 依赖
  • 接管 task instance 失败的任务
  • 增加动态任务组配置
  • 重构了逻辑任务和远程命令
  • 资源限制(cpu 内存)从原来绝对值改成百分比
  • 支持了 SSO

其中,支持了 SSO 后,用户可以通过 Casdoor 实现 SSO 登录。Casdoor 是基于 OAuth 2.0、OIDC、SAML 和 CAS 的面向 UI 的身份访问管理(IAM)/单点登录(SSO)平台,需要先部署 Casdoor 并获取 `Client ID` 和 `Client secret` 两个字段,再修改 dolphinscheduler-api/src/main/resources/application.yaml 文件配置 SSO。

可以通过以下步骤通过 Casdoor 为 Apache Dolphinscheduler 添加 SSO 功能:

security:
  authentication:
    # Authentication types (supported types: PASSWORD,LDAP,CASDOOR_SSO)
    type: CASDOOR_SSO
casdoor:
  # Your Casdoor server url
  endpoint:
  client-id:
  client-secret:
  # The certificate may be multi-line, you can use `|-` for ease
  certificate: 
  # Your organization name added in Casdoor
  organization-name:
  # Your application name added in Casdoor
  application-name:
  # Doplhinscheduler login url
  redirect-url: http://localhost:5173/login 

贡献者列表

感谢@zhongjiajie对此次发版的指导,以及下列贡献者的支持:

106umao, Abingcbc, AliceXiaoLu, BongBongBang, CallMeKingsley97, Chris-Arith, DarkAssassinator, EricGao888, EricPyZhou, FlechazoW, Gallardot, GavinGYM, IT-Kwj, LiXuemin, LucasClt, Mukvin, NoSuchField, Orange-Summer, QuantumXiecao, Radeity, Rianico, SYSU-Coder, SbloodyS, Tianqi-Dotes, TyrantLucifer, ZhongJinHacker, Zzih, ahuljh, alei1206, alextinng, amaoisnb, arlendp, baihongbin, bmk15897, boy-xiaozhang, c3Vu, caishunfeng, calvinjiang, darrkz, davidzollo, dddyszy, devosend, ediconss, eye-gu, fengjian1129, fuchanghai, guowei-su, haibingtown, hantmac, hdygxsj, hezean, hiSandog, hoey94, hstdream, huage1994, imizao, insist777, iuhoay, jackfanwan, jbampton, jieguangzhou, kezhenxu94, kingbabingge, labbomb, lenian, ly109974, lynn-illumio, moonkop, muggleChen, pandong2011, pppppjcc, qianli2022, qindongliang, qingwli, rickchengx, ruanwenjun, sandiegoe, seedscoder, shangeyao, shenyun, simsicon, sketchmind, stalary, tracehh, whhe, xdu-chenrj, xiaomin0322, xinxingi, xuchunlai, xxjingcd, yeahhhz, youzipi, zhangfane, zhangkuantian, zhaohehuhu,zhoufanglu, zhuangchong, zhutong6688, zhuxt2015, zzzhangqi 本文由 白鲸开源科技 提供发布支持!

你可能感兴趣的:(大数据)