调度选得好,下班回家早

调度选得好,下班回家早;
调度用得对,半夜安心睡。

DolphinScheduler(原EasyScheduler)是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,于2019年开源,美国时间2019年8月29日,正式通过顶级开源组织Apache基金会的投票决议,以全票通过的优秀表现正式成为了Apache孵化器项目。

DolphinScheduler社区现已近3000人,中国平安、美团、嘀嗒出行等多家企业已将 Apache DolphinScheduler 应用到了实际场景中。

01 产生背景

每天近万个调度任务,现有开源项目无法满足

在2017年,易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时,受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘,易观的技术团队渴望找到一个具有以下功能的数据调度工具:

易于使用,开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员,无法编写代码的人也可以使用此工具进行ETL操作,例如系统管理员和分析师;解决“复杂任务依赖”问题,并且可以实时监视ETL运行状态;支持多租户;支持许多任务类型:Shell,MR,Spark,Flink,SQL(mysql,postgresql,hive,sparksql,clickhouse等),DataX,Sqoop,Python,Sub_Process,Procedure等;支持HA和线性可扩展性。易观技术团队意识到现有开源项目没有能够达到

你可能感兴趣的:(调度选得好,下班回家早)