分布式任务调度系统Akkaflow介绍

akkaflow

简介

akkaflow是一个基于akka架构上构建的分布式高可用ETL工作流调度工具,可以把任务分发在集群中不同的节点上并行执行,高效利用集群资源,支持时间及任务混合触发;提供多种节点类型。其中工作流由xml文件,并且提供一套完整的基于Shell的操作命令集,简洁易用,长期稳定运行,可作为构建数据仓库、或大数据平台上的调度工具。
用户提交的xml工作流定义文件,满足触发条件后,系统会触发执行工作流;实例运行产生的各类数据将被记录并提供用户查看与进一步操作,其中

  • 简单的前端操作页面详见演示地址,演示账号密码分别为admin/admin,机器配置为(1内核,1G内存)
  • 工作流定义文档详见这里 ,目前支持行动节点类型有以下,可进一步扩展功能
行动节点类型 节点功能简述
sql执行节点,目前支持Hive、Mysql、Oracle、Impala数据库。
数据传输节点,目前支持Mysql、Oracle、Hive、本地文件、hdfs文件之间的数据行传输。
元数据配置节点(库表注释配置),可通过血缘表自动配置目标表元数据,亦可显式配置。

你可能感兴趣的:(分布式任务调度系统Akkaflow介绍)