1 Airflow简介

1. 定义

Airflow是一个可编程、调度和监控的工作流平台。

Airflow用户可以定义一组有依赖关系的任务，即邮箱无环图（DAG），按照依赖依次执行。

Airflow提供了丰富的命令行和强大的Web UI，可以方便地管控调度任务以及实时监控运行状态。

2. 竞品对比

2.1. Linux Crontab

免费，但只能满足最基本需求

2.2. 商业软件

3. ETL痛点

• 日益增加的数据量
• 快速排查任务失败的原因
• 每个新工具都要重新学习新的配置规范
• 重试，监控，报警
• 敏捷高效地开发以满足业务需求
• 不均衡的数据峰值
  ——数据工程师害怕on call
  （ETL = Extract Transform and Load）

4. 特点

Reference:
【Airflow从零到神】01- Airflow简介_哔哩哔哩_bilibili