Airflow来管理数据工作流

使用Airbnb的Airflow来管理数据工作流 - 推酷
http://www.tuicool.com/articles/JzIFNn

InfoQ：拿Airflow与Azkaban (LinkedIn)、 Luigui (Spotify) 和 Oozie (Yahoo) 这些比较结果会是怎样?

Maxime:

一个关键的区别是，Airflow管道被定义为代码（相较于Oozie和Azkaban被定义为标记语言），并且任务是被动态实例化的（而不是像Luigi是由派生类创建任务）。这使得Airflow成为动态管道生产的最佳解决方案，Airflow可以被用作“分析作为一种服务”、“分析自动化”和计算框架这样强大的概念。Airflow包括我们的A/B测试框架、一个异常检测框架、一个聚合框架和其他框架组成了上述概念的一个范例。

---

Airflow与Azkaban (LinkedIn)、 Luigui (Spotify) 和 Oozie (Yahoo) 这些比较结果会是怎样?

Airbnb 最近在Apache许可证下开源了它自己的数据工作流管理框架 Airflow 。Airflow被Airbnb内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。
Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流（即有向无环图或成为DAGs）的工具。在Airbnb中，这些工作流包括了如数据存储、增长分析、Email发送、A/B测试等等这些跨越多部门的用例。

Airflow与Azkaban (LinkedIn)、 Luigui (Spotify) 和 Oozie (Yahoo) 这些比较结果会是怎样?

Airflow将成文DAG调度领域的强力竞争者，