01 Apache Airflow 2.0+ 官方文档导读 各部分内容简介

---- 文章中出现任何问题或描述不清楚的地方请不吝指出,大家共同交流,一起进步!----

(二) 各部分内容简介

接着我将围绕者文档目录结构,逐篇的对文档进行简要说明。

1. Home

主页对Airflow对功能及其特性做了概要性对描述

关于Airflow是什么,给出了明确对定义:

Airflow is a platform to programmatically author, schedule and monitor workflows.(Airflow是一个可以通过编程来编写,调度及监控工作流的一个平台)

使用编程方式编写工作流的主要优势在于:

When workflows are defined as code, they become more maintainable, versionable, testable, and collaborative. (将工作流定义为代码时,它们将变得更加可维护,可版本控制,可测试和协作。)

Airflow遵循的主要原则有:

  • Dynamic (动态)

Airflow是用python代码定义的,这样使得其可以动态的生成工作流。

  • Extensible (可扩展)

轻松定义自己的Opertor,执行程序并扩展库,使其适合于您的环境的抽象级别。

  • Elegant (优雅)

Airflow 的流水线是精简的。 其使用功能强大的Jinja模板引擎,将脚本参数化内置到Airflow的核心中。

  • Scalable (可伸缩)

Airflow具有模块化架构,并使用消息队列来安排任意数量的worker节点。 Airflow已准备好扩展到无限大的节点。

Airflow并不是用作实时计算的引擎,其功能与现有的Oozie/Azkaban/Lugi类似。Airflow中的DAG结构大多数是不变化或很少变化的。

2. Project

这部分讲来Airflow项目的由来,其进入Apache项目并成为Apache顶级项目的历程,然后列出了主要参与Airflow开发的Commiters,最后列出了Airflow的主要资源(文档,社区邮件,github issues, slack 频道及AIP)。

3. License

这部分是列出其所遵循的Apache开源协议,其中包括角色定义及相关所有的权益和要遵守的章程信息。

4. Quick Start

 

5. Installation

 

6. Upgrading to Airflow 2.0+

 

7. Upgrade Check Script

 

8. Tutorial

 

9. Tutorial on The Taskflow API

 

10. How-to Guides

 

11. UI / Screenshorts

 

12. Concepts

 

13. DAG Runs

 

14. Plugins

 

15. Security

 

16. Logging & Monitoring

 

17. Time Zones

 

18. Using the CLI

 

19. Integration

 

20. Kubernetes

 

21. Lineage

 

22. DAG Deserialization

 

23. Modules Management

 

24. Smart Sensor

 

25. Changelog

 

26. Best Practices

 

27. Production Deployment

 

28. Backport Providers

 

29. FAQ

 

30. Privacy Notice

 

31. Operators and hooks

 

32. CLI

 

33. Macros

 

34. Python API

 

35. Experimental API

 

36. Stable Rest API

 

37. Configurations

 

38. Extra Packages

 

更多关于Apache Airflow的文章,请查看 Apache Airflow系列文章。

若在实践中遇到什么问题的话,欢迎大家加入Apache Airflow 技术交流群进行讨论.

01 Apache Airflow 2.0+ 官方文档导读 各部分内容简介_第1张图片

或者加入QQ群 704721809。

你可能感兴趣的:(Apache,Airflow,大数据,大数据组件,Apache,Airflow,大数据)