Airflow大揭秘:如何让大数据任务调度变得简单高效?

介绍:Airflow是一个开源的、用于创建、调度和监控数据管道的工作流平台。这个平台使用Python编写,并通过有向无环图(Directed Acyclic Graph, DAG)来管理任务流程,使得用户不需要知道业务数据的具体内容,只需设置任务之间的依赖关系,即可实现任务的自动调度。
在具体应用中,例如"吃包子流",从购买原材料到制作、蒸煮、上盘乃至食用,这一系列的过程就构成了一个“吃包子流”,也就是一个工作流程。Airflow能够与多种数据源进行交互,包括Hive、Presto、MySQL、HDFS、Postgres等,这使得其具有广泛的应用场景。

1、Airflow官方网站

网址:https://airflow.apache.org/

1.1 介绍

Airflow大揭秘:如何让大数据任务调度变得简单高效?_第1张图片
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第2张图片
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第3张图片

1.2 学习文档

Airflow大揭秘:如何让大数据任务调度变得简单高效?_第4张图片
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第5张图片

2、Airflow 1.10.2 中文文档

网址:https://airflow.apachecn.org/zh/profiling/

2.1 介绍

Airflow大揭秘:如何让大数据任务调度变得简单高效?_第6张图片
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第7张图片

2.2 数据分析

Airflow大揭秘:如何让大数据任务调度变得简单高效?_第8张图片

3、segmentfault网站

网址:https://segmentfault.com/a/1190000039923621

3.1 学习文档

Airflow大揭秘:如何让大数据任务调度变得简单高效?_第9张图片
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第10张图片

3.2 学习文档

Airflow大揭秘:如何让大数据任务调度变得简单高效?_第11张图片
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第12张图片
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第13张图片

4、学习视频推荐

1、尚硅谷大数据Airflow教程(airflow安装/部署/优化/案例)
网址:https://www.bilibili.com/video/BV1914y1M7u6/?spm_id_from=333.337.search-card.all.click&vd_source=849186cc0cbe77dd51dcd8d1dc63a69b
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第14张图片
Airflow大揭秘:如何让大数据任务调度变得简单高效?_第15张图片
以上就是个人觉得不错的学习网站,希望能帮到学习大数据的人!

你可能感兴趣的:(学习心得体会,大数据,大数据,学习,流程图)