airflow 是啥?
官方网站: https://airflow.apache.org/_api/index.html
Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 来编写的平台上运行。Airflow是通过DAG(Directed acyclic graph)来管理任务流程的任务调度工具,她不需要知道业务数据的具体内容,设置任务的依赖关系实现任务调度。
这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres 和 S3 交互的能力,并且提供了钩子(hook)使得系统拥有很好地扩展性。除了一个命令行界面,该工具还提供了一个基于 Web 的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。
链接:https://www.jianshu.com/p/cd12b4864471
通常的安装都在除Win系统上安装:
安装:
(1) cmd
(2) pip install apache-airflow
问题:
(1) C++ 14.0 is required
处理方法: 下载Visual Studio C++14.0 并安装: 具体的连接: https://download.csdn.net/download/paul19901215/10557660
(2) Faied to build dumb-init
下载官网模块连接: https://pypi.org/project/dumb-init/#files
或者是本人上传的资源: https://download.csdn.net/download/luolang_103/11569400 下载解压并放入\Lib\site-packages中即可
再次运行 pip install apache-airflow
个人建议: 安装前先更新下 pip