windows系统安装airflow模块(一)

airflow 是啥?

官方网站:         https://airflow.apache.org/_api/index.html

Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 来编写的平台上运行。Airflow是通过DAG(Directed acyclic graph)来管理任务流程的任务调度工具,她不需要知道业务数据的具体内容,设置任务的依赖关系实现任务调度。

这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres 和 S3 交互的能力,并且提供了钩子(hook)使得系统拥有很好地扩展性。除了一个命令行界面,该工具还提供了一个基于 Web 的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。
链接:https://www.jianshu.com/p/cd12b4864471

通常的安装都在除Win系统上安装: 

安装: 

(1)  cmd

(2) pip  install  apache-airflow

问题: 

(1)  C++ 14.0 is required

处理方法: 下载Visual Studio C++14.0 并安装:  具体的连接:  https://download.csdn.net/download/paul19901215/10557660

(2)  Faied to build dumb-init

windows系统安装airflow模块(一)_第1张图片

下载官网模块连接:   https://pypi.org/project/dumb-init/#files

或者是本人上传的资源: https://download.csdn.net/download/luolang_103/11569400 下载解压并放入\Lib\site-packages中即可 

再次运行 pip install apache-airflow

个人建议: 安装前先更新下 pip 

你可能感兴趣的:(Python)