本地搭建Airflow调度平台

简介

airflow是一款开源的，分布式任务调度框架，它将一个具有上下级依赖关系的工作流，组装成一个有向无环图。

安装步骤

1. 创建运行目录

mkdir airflow_leanring && cd airflow_learning

2. 创建python环境，并启动

sudo pip3 install virtualenv
virtualenv -p python3 airflow_venv
source airflow_venv/bin/activate

3. 安装airflow

sudo pip3 install apache-airflow

4. 创建配置文件和元数据存储目录

mkdir airflow && cd airflow

5. 设置环境变量

export AIRFLOW_HOME=/Users/dengpengfei/airflow_leanring/airflow

6. 返回上一级目录，初始化元数据

cd ../
airflow db init

7. Mac下使用Ctrl+T打开新window

cd ~/airflow_leanring
source airflow_venv/bin/activate
export AIRFLOW_HOME=/Users/dengpengfei/airflow_leanring/airflow

8. 启动airflow scheduler

airflow scheduler

9. 返回上一个window启动airflow webserver

airflow webserver

10. 创建登陆账号

airflow users create -r Admin -u admin -e [email protected] -f admin -l user -p admin

11. airflow默认使用8080端口，登陆查看

    
    
    airflow dashboard

结

airflow作为一款分布式调度平台，在大数据数据生产环境应用广泛。