Airflow 1.8 工作流平台搭建

Airflow 是Airbnb公司开源的，是用 Python 实现的任务管理、调度、监控工作流的平台。因依调度赖于 crontab ，Airflow 目前只支持在安装在 Linux 系统平台。Airflow 可以用做 data pipeline（ETL）、 消息队列等监控。

Mysql数据库安装（将作为元数据库）：

# yum install gcc libffi-devel python-devel openssl-devel

# 创建相关数据库及账号
mysql> create database airflow default charset utf8 collate utf8_general_ci;
mysql> create user airflow@'localhost' identified by 'airflow';
mysql> grant all on airflow.* to airflow@'localhost';
mysql> flush privileges;

Airflow 安装配置：

# 配置 airflow 的 home 目录
> mkdir -p /usr/local/airflow/{dags,logs,plugins}

# echo "export AIRFLOW_HOME=/usr/local/airflow" >> /etc/profile
> source /etc/profile

# 安装 airflow
> pip install airflow

# 配置元数据库
> vi /usr/local/airflow/airflow.cfg
# dialect+driver://username:password@host:port/database
sql_alchemy_conn = mysql://airflow:airflow@localhost:3306/airflow

# 注意：使用的mysql socket路径为：socket=/var/lib/mysql/mysql.sock


# 初始化元数据库连接（默认sqlite）
> airflow initdb

# 启动web服务（不指定端口时默认端口:8080）
> airflow webserver -p 8080

# 添加防火墙规则或停止防火墙
> systemctl stop firewalld.service

# 远程打开管理窗口
http://192.168.40.10:8080/admin/

Airflow 服务管理：

# 安装进程管理工具Supervisord管理airflow进程
> easy_install supervisor
> echo_supervisord_conf > /etc/supervisord.conf

# 编辑文件supervisord.conf，添加启动命令
> vi /etc/supervisord.conf

[program:airflow_web]
command=/usr/bin/airflow webserver -p 8080

[program:airflow_scheduler]
command=/usr/bin/airflow scheduler


# 启动supervisord服务
/usr/bin/supervisord -c /etc/supervisord.conf

#此时可以用 supervisorctl 来管理airflow服务了
supervisorctl start airflow_web
supervisorctl stop airflow_web
supervisorctl restart airflow_web
supervisorctl stop all

安全认证

# 添加密码模块
> pip install airflow[password]

# 启用访问认证
> vim /usr/local/airflow/airflow.cfg
[webserver]
authenticate = true
auth_backend = airflow.contrib.auth.backends.password_auth

# 在 python 中执行添加账户：
import airflow
from airflow import models, settings
from airflow.contrib.auth.backends.password_auth import PasswordUser
user = PasswordUser(models.User())
user.username = 'afuser'
user.email = '[email protected]'
user.password = 'afuser'
session = settings.Session()
session.add(user)
session.commit()
session.close()
exit()

# 重启 airflow_web 服务
> supervisorctl restart airflow_web

官方文档：http://airflow.apache.org/project.html