调度神器airflow-安装

什么是airflow

Airflow是Airbnb开发的用于管理工作流的开源项目，自带ui和调度，目前已成为Apache顶级项目。
airflow将调度任务构建成一个DAG，相比于azkaban利用压缩包zip，oozie用xml来编写任务依赖，airflow选择用python来灵活地编写任务以及其依赖。
airflow内置了很多operator，如果内置的operator无法满足要求，用户可以自定义operator来实现特有的功能。

本文将以以下几个方面，来进行airflow的安装：

• airflow架构
• 安装准备
• 配置
• 启动
• 问题

项目地址：airflow.apache.org

airflow架构

airflow中有webserver、scheduler、worker、flower几个组建，之间关系如下：

引自https://segmentfault.com/a/1190000012803744

安装准备

airflow是使用python进行编写的，所以环境中需要安装python，且python必须大于2.7，推荐3.x。
airflow各组件之间无强关联，可以单独安装和启动。

• 安装python（略）
• 安装mysql（略），默认使用的是sqlite，推荐使用mysql。
• 安装rabbitmq（略），本文使用redis，官方推荐使用rabbitmq

在需要安装的airflow的节点上使用[pip install airflow]安装

配置

第一次安装完成后，需要进行初始化数据库，使用命令：airflow initdb来进行数据库初始化。
初始化数据完成后，默认会在当前用户目录下创建一个airflow目录，里面有airflow的配置文件和默认的sqlite数据文件。位置信息全部都在${USER_HOME}/airflow/airflow.cfg文件中。
下面将修改主要配置信息：

• default_timezone： 时区，建议修改为Asia/Shanghai
• executor：执行的Executor，在生产环境建议修改为CeleryExecutor
• sql_alchemy_conn：元数据管理，默认使用的是sqlite，生产环境建议修改为mysql，如：mysql://airflow:[email protected]:3306/airflow
• broker_url：Celery broker的地址，如果设置CeleryExecutor则需要修改为rabbitmq或者redis的地址， redis://192.168.1.100:6379/0

修改好配置后

1. 首先在mysql中创建airflow数据库、airflow用户，并为airflow赋予操作airflow的权限，并允许远程登录。
2. 启动redis-server
3. 再次使用airflow initdb来进行初始化，在此过程中可能会遇到问题，我们后面讲解如何解决问题。

启动

• airflow webserver：启动airflow的webserver
• airflow scheduler：启动airflow的scheduler
• airflow worker：启动airflow的worker，如果不是CeleryExecutor，可以不用启动Worker。
  启动后就可以在输入http://host:port看到就可以看到如下界面了
  
  

  airflow首页

问题

• 初始化时，出现

  
  
  

  初始化出现-1
  
  

  这种这种情况是因为mysql启动时没有指定explicit_defaults_for_timestamp=1，在/etc/my.cnf中进行指定后重启mysql即可。

• 初始化时出现‘ImportError: No module named MySQLdb’
  这是因为没有安装mysql-python，使用yum install MySQL-python进行安装。
• 初始化时，出现无效时间，2019-04-19 13:20:45000 +00:00
  这是因为mysql的sql_mode参数问题，有些mysql中没有问题（具体原因不知道，还在查），将sql_mode修改为sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
  修改后，对于timestamp字段进行存储时，日志中会出现被截断的日志信息，但不影响正常使用。