5.2.2 电商离线数仓项目实战 【下】（任务调度系统Airflow）

电商离线数仓项目实战 【下】

---

---

第二部分 任务调度系统Airflow

第1节 Airflow简介

Airflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015
年春季开源，2016 年加入 Apache 软件基金会的孵化计划。

Airflow将一个工作流制定为一组任务的有向无环图（DAG），并指派到一组计算节
点上，根据相互之间的依赖关系，有序执行。Airflow 有以下优势：

• 灵活易用。Airflow 是 Python 编写的，工作流的定义也使用 Python 编写；
• 功能强大。支持多种不同类型的作业，可自定义不同类型的作业。如 Shell、Python、Mysql、Oracle、Hive等；
• 简洁优雅。作业的定义简单明了；
• 易扩展。提供各种基类供扩展，有多种执行器可供选择；

1.1、体系架构

Webserver 守护进程。接受 HTTP 请求，通过 Python Flask Web 应用程序与
airflow 进行交互。Webserver 提供功能的功能包括：中止、恢复、触发任务；监控
正在运行的任务，断点续跑任务；查询任务的状态，日志等详细信息。

Scheduler 守护进程。周期性地轮询任务的调度计划，以确定是否触发任务执行。

Worker 守护进程。Worker负责启动机器上的executor来执行任务。使用
celeryExecutor后可以在多个机器上部署worker服务。

1.2、重要概念

DAG（Directed Acyclic Graph）有向无环图

• 在Airflow中，一个DAG定义了一个完整的作业。同一个DAG中的所有Task拥有
  相同的调度时间。
• 参数：
  • dag_id：唯一识别DAG
  • default_args：默认参数，如果当前DAG实例的作业没有配置相应参数，则
    采用DAG实例的default_args中的相应参数
  • schedule_interval：配置DAG的执行周期，可采用crontab语法

Task

• Task为DAG中具体的作业任务，依赖于DAG，必须存在于某个DAG中。Task在
  DAG中可以配置依赖关系
• 参数：
  • dag：当前作业属于相应DAG
  • task_id：任务标识符
  • owner：任务的拥有者
  • start_date：任务的开始时间

第2节 Airflow安装部署

2.1、安装依赖

• CentOS 7.X
• Python 3.5或以上版本（推荐）
• MySQL 5.7.x
• Apache-Airflow 1.10.11
• 虚拟机可上网，需在线安装包

备注：后面要安装的三个软件Airflow、Atlas、Griffin，相对Hadoop的安装都较为
复杂

• 正式安装软件之前给虚拟机做一个快照
• 按照讲义中指定的软件安装
• 按照讲义的步骤执行对应的命令，命令的遗漏会对后面的安装造成影响

Airflow 视频录制的时候选择的是最新版本，现在Airflow版本升级了，讲义中的安装
步骤适合Airflow 1.10.11。
请注意以下两条命令：

-- 下载的时候指定 airflow 的版本
pip install apache-airflow==1.10.11 -i
https://pypi.douban.com/simple
-- 下载的时候指定 mysqlclient 的版本
pip install mysqlclient==1.4.6

2.2、Python环境准备

备注：提前下载 Python-3.6.6.tgz
备注：使用linux122安装(没有安装MySQL机器的)

# 卸载 mariadb
rpm -qa | grep mariadb
#查看是否有下面者三个
mariadb-libs-5.5.65-1.el7.x86_64
mariadb-5.5.65-1.el7.x86_64
mariadb-devel-5.5.65-1.el7.x86_64
# 卸载上面三个
yum remove mariadb
yum remove mariadb-libs

# 安装依赖mysql57-community-release-el7-11.noarch.rpm（这个依赖在/opt/lagou/software/ 目录下）
[root@linux122 ~]# cd /opt/lagou/software/
[root@linux122 software]# rpm -ivh mysql57-community-release-el7-11.noarch.rpm

#依次执行下面命令
yum install readline readline-devel -y
yum install gcc -y
yum install zlib* -y
yum install openssl openssl-devel -y
yum install sqlite-devel -y
yum install python-devel mysql-devel -y

# 提前到python官网下载好包 
cd /opt/lagou/software 
tar -zxvf Python-3.6.6.tgz

# 安装 python3 运行环境
cd Python-3.6.6/
# configure文件是一个可执行的脚本文件。如果配置了--prefix，安装后的所有资源文件都会放在目录中
# 依次执行下面命令
[root@linux122 Python-3.6.6]# ./configure --prefix=/usr/local/python3.6
[root@linux122 Python-3.6.6]# make && make install
[root@linux122 Python-3.6.6]# /usr/local/python3.6/bin/pip3 install virtualenv

# 启动 python3 环境
cd /usr/local/python3.6/bin/
[root@linux122 bin]# ./virtualenv env
[root@linux122 bin]# . env/bin/activate
# 检查 python 版本
python -V

附：警告：mysql57-community-release-el7-11.noarch.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY 解决方法

原因：这是由于yum安装了旧版本的GPG keys造成的
解决办法：后面加上：--force --nodeps

rpm -ivh mysql57-community-release-el7-11.noarch.rpm --force --nodeps

还有如上提示：
引用

rpm --import /etc/pki/rpm-gpg/RPM*

再次安装就不会有警告了

2.3、安装Airflow

# 设置目录（配置文件）
# 添加到配置文件/etc/profile。未设置是缺省值为 ~/airflow
export AIRFLOW_HOME=/opt/lagou/servers/airflow
# 使用豆瓣源非常快。-i: 指定库的安装源（可选选项） 
pip install apache-airflow -i https://pypi.douban.com/simple
# 备注：可设置安装的版本【不用执行】
pip install apache-airflow==1.10.11 -i https://pypi.douban.com/simple

备注：

• apache-airflow==1.10.11，需要指定安装的版本，重要！！！
• 软件安装路径在$AIRFLOW_HOME（缺省为~/airflow），此时目录不存在
• 安装的是版本是1.10.11，不指定下载源时下载过程非常慢

2.4、创建数据库用户并授权

-- 创建数据库
create database airflowlinux122;
-- 创建用户airflow，设置所有ip均可以访问
create user 'airflow'@'%' identified by '12345678';
create user 'airflow'@'localhost' identified by '12345678';
-- 用户授权，为新建的airflow用户授予Airflow库的所有权限
grant all on airflowlinux122.* to 'airflow'@'%';
SET GLOBAL explicit_defaults_for_timestamp = 1;
flush privileges;

创建用户报如下错误解决见：https://blog.csdn.net/calistom/article/details/87939956
mysql> create user ‘airflow’@’%’ identified by ‘12345678’;
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

2.5、修改Airflow DB配置

# python3 环境中执行 （linux122)
cd /opt/lagou/servers
[root@linux122 servers]# pip install mysqlclient==1.4.6
[root@linux122 servers]# airflow initdb

airflow initdb 报错待解决

(env) [root@linux122 servers]# sqlite3 --version
3.7.17 2013-05-20 00:56:22 118a3b35693b134d56ebd780123b7fd6f1497668
(env) [root@linux122 servers]# python3
Python 3.6.6 (default, Apr 11 2021, 14:39:02) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sqlite3
>>> sqlite3.sqlite_version
'3.7.17'
>>> 

参照：解决SQLite3版本太低
备注：

• mysqlclient==1.4.6，需要指定安装的版本，重要！！！
• 有可能在安装完Airflow找不到 $AIRFLOW_HOME/airflow.cfg 文件，执行完airflow initdb才会在对应的位置找到该文件。

修改 $AIRFLOW_HOME/airflow.cfg：

# 约 75 行
sql_alchemy_conn =mysql://airflow:12345678@linux123:3306/airflowlinux122
# 重新执行
airflow initdb

可能出现的错误：Exception: Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql

SET GLOBAL explicit_defaults_for_timestamp = 1; 
FLUSH PRIVILEGES;

2.6、安装密码模块

安装password组件:

pip install apache-airflow[password]

修改 airflow.cfg 配置文件（第一行修改，第二行增加）：

# 约 281 行
[webserver]
# 约 353行
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth

• 添加密码文件
  python命令，执行一遍；添加用户登录，设置口令

import airflow
from airflow import models, settings
from airflow.contrib.auth.backends.password_auth import PasswordUser
user = PasswordUser(models.User())
user.username = 'airflow'
user.email = '[email protected]'
user.password = 'airflow123'
session = settings.Session()
session.add(user)
session.commit()
session.close()
exit()

2.7、启动服务

# 备注：要先进入python3的运行环境
cd /usr/local/python3.6/bin/
./virtualenv env
. env/bin/activate
# 退出虚拟环境命令
deactivate
# 启动scheduler调度器:
airflow scheduler -D
# 服务页面启动：
airflow webserver -D

备注：airflow命令所在位置：/usr/local/python3.6/bin/env/bin/airflow

安装完成，可以使用浏览器登录 linux122:8080；输入用户名、口令：airflow /
airflow123

2.8、修改时区

Airflow默认使用UTC时间，在中国时区需要用+8小时。将UTC修改为中国时区，需
要修改Airflow源码

1、在修改 $AIRFLOW_HOME/airflow.cfg 文件

# 约 65 行 
default_timezone = Asia/Shanghai

2、修改 timezone.py

# 进入Airflow包的安装位置
cd /usr/local/python3.6/bin/env/lib/python3.6/site-packages/
# 修改airflow/utils/timezone.py
cd airflow/utils
vi timezone.py

第27行注释，增加29-37行：

27 # utc = pendulum.timezone('UTC')
28
29 from airflow import configuration as conf
30 try:
31 tz = conf.get("core", "default_timezone")
32 if tz == "system":
33 utc = pendulum.local_timezone()
34 else:
35 utc = pendulum.timezone(tz)
36 except Exception:
37 pass

备注：以上的修改方式有警告，可以使用下面的方式（推荐）：

27 # utc = pendulum.timezone('UTC')
28
29 from airflow import configuration
30 try:
31 tz = configuration.conf("core",
"default_timezone")
32 if tz == "system":
33 utc = pendulum.local_timezone()
34 else:
35 utc = pendulum.timezone(tz)
36 except Exception:
37 pass

修改utcnow()函数 (注释掉72行，增加73行内容)

62 def utcnow():
63 """
64 Get the current date and time in UTC
65
66 :return:
67 """
68
69 # pendulum utcnow() is not used as that sets a TimezoneInfo object
70 # instead of a Timezone. This is not pickable and also creates issues
71 # when using replace()
72 # d = dt.datetime.utcnow()
73 d = dt.datetime.now()
74 d = d.replace(tzinfo=utc)
75
76 return d

3、修改 airflow/utils/sqlalchemy.py

# 进入Airflow包的安装位置
cd /usr/local/python3.6/bin/env/lib/python3.6/site-packages/
# 修改 airflow/utils/sqlalchemy.py
cd airflow/utils
vi sqlalchemy.py

在38行之后增加 39 - 47 行的内容：

38 utc = pendulum.timezone('UTC')
39 from airflow import configuration as conf
40 try:
41 tz = conf.get("core", "default_timezone")
42 if tz == "system":
43 utc = pendulum.local_timezone()
44 else:
45 utc = pendulum.timezone(tz)
46 except Exception:
47 pass

备注：以上的修改方式有警告，可以使用下面的方式（推荐）：

38 utc = pendulum.timezone('UTC')
39 from airflow import configuration
40 try:
41 tz = configuration.conf("core",
"default_timezone")
42 if tz == "system":
43 utc = pendulum.local_timezone()
44 else:
45 utc = pendulum.timezone(tz)
46 except Exception:
47 pass

4、修改airflow/www/templates/admin/master.html

# 进入Airflow包的安装位置
cd /usr/local/python3.6/bin/env/lib/python3.6/site-packages/
# 修改 airflow/www/templates/admin/master.html
cd airflow/www/templates/admin
vi master.html

# 将第40行修改为以下内容：
40 var UTCseconds = x.getTime();
# 将第43行修改为以下内容：
43 "timeFormat":"H:i:s",

重启airflow webserver

# 关闭 airflow webserver 对应的服务
ps -ef | grep 'airflow-webserver' | grep -v 'grep' | awk '{print $2}' | xargs -i kill -9 {}
# 关闭 airflow scheduler 对应的服务
ps -ef | grep 'airflow' | grep 'scheduler' | awk '{print $2}' | xargs -i kill -9 {}
# 删除对应的pid文件
cd $AIRFLOW_HOME
rm -rf *.pid
# 重启服务（在python3.6虚拟环境中执行）
airflow scheduler -D
airflow webserver -D

2.9、Airflow的web界面

Trigger Dag：人为执行触发
Tree View：当dag执行的时候，可以点入，查看每个task的执行状态（基于树状视
图）。状态：success、running、failed、skipped、retry、queued、no status
Graph View：基于图视图（有向无环图），查看每个task的执行状态
Tasks Duration：每个task的执行时间统计，可以选择最近多少次执行
Task Tries：每个task的重试次数
Gantt View：基于甘特图的视图，每个task的执行状态
Code View：查看任务执行代码
Logs：查看执行日志，比如失败原因
Refresh：刷新dag任务
Delete Dag：删除该dag任务

2.10、禁用自带的DAG任务

停止服务：

# 关闭 airflow webserver 对应的服务
ps -ef | grep 'airflow-webserver' | grep -v 'grep' | awk '{print $2}' | xargs -i kill -9 {}
# 关闭 airflow scheduler 对应的服务
ps -ef | grep 'airflow' | grep 'scheduler' | awk '{print $2}' |
xargs -i kill -9 {}
# 删除对应的pid文件
cd $AIRFLOW_HOME
rm -rf *.pid

修改文件 $AIRFLOW_HOME/airflow.cfg：

# 修改文件第 136 行
136 # load_examples = True
137 load_examples = False
# 重新设置db
airflow resetdb -y

重新设置账户、口令：

import airflow
from airflow import models, settings
from airflow.contrib.auth.backends.password_auth import
PasswordUser
user = PasswordUser(models.User())
user.username = 'airflow'
user.email = '[email protected]'
user.password = 'airflow123'
session = settings.Session()
session.add(user)
session.commit()
session.close()
exit()

重启服务

# 重启服务 
airflow scheduler -D 
airflow webserver -D

2.11、crontab简介

Linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非
常多的计划性工作，因此这个系统服务是默认启动的。
Linux 系统也提供了Linux用户控制计划任务的命令：crontab 命令。

• 日志文件：ll /var/log/cron*
• 编辑文件：vim /etc/crontab
• 进程：ps -ef | grep crond ==> /etc/init.d/crond restart
• 作用：任务（命令）定时调度（如：定时备份，实时备份）
• 简要说明：cat /etc/crontab
  
  在以上各个字段中，还可以使用以下特殊字符：
  "星号*"代表所有的取值范围内的数字。如月份字段为*，则表示1到12个月；
  / 代表每一定时间间隔的意思。如分钟字段为*/10，表示每10分钟执行1次；
  -代表从某个区间范围，是闭区间。如2-5表示2,3,4,5，小时字段中0-23/2表示在
  0~23点范围内每2个小时执行一次；
  , 分散的数字（不连续）。如1,2,3,4,7,9；
  注：由于各个地方每周第一天不一样，因此Sunday=0（第1天）或Sunday=7（最后
  1天）。

crontab配置实例

# 每一分钟执行一次command（因cron默认每1分钟扫描一次，因此全为*即可）
* * * * * command
# 每小时的第3和第15分钟执行command
3,15 * * * * command
# 每天上午8-11点的第3和15分钟执行command
3,15 8-11 * * * command
# 每隔2天的上午8-11点的第3和15分钟执行command
3,15 8-11 */2 * * command
# 每个星期一的上午8点到11点的第3和第15分钟执行command
3,15 8-11 * * 1 command
# 每晚的21:30执行command
30 21 * * * command
# 每月1、10、22日的4:45执行command
45 4 1,10,22 * * command
# 每周六、周日的1 : 10执行command
10 1 * * 6,0 command
# 每小时执行command
0 */1 * * * command
# 晚上11点到早上7点之间，每隔一小时执行command
* 23-7/1 * * * command

第3节 任务集成部署

3.1、Airflow核心概念

• DAGs：有向无环图(Directed Acyclic Graph)，将所有需要运行的tasks按照依赖
  关系组织起来，描述的是所有tasks执行的顺序；
• Operators：Airflow内置了很多operators
  • BashOperator 执行一个bash 命令
  • PythonOperator 调用任意的 Python 函数
  • EmailOperator 用于发送邮件
  • HTTPOperator 用于发送HTTP请求
  • SqlOperator 用于执行SQL命令
  • 自定义Operator
• Tasks：Task 是 Operator的一个实例；
• Task Instance：由于Task会被重复调度，每次task的运行就是不同的 Task
  instance。Task instance 有自己的状态，包括 success 、 running 、 failed 、 skipped 、 up_for_reschedule 、 up_for_retry 、 queued 、 no_status 等；
• Task Relationships：DAGs中的不同Tasks之间可以有依赖关系；
• 执行器（Executor）。Airflow支持的执行器就有四种：
  • SequentialExecutor：单进程顺序执行任务，默认执行器，通常只用于测试
  • LocalExecutor：多进程本地执行任务
  • CeleryExecutor：分布式调度，生产常用。Celery是一个分布式调度框架，
    其本身无队列功能，需要使用第三方组件，如RabbitMQ
  • DaskExecutor ：动态任务调度，主要用于数据分析
    执行器的修改。修改 $AIRFLOW_HOME/airflow.cfg 第 70行： executor = LocalExecutor 。修改后启动服务

3.2、入门案例

放置在 $AIRFLOW_HOME/dags 目录下

from datetime import datetime, timedelta
from airflow import DAG
from airflow.utils import dates
from airflow.utils.helpers import chain
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
def default_options():
default_args = {
'owner':'airflow', # 拥有者名称
'start_date': dates.days_ago(1), # 第一次开始执行的时间
'retries': 1, # 失败重试次数
'retry_delay': timedelta(seconds=5) # 失败重试间隔
}
return default_args
# 定义DAG
def task1(dag):
t = "pwd"
# operator支持多种类型，这里使用 BashOperator
task = BashOperator(
task_id='MyTask1', # task_id
bash_command=t, # 指定要执行的命令
dag=dag # 指定归属的dag
)
return task
def hello_world():
current_time = str(datetime.today())
print('hello world at {}'.format(current_time))
def task2(dag):
# Python Operator
task = PythonOperator(
task_id='MyTask2',
python_callable=hello_world, # 指定要执行的函数
dag=dag)
return task
def task3(dag):
t = "date"
task = BashOperator(
task_id='MyTask3',
bash_command=t,
dag=dag)
return task
with DAG(
'HelloWorldDag', # dag_id
default_args=default_options(), # 指定默认参数
schedule_interval="*/2 * * * *" # 执行周期，每分钟2次
) as d:
task1 = task1(d)
task2 = task2(d)
task3 = task3(d)
chain(task1, task2, task3) # 指定执行顺序

# 执行命令检查脚本是否有错误。如果命令行没有报错，就表示没问题
python $AIRFLOW_HOME/dags/helloworld.py
# 查看生效的 dags
airflow list_dags -sd $AIRFLOW_HOME/dags
# 查看指定dag中的task
airflow list_tasks HelloWorldDag
# 测试dag中的task
airflow test HelloWorldDag MyTask2 20200801

3.3、核心交易调度任务集成

核心交易分析

# 加载ODS数据（DataX迁移数据）
/data/lagoudw/script/trade/ods_load_trade.sh
# 加载DIM层数据
/data/lagoudw/script/trade/dim_load_product_cat.sh
/data/lagoudw/script/trade/dim_load_shop_org.sh
/data/lagoudw/script/trade/dim_load_payment.sh
/data/lagoudw/script/trade/dim_load_product_info.sh
# 加载DWD层数据
/data/lagoudw/script/trade/dwd_load_trade_orders.sh
# 加载DWS层数据
/data/lagoudw/script/trade/dws_load_trade_orders.sh
# 加载ADS层数据
/data/lagoudw/script/trade/ads_load_trade_order_analysis.sh

备注： depends_on_past ，设置为True时，上一次调度成功了，才可以触发。
$AIRFLOW_HOME/dags

from datetime import timedelta
import datetime
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
# 定义dag的缺省参数
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': '2020-06-20',
'email': ['[email protected]'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
}
# 定义DAG
coretradedag = DAG(
'coretrade',
default_args=default_args,
description='core trade analyze',
schedule_interval='30 0 * * *',
)
today=datetime.date.today()
oneday=timedelta(days=1)
yesterday=(today-oneday).strftime("%Y-%m-%d")
odstask = BashOperator(
task_id='ods_load_data',
depends_on_past=False,
bash_command='sh /data/lagoudw/script/trade/ods_load_trade.sh ' + yesterday,
dag=coretradedag
)
dimtask1 = BashOperator(
task_id='dimtask_product_cat',
depends_on_past=False,
bash_command='sh /data/lagoudw/script/trade/dim_load_product_cat.sh ' + yesterday,
dag=coretradedag
)
dimtask2 = BashOperator(
task_id='dimtask_shop_org',
depends_on_past=False,
bash_command='sh /data/lagoudw/script/trade/dim_load_shop_org.sh ' + yesterday,
dag=coretradedag
)
dimtask3 = BashOperator(
task_id='dimtask_payment',
depends_on_past=False,
bash_command='sh /data/lagoudw/script/trade/dim_load_payment.sh ' + yesterday,
dag=coretradedag
)
dimtask4 = BashOperator(
task_id='dimtask_product_info',
depends_on_past=False,
bash_command='sh /data/lagoudw/script/trade/dim_load_product_info.sh ' + yesterday,
dag=coretradedag
)
dwdtask = BashOperator(
task_id='dwd_load_data',
depends_on_past=False,
bash_command='sh /data/lagoudw/script/trade/dwd_load_trade_orders.sh '+ yesterday,
dag=coretradedag
)
dwstask = BashOperator(
task_id='dws_load_data',
depends_on_past=False,
bash_command='sh /data/lagoudw/script/trade/dws_load_trade_orders.sh ' + yesterday,
dag=coretradedag
)
adstask = BashOperator(
task_id='ads_load_data',
depends_on_past=False,
bash_command='sh /data/lagoudw/script/trade/ads_load_trade_order_analysis.sh '+ yesterday,
dag=coretradedag
)
odstask >> dimtask1
odstask >> dimtask2
odstask >> dimtask3
odstask >> dimtask4
odstask >> dwdtask
dimtask1 >> dwstask
dimtask2 >> dwstask
dimtask3 >> dwstask
dimtask4 >> dwstask
dwdtask >> dwstask
dwstask >> adstask

airflow list_dags
airflow list_tasks coretrade --tree