Airflow安装详解(附airflow.cfg配置详解)


标题: Airflow安装详解
日期: 2021-11-16 21:27:21
标签: [airflow]
分类: 调度系统

在讲airflow安装之前,我们先来了解下airflow的架构,这有助于我们去理解安装的步骤到底是干嘛的。

来看这篇文章:airflow架构

Airflow安装详解(附airflow.cfg配置详解)_第1张图片

我讲的airflow是1.10.14版本的哈。

所以,如果我们搭建airflow是做大量的任务调度,那么就推荐元数据库使用mysql/postgresql,消息队列使用redis/rabbitmq。

我以mysql和rabbitmq为例来讲解安装airflow 1.10.14版本。

1.AIRFLOW_HOME环境变量

这个变量是我们在初始化的时候,airflow它要去哪里生成对应的airflow.cfg和webserver_config.py文件
airflow.cfg配置文件很重要,配置了我们需要用到的所有组件信息,还有airflow自身的一些配置参数。

我们一般在用户根目录下的.bash_profile中添加该环境变量,这样在用户登录shell时,就会有对应的环境变量。

vim ~/.bash_profile

记住,在每台机器上都有执行。

2.安装

pip install apache-airflow==1.10.14

记住,在每台机器上都要执行。

3.生成配置文件

airflow initdb

Airflow安装详解(附airflow.cfg配置详解)_第2张图片

4.修改配置文件

因为前面我们已经设置了AIRFLOW_HOME环境变量,所以airflow.cfg配置文件就生成在变量所指定的位置,我们cd到那里去,然后编辑它:

cd $AIRFLOW_HOME
vim airflow.cfg

然后我们来介绍一下重点的配置参数,重要的我都说一遍:

[core]
**dags_folder**:airflow所扫描的dag目录;

**default_timezone**:这是默认的时区,调度时间按照这个时区来计算,一定要设置`Asia/Shanghai`,不然国内用户会发现调度时间跟北京时间晚了8小时;

executor:有以下几个选择,生产一般使用CeleryExecutor
SequentialExecutor:按顺序调度,这个一般适用于开发、测试,因为按顺序调度,真的是太慢了。
LocalExecutor:local模式,就无法使用集群扩展了。
CeleryExecutor:分布式调度
DaskExecutor:没用过
KubernetesExecutor:kubernetes方式提交任务,也适用于生产,一般是那些单个任务比较大的情况。

----------------------------------------2021-11-18 更新----------------------------------------

sql_alchemy_conn:airflow的元数据库连接串,可以是sqlite、mysql、postgresql,推荐mysql和postgresql:
sql_alchemy_conn = mysql://airflow:airflow@localhost:3306/airflow_11?charset=utf8

----------------------------------------2021-11-19 更新----------------------------------------
parallelism:所有worker同时运行的task数;
dag_concurrency:单个dag中同时运行的task数;

max_active_runs_per_dag:单个dag最多同时运行的dag_run数;

load_examples:是否加载airflow自带的example dag;

fernet_key:connection和variable加密用的key,记住,如果你要升级airflow,升级后需要把此参数值copy到新的配置文件中,不然升级后,airflow中的connection和variable加密的值会解密失败,无法查看;

dagbag_import_timeout:scheduler加载新的dag使用的超时时间;
dag_file_processor_timeout:scheduler解析dag使用的超时时间;

store_serialized_dags:是否序列化dag,开启时,scheduler会定时将dag序列化到数据库中存储起来,这样我们的webserver就直接可以查数据库了,更方便快捷高效;
min_serialized_dag_update_interval:序列化dag的最小间隔时间,也就是说,scheduler序列化所有dag后,隔多长时间再序列化。
store_dag_code:是否存储dag代码到数据库;


[webserver]
base_url:webserver启动的访问url
web_server_host:webserver的host
web_server_port:webserver的访问端口

web_server_master_timeout:webserver其实启动的是gunicorn服务,那么webserver master gunicorn服务超过这个时间没有响应,就会抛出异常;
web_server_worker_timeout:webserver worker服务同理
workers:webserver启动的gunicorn服务个数,个数越多,webserver更快,当然根据系统资源来设置;

expose_config:是否可以在web上查看airflow.cfg;

authenticate:webserver认证方式,我们可以设置以下几个登录认证方式,这几个方式仅限登录认证:
- github_enterprise_auth
- google_auth
- kerberos_auth
- ldap_auth
- password_auth
当然我们后面还有一个rbac认证模式,这是生产用的最多的方式,因为它包含了web界面上每一个点击按钮的权限
filter_by_owner:当我们使用了以上认证方式时,如果filter_by_owner设置为true,那么登录后,界面上显示的dag设置的owner就是跟登录用户一致的。做到了dag的用户隔离;

dag_default_view:在我们从web界面进入某个dag时,默认展示的页面,可以设置tree, graph, duration, gantt, landing_times

hide_paused_dags_by_default:是否隐藏关闭的dag;

page_size:web页面主页默认展示的dag个数,设置越少,打开主页速度越快哦;

rbac:权限认证模式,开启时,可以做到web界面的权限控制,细粒度到每个dag的每个task的每个操作;

default_dag_run_display_number:打开dag的tree界面时,默认显示多少个运行批次:越少越好,打开的速度也就越快;

----------------------------------------2021-11-27 更新----------------------------------------

[sentry]
sentry_dsn: sentry是一个监控系统,可以监控到airflow服务的运行情况

[celery]
worker_concurrency: 单个worker的并发执行task数

broker_url: broker支持rabbitmq/redis/mysql/postgresql, task执行命令的中转站,scheduler发送执行命令到中转站,然后worker去消费这些task命令,并执行

result_backend:worker执行完task,将结果存储的位置,官方推荐使用落地的持久化数据库,如mysql、postgresql等

flower_host:flower是airflow中监控broker和worker的一个服务,有自己的单独页面,可以看到broker情况、task执行情况

flower_port:flower访问的端口


[scheduler]
airflow最重要的角色:调度器,它承担着初始化dag文件、动态编译dag文件、发现调度任务并发送执行命令的责任。我们调度的快慢,也需要从这里设置一些参数,下面来看看。

- job_heartbeat_sec:任务的心跳监控时间,每隔job_heartbeat_sec秒去监控一下任务的状态
- scheduler_heartbeat_sec:监控scheduler的状态,每隔scheduler_heartbeat_sec秒去监控scheduler状态
- run_duration:scheduler运行多长时间停止,-1表示不停止,持续调度
- num_runs:每隔dag的调度次数,-1表示无限次
- processor_poll_interval:解析每个dag之间的间隔时间
- min_file_process_interval:间隔多长时间一个新的dag被拾起;
- dag_dir_list_interval:间隔多长时间,scheduler从磁盘读取出dag列表。跟上一个参数min_file_process_interval的区别就是,此参数不解析dag,只获取dag列表。先获取dag列表,在解析dag文件;
- parsing_processes:编译dag所使用的schedule进程数,这个非常关键,影响到dag的调度速度和task的调度速度,官方推荐cpu盒数-1,但是我们可以设置到2倍的cpu盒数,榨干cpu。


5.启动

airflow scheduler -D
airflow webserver -D
airflow worker -D

记住,上述三条命令,会在执行命令的当前目录生成相应的pid和log文件,下次启动如果还在这个目录下,记住清理掉pid文件,不然会报文件已经存在异常。

好了,就到这里,airflow.cfg配置就介绍到这里,都是平时调整比较多的参数。

下期带你们看跟airflow相关的元数据表。


吾之初心,永世不忘。
要做一个有良心的人。


书山有路勤为径,学海无涯苦作舟。

欢迎关注我的微信公众号,比较喜欢分享知识,也喜欢宠物,所以做了这2个公众号:
Airflow安装详解(附airflow.cfg配置详解)_第3张图片

喜欢宠物的朋友可以关注:【电巴克宠物Pets】
Airflow安装详解(附airflow.cfg配置详解)_第4张图片

一起学习,一起进步。

你可能感兴趣的:(调度系统,Airflow,python,架构,python,数据库)