CeleryExecutor

airflow 2.2.4 +postgresql 10.20+Python 3.6.8+Redis 6.26+celeryExecutor

机器worker192.168.24.4机器webserver192.168.24.3[airflow@webserver~]$airflowversion2.2.4[root@worker~]#psql-Vpsql(PostgreSQL)10.20[root@worker~]#python-VPython3.6.8[root@worker~]#redis-server-vRedisserverv
三哥陈·2023-11-05 05:20

Airflow 中文文档：用Celery扩大规模

CeleryExecutor是您扩展工人数量的方法之一。
布客飞龙·2023-10-07 08:30

airflow v2.6.0 k8s 部署（Rancher）

文章目录物料准备部署步骤验证总结物料准备k8sRancher,阿里云的nas存储一台物理机（需要挂载PVC:dagsplugins和logs）mysql数据库和redis包含airflow以及对应依赖库的基础镜像这里使用airflow的CeleryExecutor
一切如来心秘密·2023-06-20 07:35

如何部署一个健壮的 apache-airflow 调度系统

之前介绍过的apache-airflow系列文章任务调度神器airflow之初体验airflow安装，部署，填坑airflow配置CeleryExecutor介绍了如何安装、配置、及使用，接下来介绍如何在跨多个节点来安装部署
清如許·2023-04-05 18:41

Airflow task 指定执行的worker节点

1、airflow.cfg：executor=CeleryExecutor2、启动worker时添加-q队列名：airflowceleryworker-qkettle_carteshell=BashOperator
有机合成实验员·2023-04-05 18:21

【Airflow】CeleryExecutor+RabbitMQ+HAProxy做好分布式后，启动调度出现的问题

如题，笔者按照上百篇（有点夸张，50多篇吧）文章，终于在踩过了无数坑后，搭建出了三worker节点的、CeleryExecutor+RabbitMQ+HAProxy的分布式Airflow集群（鬼知道我经历了什么
MaiXiaochai·2020-08-19 18:51

airflow 配置 CeleryExecutor

阅读本文大概需要3分钟celery是分布式任务队列，与调度工具airflow强强联合，可实现复杂的分布式任务调度，这就是CeleryExecutor，有了CeleryExecutor，你可以调度本地或远程机器上的作业
清如許·2020-08-13 18:28

Airflow 中文文档：常见问题

如果您使用CeleryExecutor，您可
布客飞龙·2020-06-29 19:47

airflow + CeleryExecutor 环境搭建

airflow整合环境搭建1.整体结构mysql->后端数据库redis->用于brokerCeleryExecutor->执行器2.环境安装2.1，安装pythonanaconda环境添加py用户#useraddpy设置密码#passwdpy创建anaconda安装路径#mkdir/anaconda赋权#chown-Rpy:py/anaconda上传anaconda安装包并用py用户运行安装程序
weixin_30532973·2018-06-25 22:00

airflow + CeleryExecutor 环境搭建

airflow整合环境搭建1.整体结构mysql->后端数据库redis->用于brokerCeleryExecutor->执行器2.环境安装2.1，安装pythonanaconda环境添加py用户#useraddpy设置密码#passwdpy创建anaconda安装路径#mkdir/anaconda赋权#chown-Rpy:py/anaconda上传anaconda安装包并用py用户运行安装程序
堕落门徒·2018-06-25 22:00

Linux Workflow Airflow CeleryExecutor 踩坑心酸历程

本篇所使用的系统环境为Centos6.8，Python3.6.5，Airflow1.9.0Airflow的搭建可以参考从0到1，AirFlow搭建踩坑历程安装RabbitMQ1.安装erlangerlang地址：http://www.rabbitmq.com/releases/erlang/使用rpm-ihv安装2.安装RabbitMQrabbitmq地址：http://www.rabbitmq.
迷恋晓峰·2018-05-10 16:04

Airflow CeleryExecutor安装和配置说明

本文主要记录Airflow如何将Executor切换成CeleryExecutor——只有切换成CeleryExecutor，才能实现sub节点的单节点重跑，否则整个sub节点都需要重跑。
WaveVector·2017-02-21 07:27
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他