airflow 第10页

Airflow核心概念理解

1.DAGDAG是DirectedAcyclicGraph的缩写，即有向无环图。是所有要执行任务脚本（即task）的集合，这个DAG描述了各个Task的依赖关系，调度时间，失败重启机制等。每个DAG的唯一标识是DAGid。每个DAG由1到多个task组成。官方解释：DAGs是一个用户希望执行的所有作业的集合，它定义了所有作业的依赖关系。例如：一个简单的包含3个任务的DAG：A,B,C。A必须在B执

程序媛_cico·2020-06-29 05:49

Airflow基础架构简介

Aireflow处理依赖的方式Airflow的核心概念，是DAG(有向无环图)，DAG由一个或多个TASK组成，而这个DAG正是解决了任务间的依赖问题。

LIFEINFULLBLOOM·2020-06-28 22:02

Airflow Scheduler调度的坑(时间配置）

AirflowScheduler调度的坑：官网上关于调度是这么说的NotethatifyourunaDAGonaschedule_intervalofoneday,therunstamped2016-01

功夫老五·2020-06-28 21:24

调度系统对比 azkaban&airFlow&Oozie&zeus&rundeck

azkabanairFlowOoziezeusrundeck背景Azkaban是由Linkedin开源的一个批量工作流任务调度器。

Ynzo·2020-06-28 19:44

Airflow 使用随笔（内含 TimeZone 和 Backfill 等的详解）

其实怎么部署airflow又哪些特性，然后功能又是如何全面都可以在Reference的文章里面找到，都不是重点这里就不赘述了。

weixin_34378969·2020-06-28 18:34

Airflow[v1.10]任务调度平台的安装教程

0.背景真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？

weixin_34306446·2020-06-28 16:20

Azkaban、Xxl-Job与Airflow对比分析

2019独角兽企业重金招聘Python工程师标准>>>概述Xxl-Job简述XXL-JOB是一个国内轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。基于Java技术栈，调度中心与执行器通信基于作者另一个开源项目xxl-rpc，采用自建注册中心，整体架构简单明了，易于上手。图片来源:http://www.xuxueli.com/xxl-job/#/?id=_533-架构

weixin_34255793·2020-06-28 15:28

[译] Robinhood 为什么使用 Airflow

原文地址：WhyRobinhoodusesAirflow原文作者：VineetGoel译文出自：掘金翻译计划本文永久链接：github.com/xitu/gold-m…译者：cf020031308校对者

weixin_34161032·2020-06-28 12:12

基于DAG的分布式任务调度平台-Maat

背景什么是MaatMaat是一个基于开源项目Airflow的流程调度系统，它支持用户自定义地组装流程节点，流程可以在用户指定的时间触发（支持crontab格式），或由用户手动触发。

weixin_33716154·2020-06-28 03:09

如何使用Python连接ldap

如何使用Python连接ldap好多使用ldap认证的软件都是Python的，比如superset和airflow，好吧，他们都是airbnb家的。

weixin_30797199·2020-06-28 00:34

AirFlow简介

1,简介Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。

weixin_30716725·2020-06-27 23:23

Redash(开源轻量级商业智能) 生产环境部署及实践 (without docker)

之前我们生产环境使用的aliyun的QuickBi，也调研了另外一个airflow的开源商业智能superset。

weixin_30580943·2020-06-27 21:17

开源数据流管道-Luigi vs Azkaban vs Oozie vs Airflow

原文链接：https://www.jianshu.com/p/4ae1faea733b随着企业的发展，他们的工作流程变得更加复杂，越来越多的有着错综复杂依赖关系的工作流需要增加监控，故障排除。如果没有明确的血缘关系。就可能出现问责问题，对元数据的操作也可能丢失。这就是有向无环图（DAG），数据管道和工作流管理器发挥作用的地方。复杂的工作流程可以通过DAG来表示。DAG是一种图结构。信息必须沿特定方

weixin_30480651·2020-06-27 20:57

airflow调度原理及k8s调度原则

Airflowairflow是一个任务调度组件，主要是基于DAG（有向无环图）来定义整个工作流。他主要解决了crontab调度无法完成的任务依赖，网页服务，任务暂停等功能。

wangyhwyh753·2020-06-27 13:33

有向无环图调度任务框架airflow安装部署测试

u013378306·2020-06-27 06:48

初探airflow

airflow是Airbnb开源的datapipeline调度和监控工作流的平台，用于用来创建、监控和调整datapipeline（ETL）。

pierre94·2020-06-27 06:05

airflow 安装，部署，填坑

上一篇文章已经介绍过airflow，相信需要的人早已上网搜索相关资料，已经开始动手干了，没错，就是干，喜欢一件事件，请立即付诸行动，不要拖，时间一长，就凉了。

清如許·2020-06-26 13:07

airflow 的使用之 Operators 介绍

Operators简介2.BaseOperator简介3.BashOperator4.PythonOperator5.SSHOperator6.HiveOperator7.如何自定义Operator搭建airflow

清如許·2020-06-26 13:07

airflow调度使用心得

从第一次接触airflow到生产投产使用已经有近两个月的时间了，从部署到开发到运维调优，期间也遇到各种各样的问题，自己也从听说到熟悉。这篇博客主要从三个方面着手。

qqq932778763·2020-06-26 04:23

Airflow 入门及使用

Airflow入门及使用Airflow入门及使用什么是Airflow？Airflow是一个使用python语言编写的datapipeline调度和监控工作流的平台。

笙歌散尽，醉挽清风·2020-06-25 11:00

airflow 定时任务+时间设定+cron表达式

fromairflowimportDAGfromairflow.operators.bash_operatorimportBashOperatorfromdatetimeimportdatetime,timedelta

Ahrli·2020-06-25 09:31

机器学习模型线上部署方法总结

目前存在的几种模型上线的方式1、R+pmml+spark+airflow调度其他团队用R语言训练模型并转为pmml文件，然后我们使用spark将这个pmml文件封装为jar，使用airflow提交到yarn

光英的记忆·2020-06-25 04:01

Airflow 教程

安装AirFlowsudopipinstallairflow--upgrade--ignore-installedmkdir-p/Users/ohmycloud/airflow/dagsdags目录中放入该文件

焉知非鱼·2020-06-25 03:23

docker下载、启动、配置apache airflow

mac下安装apacheairflow，会遇到各种麻烦，如python版本不支持、网络下载包慢、各种配置等繁琐问题，幸好docker上有airflow资源。

plg17·2020-06-24 20:26

在Kubernetes上集成Argo工作流和spark

替代Airflow？也许会！如果您正在寻

iyacontrol·2020-06-24 18:54

airflow task 发送邮件

importairflowfromairflowimportDAGfromairflow.contrib.operators.databricks_operatorimportDatabricksSubmitRunOperatorfromairflow.operators.email_operatorimportEmailOperatorfromairflow.operators.bash_ope

mnasd·2020-06-24 15:25

airflow使用

转载：链接：https://www.jianshu.com/p/f3ead3a35526工作原理airflow是什么？

lcl_bigdata·2020-06-23 13:05

AirFlow 常见问题

文章目录AirFlow常见问题安装问题1、安装出现ERROR“pythonsetup.pyxxx”。问题：解决方法：2、ERROR:Cannotuninstall'enum34'。

mason_roy·2020-06-23 11:16

AirFlow 管理界面使用

文章目录AirFlow管理界面的使用AirFlow的webserverUIDAGS作业操作框查看日志所有的任务实例记录了所有DAG的运行情况XComsFlowerUI（待补充）AirFlow管理界面的使用

mason_roy·2020-06-23 11:15

管理 AirFlow 方法

文章目录管理AirFlow方法进程管理工具Supervisord进程管理工具systemd使用脚本管理airflow获取日志信息的改造删除DAG集群管理脚本集群服务上线脚本集群服务下线脚本修改ariflow

mason_roy·2020-06-23 11:45

airflow整体架构

run命令运行过程读取dag文件生成task依赖关系，然后生成封装airflowrun的command命令，通过celery发送到executor端，重新执行该airflowrun命令。

ggzone·2020-06-23 10:05

airflow 运行周期设置 schedule_interval

airflow运行周期问题最近开始正式使用airflow，关于schedule_interval和页面上显示的lastrun一直有些不太清楚的地方，而在设置一个每周运行的任务时终于遇到了问题，任务并没有能够如期运行

半路出家的coder·2020-06-23 09:17

DolphinScheduler安装与使用

因业务发展需要，现有数据平台要承担的任务越来越多，迫切需要上线一个易用的调度系统，考虑到要将现有的定时任务从crontab快速迁移到新调度系统，且要易于部署管理，方便扩展，支持HA等要求，近期调研了多款调度系统如airflow

drinkatmoon·2020-06-23 05:19

Dask教程

这与Airflow，Luigi，Celery或Make类似，但针对交互式计算工作负载进行了优化。

alcc34716·2020-06-22 13:00

大数据平台调度系统-EasyScheduler

大数据平台工作流系统主要分为两类：1.静态工作流执行列表2.动态工作流执行列表静态工作流根据作业计划提前生成并持久化任务执行列表，代表有：oozie,azkaban,airflow。

阿龙学堂·2020-06-22 10:28

瓜子云的任务调度系统

瓜子云的任务调度系统结合了Kubernetes的Job和Airflow。Airflow是Airbnb出品的任务调度系统，支持DAG调度，这一点完美的弥补了KubernetesJob的不足。

Docker_·2020-06-22 00:18

airflow分布式部署踩坑记录之安装篇

前言airflow是一款基于python的开源任务流调度系统，但是关于airflow的安装教程比较匮乏。

李狗要多读书·2020-06-22 00:27

airflow 修改中国时区(改airflow源码)

airflow默认使用utc时间，在中国时区需要用+8小时就是本地时间，下面把airflow全面修改为中国时区，带大家改airflow源码博主使用airflow版本是1.10.0，其它版本大同小异，参照修改即可

Crazy__Hope·2020-06-21 18:15

工作流引擎比较：Airflow、Azkaban、Conductor、Oozie和 Amazon Step Functions

AirflowAzkabanConductorOozieAWSStep函数所有者Apache（以前是Airbnb）LinkedInNetflix公司阿帕奇亚马逊社区很活跃有点活跃活性活性N/A历史4年7

weixin_40954107·2020-06-21 12:41

Airflow填坑 - 生产环境实战，开始时间与周期的设置

对于Airflow的介绍、作用，在此不做赘述，以下是本人在工作中，对于Airflow的使用和一些填坑，希望对您有所帮助。

冯JK·2020-06-20 22:06

在Rancher上部署AirFlow

一、把AirFlow镜像上传到Harbor1.在本地虚拟机把做好的容器导入成镜像dockerload-iairflow.tar2.登录私有仓库（其实就是登录Harbor）dockerlogin10.1.119.12

脚丫先生·2020-06-15 08:59

AirFlow容器部署和使用

一、如何制作AirFlow容器1、安装docker环境基于centos环境下进行部署，建议在centos6或者centos7的环境下1.1、下载docker安装包下载地址：https://download.docker.com

脚丫先生·2020-06-15 08:46

ETL工具之Airflow

概念Airflow是Airbnb开源的一个用Python编写的调度工具。于2014年启动，2015年春季开源，2016年加入Apache软件基金会的孵化计划。

洛奇lodge·2020-06-11 23:09

前5名的企业ETL工具

来源：https://dzone.com/articles/top-5-enterprise-etl-toolshttps://stackshare.io/stackups/airflow-vs-apache-nifi

Threathunter·2020-06-07 18:15

Airflow来管理数据工作流

使用Airbnb的Airflow来管理数据工作流-推酷http://www.tuicool.com/articles/JzIFNnInfoQ：拿Airflow与Azkaban(LinkedIn)、Luigui

葡萄喃喃呓语·2020-04-11 10:16

airflow tips（qbit）

前言airflow是DAG(有向无环图)的任务管理系统，简单的理解就是一个高级版的crontab。airflow解决了crontab无法解决的任务依赖问题。

qbit·2020-04-10 02:47

Airflow笔记-MySqlOperator使用及conn配置

1.依赖MySqlOperator的数据库交互通过MySQLdb模块来实现,使用前需要安装相关依赖:pipinstallapache-airflow[mysql]2.使用使用MySqlOperator执行

j_hao104·2020-04-08 13:00

Airflow入门和运行常用命令

什么是Airflow？Airflow是一个使用python语言编写的datapipeline调度和监控工作流的平台。Airflow被Airbnb内部用来创建、监控和调整数据管道。

什锦甜·2020-03-30 23:56

Airflow 中文文档：概念

AirflowPlatform是用于描述，执行和监控工作流的工具。核心理念DAG的在Airflow中，DAG（或定向非循环图）是您要运行的所有任务的集合，以反映其关系和依赖关系的方式进行组织。

布客飞龙·2020-03-28 18:45

安装Airflow遇到的问题以及解决过程

1.安装pip1.1pip下载#wget"https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb"--no-check-certificate1.2pip安装#tar-xzvfpip-1.5.4.tar.gz#cdpip-1.5.4#pythonsetup

木曜·2020-03-23 18:09

推荐频道

airflow