E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
airflow
docker本地私有仓库查看镜像
dockershare:2333/v2/_catalog--cacert/etc/docker/certs.d/dockershare:2333/ca.crt输出内容{“repositories”:[“
airflow
冰风漫天
·
2020-06-30 13:48
linux
docker
airflow
问题系列1 ——
Airflow
调度了但不执行任务
如下图所示:2.错误原因:这是因为
airflow
的其中一个进程schedulerdown掉的原因。
无影独白
·
2020-06-30 12:07
airflow
AirFlow
介绍
介绍 Airbnb开源的一款调度工具,核心特征是分布式、基于工作流,此外还提供了UI方便管理和监控,可看做crontab的升级版,功能更加丰富和完善;核心概念DAG:WorkFlow的定义,调度的基本单元,由若干存在依赖关系的Task组成;Task:DAG中一个节点,即具体的某个调度任务;Operator:任务的定义,包括任务类型、执行逻辑等等;架构图 Master-Slave架构,存在两种主要角
库昊天
·
2020-06-30 05:49
杂谈
k8s部署
airflow
+mysql
k8s启动
airflow
+mysql创建命名空间脚本create_shjujubu_namespace.yamlapiVersion:v1kind:Namespacemetadata:name:shujubulabels
xx小蟹
·
2020-06-29 20:01
运维
从0到1,
AirFlow
搭建踩坑历程
python)+crontab来运行数据处理任务查看任务执行情况不直观方便,只能登录机器、或者写一个界面/监控存在依赖关系的任务没办法保证,或者保证的方法成本太高任务量达到一定量级,任务的管理将极其棘手调研:
Airflow
Oozie
迷恋晓峰
·
2020-06-29 19:03
Airflow
中文文档:API 参考
运营商运算符允许生成某些类型的任务,这些任务在实例化时成为DAG中的节点。所有运算符都派生自BaseOperator,并以这种方式继承许多属性和方法。有关更多详细信息,请参阅BaseOperator文档。有三种主要类型的运营商:执行操作的操作员,或告诉其他系统执行操作的操作员传输操作员将数据从一个系统移动到另一个系传感器是某种类型的运算符,它将一直运行直到满足某个标准。示例包括在HDFS或S3中登
布客飞龙
·
2020-06-29 19:47
ApacheCN
大数据
Airflow
中文文档:常见问题
以下是一些常见原因:您的脚本是否“编译”,
Airflow
引擎是否可以解析它并找到您的DAG对象。要对此进行测试,您可以运行
airflow
list_dags并确认您的DAG显示在列表中。
布客飞龙
·
2020-06-29 19:47
ApacheCN
大数据
Docker尝鲜之
Airflow
快速安装
个人初步理解使用Docker应该尽量满足数据和应用隔离,数据尽量有mount在宿主机上;另外,与虚拟机相比,容器有一个很大的差异,它们被设计用来运行单进程,无法很好地模拟一个完整的环境,所以不建议一个容器塞太多的应用——容器的启动是非常廉价的。Docker设计者极力推崇“一个容器一个进程的方式”,所以遵循这样的应用原则就没错了。另外,dockerexec是支持用户操作类似ssh这样的操作的,可以进
WaveVector
·
2020-06-29 17:45
分布式
python自动化运维--入门篇
目前开源软件社区优秀的自动化运维软件,如Ansible、
Airflow
、Celery、Paramiko等框架都是用Python语言开发,甚至一些大型商用的自动化部署系统都
运维Leo
·
2020-06-29 17:57
笔记
Airflow
简介
1、什么是
Airflow
Airflow
是一个Airbnb的Workflow开源项目,使用Python编写实现的任务管理、调度、监控工作流平台。
Quinto0
·
2020-06-29 10:44
任务调度
Airflow
核心概念理解
1.DAGDAG是DirectedAcyclicGraph的缩写,即有向无环图。是所有要执行任务脚本(即task)的集合,这个DAG描述了各个Task的依赖关系,调度时间,失败重启机制等。每个DAG的唯一标识是DAGid。每个DAG由1到多个task组成。官方解释:DAGs是一个用户希望执行的所有作业的集合,它定义了所有作业的依赖关系。例如:一个简单的包含3个任务的DAG:A,B,C。A必须在B执
程序媛_cico
·
2020-06-29 05:49
BI
Airflow
基础架构简介
Aireflow处理依赖的方式
Airflow
的核心概念,是DAG(有向无环图),DAG由一个或多个TASK组成,而这个DAG正是解决了任务间的依赖问题。
LIFEINFULLBLOOM
·
2020-06-28 22:02
大数据中心
Airflow
Scheduler调度的坑(时间配置)
Airflow
Scheduler调度的坑:官网上关于调度是这么说的NotethatifyourunaDAGonaschedule_intervalofoneday,therunstamped2016-01
功夫老五
·
2020-06-28 21:24
airflow
调度系统对比 azkaban&
airFlow
&Oozie&zeus&rundeck
azkaban
airFlow
Ooziezeusrundeck背景Azkaban是由Linkedin开源的一个批量工作流任务调度器。
Ynzo
·
2020-06-28 19:44
调度系统
azkaban
Airflow
使用随笔(内含 TimeZone 和 Backfill 等的详解)
其实怎么部署
airflow
又哪些特性,然后功能又是如何全面都可以在Reference的文章里面找到,都不是重点这里就不赘述了。
weixin_34378969
·
2020-06-28 18:34
Airflow
[v1.10]任务调度平台的安装教程
0.背景真的是想不通,
Airflow
不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的,但是为何却连一个完备的安装教程都没有呢?是我的需求太高?
weixin_34306446
·
2020-06-28 16:20
Azkaban、Xxl-Job与
Airflow
对比分析
2019独角兽企业重金招聘Python工程师标准>>>概述Xxl-Job简述XXL-JOB是一个国内轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。基于Java技术栈,调度中心与执行器通信基于作者另一个开源项目xxl-rpc,采用自建注册中心,整体架构简单明了,易于上手。图片来源:http://www.xuxueli.com/xxl-job/#/?id=_533-架构
weixin_34255793
·
2020-06-28 15:28
[译] Robinhood 为什么使用
Airflow
原文地址:WhyRobinhooduses
Airflow
原文作者:VineetGoel译文出自:掘金翻译计划本文永久链接:github.com/xitu/gold-m…译者:cf020031308校对者
weixin_34161032
·
2020-06-28 12:12
基于DAG的分布式任务调度平台-Maat
背景什么是MaatMaat是一个基于开源项目
Airflow
的流程调度系统,它支持用户自定义地组装流程节点,流程可以在用户指定的时间触发(支持crontab格式),或由用户手动触发。
weixin_33716154
·
2020-06-28 03:09
如何使用Python连接ldap
如何使用Python连接ldap好多使用ldap认证的软件都是Python的,比如superset和
airflow
,好吧,他们都是airbnb家的。
weixin_30797199
·
2020-06-28 00:34
AirFlow
简介
1,简介
Airflow
是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),
airflow
可以定义一组有依赖的任务,按照依赖依次执行。
weixin_30716725
·
2020-06-27 23:23
Redash(开源轻量级商业智能) 生产环境部署及实践 (without docker)
之前我们生产环境使用的aliyun的QuickBi,也调研了另外一个
airflow
的开源商业智能superset。
weixin_30580943
·
2020-06-27 21:17
开源数据流管道-Luigi vs Azkaban vs Oozie vs
Airflow
原文链接:https://www.jianshu.com/p/4ae1faea733b随着企业的发展,他们的工作流程变得更加复杂,越来越多的有着错综复杂依赖关系的工作流需要增加监控,故障排除。如果没有明确的血缘关系。就可能出现问责问题,对元数据的操作也可能丢失。这就是有向无环图(DAG),数据管道和工作流管理器发挥作用的地方。复杂的工作流程可以通过DAG来表示。DAG是一种图结构。信息必须沿特定方
weixin_30480651
·
2020-06-27 20:57
airflow
调度原理及k8s调度原则
Airflow
airflow
是一个任务调度组件,主要是基于DAG(有向无环图)来定义整个工作流。他主要解决了crontab调度无法完成的任务依赖,网页服务,任务暂停等功能。
wangyhwyh753
·
2020-06-27 13:33
大数据
有向无环图调度任务框架
airflow
安装部署测试
安装最新版pip3installapache-
airflow
==1.10.10先初始化
airflow
initdb此时会在当前用户的根目录下生成一个
airflow
目录,如root用户下的/root/
airflow
u013378306
·
2020-06-27 06:48
作业调度quartz
airflow
初探
airflow
airflow
是Airbnb开源的datapipeline调度和监控工作流的平台,用于用来创建、监控和调整datapipeline(ETL)。
pierre94
·
2020-06-27 06:05
大数据技术
airflow
安装,部署,填坑
上一篇文章已经介绍过
airflow
,相信需要的人早已上网搜索相关资料,已经开始动手干了,没错,就是干,喜欢一件事件,请立即付诸行动,不要拖,时间一长,就凉了。
清如許
·
2020-06-26 13:07
技术
运维
airflow
安装部署
python
问题解决
airflow
的使用之 Operators 介绍
Operators简介2.BaseOperator简介3.BashOperator4.PythonOperator5.SSHOperator6.HiveOperator7.如何自定义Operator搭建
airflow
清如許
·
2020-06-26 13:07
python
技术
airflow
调度使用心得
从第一次接触
airflow
到生产投产使用已经有近两个月的时间了,从部署到开发到运维调优,期间也遇到各种各样的问题,自己也从听说到熟悉。这篇博客主要从三个方面着手。
qqq932778763
·
2020-06-26 04:23
Airflow
入门及使用
Airflow
入门及使用
Airflow
入门及使用什么是
Airflow
?
Airflow
是一个使用python语言编写的datapipeline调度和监控工作流的平台。
笙歌散尽,醉挽清风
·
2020-06-25 11:00
airflow
定时任务+时间设定+cron表达式
from
airflow
importDAGfrom
airflow
.operators.bash_operatorimportBashOperatorfromdatetimeimportdatetime,timedelta
Ahrli
·
2020-06-25 09:31
机器学习模型线上部署方法总结
目前存在的几种模型上线的方式1、R+pmml+spark+
airflow
调度其他团队用R语言训练模型并转为pmml文件,然后我们使用spark将这个pmml文件封装为jar,使用
airflow
提交到yarn
光英的记忆
·
2020-06-25 04:01
算法模型部署上线工程实践
Airflow
教程
安装
AirFlow
sudopipinstall
airflow
--upgrade--ignore-installedmkdir-p/Users/ohmycloud/
airflow
/dagsdags目录中放入该文件
焉知非鱼
·
2020-06-25 03:23
docker下载、启动、配置apache
airflow
mac下安装apache
airflow
,会遇到各种麻烦,如python版本不支持、网络下载包慢、各种配置等繁琐问题,幸好docker上有
airflow
资源。
plg17
·
2020-06-24 20:26
大数据
在Kubernetes上集成Argo工作流和spark
替代
Airflow
?也许会!如果您正在寻
iyacontrol
·
2020-06-24 18:54
k8s
kubernetes
spark
airflow
task 发送邮件
import
airflow
from
airflow
importDAGfrom
airflow
.contrib.operators.databricks_operatorimportDatabricksSubmitRunOperatorfrom
airflow
.operators.email_operatorimportEmailOperatorfrom
airflow
.operators.bash_ope
mnasd
·
2020-06-24 15:25
airflow
airflow
使用
转载:链接:https://www.jianshu.com/p/f3ead3a35526工作原理
airflow
是什么?
lcl_bigdata
·
2020-06-23 13:05
airflow
AirFlow
常见问题
文章目录
AirFlow
常见问题安装问题1、安装出现ERROR“pythonsetup.pyxxx”。问题:解决方法:2、ERROR:Cannotuninstall'enum34'。
mason_roy
·
2020-06-23 11:16
AirFlow
AirFlow
管理界面使用
文章目录
AirFlow
管理界面的使用
AirFlow
的webserverUIDAGS作业操作框查看日志所有的任务实例记录了所有DAG的运行情况XComsFlowerUI(待补充)
AirFlow
管理界面的使用
mason_roy
·
2020-06-23 11:15
AirFlow
管理
AirFlow
方法
文章目录管理
AirFlow
方法进程管理工具Supervisord进程管理工具systemd使用脚本管理
airflow
获取日志信息的改造删除DAG集群管理脚本集群服务上线脚本集群服务下线脚本修改ariflow
mason_roy
·
2020-06-23 11:45
AirFlow
airflow
整体架构
run命令运行过程读取dag文件生成task依赖关系,然后生成封装
airflow
run的command命令,通过celery发送到executor端,重新执行该
airflow
run命令。
ggzone
·
2020-06-23 10:05
airflow
airflow
运行周期设置 schedule_interval
airflow
运行周期问题最近开始正式使用
airflow
,关于schedule_interval和页面上显示的lastrun一直有些不太清楚的地方,而在设置一个每周运行的任务时终于遇到了问题,任务并没有能够如期运行
半路出家的coder
·
2020-06-23 09:17
python
管理调度
DolphinScheduler安装与使用
因业务发展需要,现有数据平台要承担的任务越来越多,迫切需要上线一个易用的调度系统,考虑到要将现有的定时任务从crontab快速迁移到新调度系统,且要易于部署管理,方便扩展,支持HA等要求,近期调研了多款调度系统如
airflow
drinkatmoon
·
2020-06-23 05:19
调度平台
Dask教程
这与
Airflow
,Luigi,Celery或Make类似,但针对交互式计算工作负载进行了优化。
alcc34716
·
2020-06-22 13:00
大数据平台调度系统-EasyScheduler
大数据平台工作流系统主要分为两类:1.静态工作流执行列表2.动态工作流执行列表静态工作流根据作业计划提前生成并持久化任务执行列表,代表有:oozie,azkaban,
airflow
。
阿龙学堂
·
2020-06-22 10:28
hadoop
瓜子云的任务调度系统
瓜子云的任务调度系统结合了Kubernetes的Job和
Airflow
。
Airflow
是Airbnb出品的任务调度系统,支持DAG调度,这一点完美的弥补了KubernetesJob的不足。
Docker_
·
2020-06-22 00:18
airflow
分布式部署踩坑记录之安装篇
前言
airflow
是一款基于python的开源任务流调度系统,但是关于
airflow
的安装教程比较匮乏。
李狗要多读书
·
2020-06-22 00:27
airflow
airflow
修改中国时区(改
airflow
源码)
airflow
默认使用utc时间,在中国时区需要用+8小时就是本地时间,下面把
airflow
全面修改为中国时区,带大家改
airflow
源码博主使用
airflow
版本是1.10.0,其它版本大同小异,参照修改即可
Crazy__Hope
·
2020-06-21 18:15
工具
工作流引擎比较:
Airflow
、Azkaban、Conductor、Oozie和 Amazon Step Functions
Airflow
AzkabanConductorOozieAWSStep函数所有者Apache(以前是Airbnb)LinkedInNetflix公司阿帕奇亚马逊社区很活跃有点活跃活性活性N/A历史4年7
weixin_40954107
·
2020-06-21 12:41
AIRFLOW
Airflow
填坑 - 生产环境实战,开始时间与周期的设置
对于
Airflow
的介绍、作用,在此不做赘述,以下是本人在工作中,对于
Airflow
的使用和一些填坑,希望对您有所帮助。
冯JK
·
2020-06-20 22:06
大数据
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他