Airflow

Airflow接入DingdingOperator

钉钉开发者文档https://ding-doc.dingtalk.com/doc#/serverapi2/qf2nxq1、创建自定义机器人，获取webhook。我这里安全设置选了关键词方式。1.11.21.3至此我们获取webhook,https://oapi.dingtalk.com/robot/send?access_token=14c405e24d249e6f43a4b0e4d70f59dd
yandaxin·2023-03-18 06:53

PYTHONPATH在supervisor命令中

[program:airflow_scheduler]command=/usr/local/bin/python3/usr/local/bin/airflowscheduleruser=xiaomingenvironment
lsyarn·2023-03-16 14:21

airflow快速安装

快速安装#airflow需要home目录，默认是~/airflow，#但是如果你需要，放在其它位置也是可以的#(可选)>exportAIRFLOW_HOME=~/airflow#使用pip从pypi安装
南风nanfeng·2023-03-13 18:11

迁移工具 Air2phin 宣布开源，2 步迁移 Airflow 至 Dolphinscheduler

借助Air2phin，用户可2步将调度系统从Airflow迁移至ApacheDolphinScheduler，为有调度系统迁移需要的用户带来极大便利。Air2phin是什么？
DolphinScheduler社区·2023-03-10 15:11

airflow jinja

“parameters”:[f"{uid}",'{{(dag_run.conf["name"]ifdag_runelse"")|tojson}}']},
allenhaozi·2023-03-09 20:17

互联网摸鱼日报（2023-02-26）

互联网摸鱼日报（2023-02-26）InfoQ热门话题迁移工具Air2phin宣布开源，2步迁移Airflow至Dolphinscheduler专访奇安信董国伟博士：目前开源安全的现状并不乐观，但其重要性已成各方共识专访
每日摸鱼大王·2023-02-28 07:55

【平台数仓设计——2023】

前言一、选取大数据平台1、CDH大数据平台2、HDP大数据平台3、CDP大数据平台4、各种云数据中台二、选取调度平台1、DolphinScheduler(海豚调度)2、AzKaban3、Oozie4、Airflow5
BigData_LYT·2023-02-27 18:44

OSCS开源安全周报第23期：Foxit PDF Reader/Editor 任意代码执行漏洞

本周安全态势综述OSCS社区共收录安全漏洞10个，其中公开漏洞值得关注的是ApacheAirflowHiveProvider<5.0.0存在操作系统命令注入漏洞（CVE-2022-46421）vm2<3.9.10
·2023-02-23 16:49

airflow 集群实战

1Airflow安装流程1.1环境准备1.1.1数据库需求mysql8(airflowscheduler高可用需要mysql8行锁特性)redis（作为celerybroker，无法使用集群，用哨兵做高可用
藤_8c47·2023-02-18 22:10

【Docker搭建airflow】

【Docker搭建airflow】参考链接：https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html#docker-compose-env-variables
aladen·2023-02-18 21:37

Airflow 安装

前段时间部门要求研究airflow，大概记录一下安装的步骤。
SMILE_NO_09·2023-02-18 12:07

定时任务管理系统

目录cronsunAlternativesCronicleAirflowgocronCronitorCronhubcronsunmongo:27017etcd:2379下载cronsuncd~/Downloads
诺之林·2023-02-03 08:23

airflow 1.10安装

本次安装Airflow版本为1.10，其需要依赖Python3.6和DB，本次选择的DB为Mysqlmysql安装参考文档:[https://blog.csdn.net/shangmingtao/article
风轻云淡lq·2023-02-02 15:45

全新Centos服务器 安装单机Airflow(踩坑记录)

##全新Centos服务器安装Airflow1.**安装python3.7参考**https://www.cnblogs.com/xiaonq/p/11145846.html2.
二十赶朝暮__·2023-02-02 03:35

数仓：Airflow 安装及配置

安装步骤sudoaptupdatesudoaptinstallpython3-pippip3install--upgradepip配置文件安装路径及环境变量exportAIRFLOW_HOME=~/airflowpip3installapache-airflowexportAIRFLOW_HOME
dex0423·2023-02-02 01:39

2020-06-09-TFX Airflow（三） 特征工程

原文：https://www.tensorflow.org/tfx/tutorials/tfx/airflow_workshop在之前已经完成了TFXAirflow安装，这里开始参考教程执行demo。
logi·2023-02-01 17:58

分布式可视化作业调度平台 DolphinScheduler MasterServer 设计核心要点揭秘

自2019年开源以来，得益于其自身的稳定性、易用性、扩展性和完备的功能备受关注，笔者收集了一些业界案例：有赞：全面从Airflow迁移到DolphinScheduler，日均调度6w+
DolphinScheduler社区·2023-01-31 14:11

airflow报错ModuleNotFoundError: No module named ‘MySQLdb‘和OSError: mysql_config not found

airflow报错ModuleNotFoundError:Nomodulenamed'MySQLdb’和OSError:mysql_confignotfound先安装开发环境和基础依赖包yuminstall-ymysql-develgccgcc-develgcc-c
最笨的羊羊·2023-01-30 14:27

airflow快速安装——MySQL

upgradepippipinstall--upgradesetuptools2)安装开发库yuminstallpython3-develyuminstalllibevent-develyuminstallmysql-devel3)创建airflow
南风nanfeng·2023-01-30 11:30

Airflow 任务调度工具的安装及配置（从安装到部署运行）

下方这个是airflow官方中文文档共大家参考：https://airflow.apachecn.org/#/zh/start首先先创建airflow的虚拟环境，创建虚拟环境在我上一篇文章大家可以参考。
Hhhhhhhhh-99·2023-01-29 11:00

airflow概念

[toc]Airflow平台是一个描述、执行、监控工作流的工具。
似水之星·2023-01-29 10:52

在亚马逊云科技上部署无服务器 Apache DolphinScheduler 任务调度系统

在Amazon平台上提供了托管的ApacheAirflow(MWAA)与Stepfunction、GlueWorkflow等具有一定调度编排任务的工具，但在可视化一体管理操作上的支持都有一定的限制缺失。
亚马逊云开发者·2023-01-21 20:17

airflow执行py文件；pyspark窗口函数、pandas_udf、udf函数；spark提交集群任务

参考：https://blog.csdn.net/hahayikeshu/article/details/1035526311、airflow安装pipinstallapache-airflowairflowinitdbairflowschedulerweb
loong_XL·2023-01-14 09:09

黑马Hive+Spark离线数仓工业项目-任务流调度工具AirFlow（2）

Oracle与MySQL调度方法目标：了解Oracle与MySQL的调度方法实施Oracle调度：参考《oracle任务调度详细操作文档.md》-step1：本地安装Oracle客户端-step2：安装AirFlow
骨灰级收藏家·2023-01-08 10:37

元数据管理Datahub基本介绍和特点

能够从不同的平台(比如mysql、Airflow、Superset)将元数
Bulut0907·2023-01-07 20:20

漏洞复现----49、Apache Airflow 身份验证绕过 (CVE-2020-17526)

文章目录一、ApacheAirflow简介二、漏洞成因三、漏洞复现一、ApacheAirflow简介ApacheAirflow是python语言编写的一个以编程方式创作、安排和监控工作流程的平台。
七天啊·2023-01-07 07:55

漏洞复现----48、Airflow dag中的命令注入(CVE-2020-11978)

文章目录一、ApacheAirflow简介二、漏洞成因example_trigger_controller_dag和example_trigger_target_dag分析1、example_trigger_controller_dag2
七天啊·2023-01-07 07:54

OSCS开源安全周报第23期：Foxit PDF Reader/Editor 任意代码执行漏洞

本周安全态势综述OSCS社区共收录安全漏洞10个，其中公开漏洞值得关注的是ApacheAirflowHiveProvider<5.0.0存在操作系统命令注入漏洞（CVE-2022-46421）vm2<3.9.10
开源生态安全OSCS·2022-12-30 17:38

OSCS开源安全周报第23期：Foxit PDF Reader/Editor 任意代码执行漏洞

本周安全态势综述OSCS社区共收录安全漏洞10个，其中公开漏洞值得关注的是ApacheAirflowHiveProvider<5.0.0存在操作系统命令注入漏洞（CVE-2022-46421）vm2<3.9.10
·2022-12-26 15:37

绿盟SecXOps安全智能分析技术

市面上已经涌现了大量的开源工作流管理工具，包括Airflow、DVC、Elyra、Flyte、Kale、Me
maoguan121·2022-12-26 13:15

安全分析工作流定制

市面上已经涌现了大量的开源工作流管理工具，包括Airflow、DVC、Elyra、Flyte、Kale、Me
m0_74079109·2022-12-24 16:59

安全智能分析 工作流设计

市面上已经涌现了大量的开源工作流管理工具，包括Airflow、DVC、Elyra、Flyte、Kale、Me
securitypaper·2022-12-24 14:17

简单的Apache Airflow（CVE-2022-40127）漏洞复现

漏洞描述:ApacheAirflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，Airflow可以定义一组有依赖的任务，按照依赖依次执行。
kali_Ma·2022-12-18 22:48

[ vulhub漏洞复现篇 ] Apache Airflow Celery 消息中间件命令执行漏洞复现 CVE-2020-11981

博主介绍‍博主介绍：大家好，我是_PowerShell，很高兴认识大家~✨主攻领域：【渗透领域】【数据通信】【通讯安全】【web安全】【面试分析】点赞➕评论➕收藏==养成习惯（一键三连）欢迎关注一起学习一起讨论⭐️一起进步文末有彩蛋作者水平有限，欢迎各位大佬指点，相互学习进步！文章目录博主介绍一、漏洞编号二、影响范围三、漏洞描述四、环境搭建1、进入CVE-2020-11981环境2、启动CVE-2
_PowerShell·2022-12-18 22:02

阿里发布开源大数据热力报告2022——Flink，Superset，Datahub上榜

在这当中听到了太多熟悉的名字，Kibana，Grafana，ClickHouse，Spark，Airflow，Flink，Superset，Kafka，Metabase，DolphinScheduler
大数据流动·2022-12-05 11:03

Hive调度工具Airflow

CentOS7虚拟环境使用root账户登录Docker安装①卸载之前的docker②安装必要的依赖③设置docker仓库④安装docker⑤启动docker⑥查看docker启动成功了吗python3安装AirFLow
时下握今·2022-12-01 16:47

ETL、ELT、数据管道及其相关tool

一、定义1.ETLE:Extractionrawdatasources:T:transformationD：dataloadingpopularETLtoolstalendAWSGlueApacheAirflow
little_miya·2022-12-01 14:40

Apache 首次亚洲在线峰会: Workflow & 数据治理专场

Apache下与之密切相关的项目有ApacheDolphinScheduler，ApacheAtlas，ApacheAirflow，Apac
DolphinScheduler社区·2022-11-25 15:48

Airflow2.2.5任务调度工具

Airflow2.2.5任务调度工具一、Airflow介绍1.基本概念Airflow是一个以编程方式创作，可进行调度和监控工作流程的开源平台。
weixin_40791632·2022-11-20 03:58

airflow 超时中断处理、流程中断retry、邮件预警

超时中断处理在default_args参数中加入‘execution_timeout’:timedelta(hours=1)，表示如果一小时还没有运行完，就置为失败#encoding:utf-8importairflowimporttimefromairflowimport
loong_XL·2022-10-24 16:29

一个Airflow2.1.3 experimental api 请求异常问题

问题请求：curl-XPOST\http://localhost:7080/api/experimental/dags//dag_runs\-H'Cache-Control:no-cache'\-H'Content-Type:application/json'\-d'{"conf":"{\"key\":\"value\"}"}'报错：{“error”:“DagRunconfmustbeadicti
dingjian1899·2022-10-24 16:29

Airflow发邮件smtplib实例

importsmtplibfromemail.mime.textimportMIMETextfromemail.headerimportHeaderfromemail.mime.multipartimportMIMEMultipartfromairflowimportconfigurationasconf
不朽的诗篇·2022-10-24 16:59

Airflow1.10.3以上版本DAG执行过程Task失败集成钉钉机器人告警

配置airflow进入webUI，点击admin中的connection然后配置dingding_default注意host填写https://oapi.dingtalk.com,password填写acce
威尼斯的星期天·2022-10-24 16:58

Airflow 1.10.4版本部署及整合企业微信告警

Airflow1.10.4版本部署及整合企业微信告警本次部署的Airflow版本为1.10.4，依赖的Python版本为Python3.61.Airflow安装Python的安装就不多做赘述，网上教程太多了
丿灬逐风·2022-10-24 16:58

airflow worker报错raised unexpected：airflowexception('celery command failed')

集群中间件用的是redis，报错原因：我的集群是在自己的虚拟机里面，在网上找原因，应该是内存不足造成的，我把airflow集群放在生产机器上就，报错解决
suixinlxl·2022-10-24 16:28

airflow配置163企业邮箱

airflow配置163企业邮箱背景介绍获取163的smtp配置信息airflow.cfg修改smtp配置背景介绍最近在使用airflow，对于邮件自动提醒服务，构建了一个如下所示的dag文件，想使用163
huanbia·2022-10-24 16:57

airflow EmailOperator 发送邮件 附件文件名丢失或乱码问题

开始使用airflow最早开始使用airflow是因为公司的服务过度依赖crontab了，完全通过时间进行任务调度，而且不便于追踪任务运行情况，也不好处理任务之间的依赖关系。
半路出家的coder·2022-10-24 16:27

Apache-airflow 钉钉机器人插件

Directory背景Airflow默认提供邮件和Slack插件发送报警邮件的功能。但是日常我们希望通过钉钉机器人形式发送。
Lyle-liang·2022-10-24 16:56

Airflow 报警邮件定制化

使用过airflow的应该都知道，通过在DAG文件中配置default_args可以设置邮件，但是收到过邮件的人都会发现邮件内容非常的少，有些必要信息并不会显示出来，这样就不能满足我们的生产需求，因此本文主要讲解如何定制化自己的邮件内容
雷禄辉·2022-10-24 16:25

OSCS开源安全周报第7期：本周投毒对象均为 NPM 仓库

本周安全态势综述OSCS社区共收录安全漏洞33个，公开漏洞值得关注的是ApacheFlume存在JNDI注入漏洞（CVE-2022-34916），ApacheAirflowDockerProvider<
开源生态安全OSCS·2022-10-12 21:44
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他