AIRFLOW

阿里发布开源大数据热力报告2022——Flink，Superset，Datahub上榜

在这当中听到了太多熟悉的名字，Kibana，Grafana，ClickHouse，Spark，Airflow，Flink，Superset，Kafka，Metabase，DolphinScheduler
大数据流动·2022-12-05 11:03

Hive调度工具Airflow

CentOS7虚拟环境使用root账户登录Docker安装①卸载之前的docker②安装必要的依赖③设置docker仓库④安装docker⑤启动docker⑥查看docker启动成功了吗python3安装AirFLow
时下握今·2022-12-01 16:47

ETL、ELT、数据管道及其相关tool

一、定义1.ETLE:Extractionrawdatasources:T:transformationD：dataloadingpopularETLtoolstalendAWSGlueApacheAirflow
little_miya·2022-12-01 14:40

Apache 首次亚洲在线峰会: Workflow & 数据治理专场

Apache下与之密切相关的项目有ApacheDolphinScheduler，ApacheAtlas，ApacheAirflow，Apac
DolphinScheduler社区·2022-11-25 15:48

Airflow2.2.5任务调度工具

Airflow2.2.5任务调度工具一、Airflow介绍1.基本概念Airflow是一个以编程方式创作，可进行调度和监控工作流程的开源平台。
weixin_40791632·2022-11-20 03:58

airflow 超时中断处理、流程中断retry、邮件预警

超时中断处理在default_args参数中加入‘execution_timeout’:timedelta(hours=1)，表示如果一小时还没有运行完，就置为失败#encoding:utf-8importairflowimporttimefromairflowimport
loong_XL·2022-10-24 16:29

一个Airflow2.1.3 experimental api 请求异常问题

问题请求：curl-XPOST\http://localhost:7080/api/experimental/dags//dag_runs\-H'Cache-Control:no-cache'\-H'Content-Type:application/json'\-d'{"conf":"{\"key\":\"value\"}"}'报错：{“error”:“DagRunconfmustbeadicti
dingjian1899·2022-10-24 16:29

Airflow发邮件smtplib实例

importsmtplibfromemail.mime.textimportMIMETextfromemail.headerimportHeaderfromemail.mime.multipartimportMIMEMultipartfromairflowimportconfigurationasconf
不朽的诗篇·2022-10-24 16:59

Airflow1.10.3以上版本DAG执行过程Task失败集成钉钉机器人告警

配置airflow进入webUI，点击admin中的connection然后配置dingding_default注意host填写https://oapi.dingtalk.com,password填写acce
威尼斯的星期天·2022-10-24 16:58

Airflow 1.10.4版本部署及整合企业微信告警

Airflow1.10.4版本部署及整合企业微信告警本次部署的Airflow版本为1.10.4，依赖的Python版本为Python3.61.Airflow安装Python的安装就不多做赘述，网上教程太多了
丿灬逐风·2022-10-24 16:58

airflow worker报错raised unexpected：airflowexception('celery command failed')

集群中间件用的是redis，报错原因：我的集群是在自己的虚拟机里面，在网上找原因，应该是内存不足造成的，我把airflow集群放在生产机器上就，报错解决
suixinlxl·2022-10-24 16:28

airflow配置163企业邮箱

airflow配置163企业邮箱背景介绍获取163的smtp配置信息airflow.cfg修改smtp配置背景介绍最近在使用airflow，对于邮件自动提醒服务，构建了一个如下所示的dag文件，想使用163
huanbia·2022-10-24 16:57

airflow EmailOperator 发送邮件 附件文件名丢失或乱码问题

开始使用airflow最早开始使用airflow是因为公司的服务过度依赖crontab了，完全通过时间进行任务调度，而且不便于追踪任务运行情况，也不好处理任务之间的依赖关系。
半路出家的coder·2022-10-24 16:27

Apache-airflow 钉钉机器人插件

Directory背景Airflow默认提供邮件和Slack插件发送报警邮件的功能。但是日常我们希望通过钉钉机器人形式发送。
Lyle-liang·2022-10-24 16:56

Airflow 报警邮件定制化

使用过airflow的应该都知道，通过在DAG文件中配置default_args可以设置邮件，但是收到过邮件的人都会发现邮件内容非常的少，有些必要信息并不会显示出来，这样就不能满足我们的生产需求，因此本文主要讲解如何定制化自己的邮件内容
雷禄辉·2022-10-24 16:25

OSCS开源安全周报第7期：本周投毒对象均为 NPM 仓库

本周安全态势综述OSCS社区共收录安全漏洞33个，公开漏洞值得关注的是ApacheFlume存在JNDI注入漏洞（CVE-2022-34916），ApacheAirflowDockerProvider<
开源生态安全OSCS·2022-10-12 21:44

OpenMLDB Airflow Connector：让 MLOps 工作流更自由

今天的这篇文章要和大家介绍的就是OpenMLDB又一新生态组件——OpenMLDBAirflowConnector！
·2022-09-23 16:55

OpenMLDB v0.6.0 发布 | 便捷性、可用性大幅提升！

在本次的版本升级中，主要引入或者增强了以下产品特性：全新的智能诊断工具：实验功能上线，便于问题排查进一步开源生态整合：完成和Airflow整合SQL语法持续增强：多场景使用，高可用性增强升级一全新的智能诊断工具上线
·2022-09-23 12:43

OSCS开源安全周报第7期：本周投毒对象均为 NPM 仓库

本周安全态势综述OSCS社区共收录安全漏洞33个，公开漏洞值得关注的是ApacheFlume存在JNDI注入漏洞（CVE-2022-34916），ApacheAirflowDockerProvider<
·2022-08-22 19:51

Airflow离线升级(1.10.0-＞2.2.3)文档

Airflow离线升级(1.10.0->2.2.3)文档钉钉交流群:35701608钉钉交流群:35701608钉钉交流群:35701608计划离线部署airflow1.10.0#目前生产环境的版本升级至
西安音乐学院·2022-08-16 07:23

日均 6000+ 实例，TB 级数据流量，Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”？

在调度系统选型初期，我们团队技术栈以JVM语言为主，由于Airflow的结构体系无法进行充分
·2022-06-30 16:05

Airflow 动态创建Task

importairflowimportMySQLdbfromimpala.utilimportas_pandasfromairflowimportDAGfromairflow.operators.dummy_operatorimportDummyOperatorfromairflow.operators.bash_operatorimportBashOperator
灯火gg·2022-05-12 11:48

解决airflow中conda环境激活问题

背景使用Airflow官方镜像+miniconda搭建任务调度环境，之前使用的是airflow-python3.8的镜像，用root在miniconda中安装了一个python3.8的环境，任务调度时没有激活环境
Pianist Of Keyboard·2022-05-12 07:27

Azkaban快速入门

总结一下关于Azkaban的使用，方便大家使用Azkaban快速实现企业级自动化任务如何选择市面上的任务调度工具简单的任务Linuxcrontab是用来定期执行程序的命令复杂的任务Oozie/Azkaban/Airflow
·2022-04-27 00:43

nginx an upstream response is buffered to a temporary file

49939anupstreamresponseisbufferedtoatemporaryfile/var/cache/nginx/proxy_temp/6/14/0000000146whilereadingupstream,client:xxx.xxx.xxx.x,server:airflow.yid
Darker_坤·2022-02-19 10:02

大数据生态圈技术整理

组件类型(本文还未写完)文件系统HDFS调度系统OozieAzkabanAirflow管理系统ZookeeperYARNAmbariClouderaManagerHue数据存储HDFSHBaseCarbonDataAccumulo
非常强壮的蚂蚁·2022-02-18 02:41

3. airflow UI

通过AirflowUI，您可以轻松监控数据工作流并对其进行故障排除。以下是您可以在AirflowUI中找到的一些功能和可视化的快速概述。
奥润橘·2022-02-17 02:27

Airflow 中文文档：安全

默认情况下，所有门都打开。限制对Web应用程序的访问的一种简单方法是在网络级别或使用SSH隧道执行此操作。但是，可以通过使用其中一个提供的后端或创建自己的后端来打开身份验证。请务必查看ExperimentalRestAPI以保护API。Web身份验证密码最简单的身份验证机制之一是要求用户在登录前指定密码。密码身份验证需要在需求文件中使用password子包。密码哈希在存储密码之前使用bcrypt。
布客飞龙·2022-02-16 21:24

1day漏洞反推技巧实战(3)

代码审计必备技能,github代码对比,写一笔:搜索某开源组建漏洞,搜索出来某个版本rce:通过消息得出:存在漏洞版本:1.10.10,修复漏洞版本1.10.11去github寻找apache-airflow
飘渺红尘✨·2022-02-14 18:00

airflow-kubernetes_executor源码分析

airflow-kubernetes_executor源码分析上一篇分析了调度部分，今天继续分析执行器KubernetesExecutor/Users/yangxue.chen/code/python/
陈先生_9e91·2022-02-14 05:06

任务调度系统系列之Airflow

本文的主要内容是来自对官方文档和网上相关资料的调研，并非基于实际使用的经验总结，文章中难免会有一些不尽的细节或者关于Airflow错误的观点，如有不当之处，欢迎指正交流。
·2022-01-22 00:11

利用 Amazon Batch 来为容器化负载调用海量云端算力

前言ApacheAirflow(以下简称为Airflow)是一项由Airbnb在2014年推出的开源项目，其目的是为了管理日益复杂的数据管理工具、脚本和分析工具，提供一个构建批处理工作流的方案。
·2022-01-14 15:12

使用Amazon CDK部署基于Amazon Fargate的高可用、易扩展的Airflow集群

前言ApacheAirflow(以下简称为Airflow)是一项由Airbnb在2014年推出的开源项目，其目的是为了管理日益复杂的数据管理工具、脚本和分析工具，提供一个构建批处理工作流的方案。
·2022-01-14 12:55

大数据面试题

大数据面试题一、Linux常用高级命令二、shell三、hadoop四、zookeeper五、flume（三件事）六、Kafka（23件事）七、hive八、Sqoop九、AzkabanoozieairflowDolphinScheduler
cpuCode·2021-11-24 19:15

Airflow 从入门到精通-03-完整 ETL 实例

本节将讲述使用Connection、MyqLOperator、XComs来实现一个完整的airflowETL。
·2021-09-07 20:04

SmartNews：基于 Flink 加速 Hive 日表生产的实践

本文介绍了SmartNews利用Flink加速Hive日表的生产，将Flink无缝地集成到以Airflow和Hive为主的批处理系统的实践。详细介绍过程中遇到的技术挑战和应对方案，以供社区分享。
·2021-08-24 19:15

SmartNews：基于 Flink 加速 Hive 日表生产的实践

简介：将Flink无缝地集成到以Airflow和Hive为主的批处理系统的技术挑战和应对方案。
·2021-08-20 10:50

使用AirFlow调度MaxCompute

简介：airflow是Airbnb开源的一个用python编写的调度工具，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行，通过python代码定义子任务，并支持各种Operate
·2021-08-10 12:36

DataWorks搬站方案：Airflow作业迁移至DataWorks

简介：DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-07-27 19:36

DataWorks搬站方案：Azkaban作业迁移至DataWorks

简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-07-27 19:36

油猴引用外部文件

1.油猴插件处使用require引用外部文件//==UserScript==//@requirefile://D:\project\dream-projects\airflow_tampermonkey
moly琴·2021-07-20 17:36

调度神器airflow-安装

什么是airflowAirflow是Airbnb开发的用于管理工作流的开源项目，自带ui和调度，目前已成为Apache顶级项目。
星辰fml·2021-06-27 14:09

Airflow | 脚本东零西散？Airflow 快速搭建 pipeline（超详细）

目录原创声明前言什么是Airflow一、部署本地部署（生产推荐）1)数据库安装：2)Airflow本体部署本地部署可能出现的问题及其解决方法Docker部署（测试推荐）二、运行Dag三、加入你的dag总结参考资料授权须知原创声明本文为
HinGwenWoong·2021-06-25 17:23

RuntimeError: By default one of Airflow's dependencies installs a GPL dependency (unidecode). 和 C...

今天安装Apache-airflow的时候遇到了一点问题，最后解决的，希望可以帮到遇到同样问题的人。
0bbe943b8a86·2021-06-23 22:48

airflow 2.x 分布式部署实战（qbit）

前言试验开始使用的MySQL8作为数据库，截至2021.5.13，airflow2.0.2的这个问题未解决，所以转为使用PostgreSQL12airflow是DAG(有向无环图)的任务管理系统，简单的理解就是一个高级版的
·2021-06-18 21:33

DataWorks搬站方案：Airflow作业迁移至DataWorks

简介：DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-06-18 21:38

DataWorks搬站方案：Azkaban作业迁移至DataWorks

简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-06-18 21:37

百度云安装airflow初体验（2019-12-12）

项目要搞个airflow来做任务排布，自己先在百度云上做实验（不要用1*1的服务器，带不动，哭。。。）下面是流水账，开始。。。百度云安装：1.重装的新系统，Centos7.5。
sean5000·2021-06-13 04:40

大数据平台 —— 调度系统 - Azkaban

Azkaban介绍常见的开源调度框架：LinuxCrontab：针对个人用户及小任务量ApacheOozie：功能强大，配置复杂的Hadoop任务调度框架Azkaban：开源的工作流管理器，轻量级调度框架AirFlow
端碗吹水·2021-06-12 23:59

Airflow 初探

本文原载于：https://old-panda.com/2018/10/26/airflow-101/距离上回写小作文过了多半年，这几个月来发生了一些事情，最大的就是这个月初我换了工作，从、PaloAlto
Old_Panda·2021-06-04 14:09
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他