Airflow

OpenMLDB Airflow Connector：让 MLOps 工作流更自由

今天的这篇文章要和大家介绍的就是OpenMLDB又一新生态组件——OpenMLDBAirflowConnector！
·2022-09-23 16:55

OpenMLDB v0.6.0 发布 | 便捷性、可用性大幅提升！

在本次的版本升级中，主要引入或者增强了以下产品特性：全新的智能诊断工具：实验功能上线，便于问题排查进一步开源生态整合：完成和Airflow整合SQL语法持续增强：多场景使用，高可用性增强升级一全新的智能诊断工具上线
·2022-09-23 12:43

OSCS开源安全周报第7期：本周投毒对象均为 NPM 仓库

本周安全态势综述OSCS社区共收录安全漏洞33个，公开漏洞值得关注的是ApacheFlume存在JNDI注入漏洞（CVE-2022-34916），ApacheAirflowDockerProvider<
·2022-08-22 19:51

Airflow离线升级(1.10.0-＞2.2.3)文档

Airflow离线升级(1.10.0->2.2.3)文档钉钉交流群:35701608钉钉交流群:35701608钉钉交流群:35701608计划离线部署airflow1.10.0#目前生产环境的版本升级至
西安音乐学院·2022-08-16 07:23

日均 6000+ 实例，TB 级数据流量，Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”？

在调度系统选型初期，我们团队技术栈以JVM语言为主，由于Airflow的结构体系无法进行充分
·2022-06-30 16:05

Airflow 动态创建Task

importairflowimportMySQLdbfromimpala.utilimportas_pandasfromairflowimportDAGfromairflow.operators.dummy_operatorimportDummyOperatorfromairflow.operators.bash_operatorimportBashOperator
灯火gg·2022-05-12 11:48

解决airflow中conda环境激活问题

背景使用Airflow官方镜像+miniconda搭建任务调度环境，之前使用的是airflow-python3.8的镜像，用root在miniconda中安装了一个python3.8的环境，任务调度时没有激活环境
Pianist Of Keyboard·2022-05-12 07:27

Azkaban快速入门

总结一下关于Azkaban的使用，方便大家使用Azkaban快速实现企业级自动化任务如何选择市面上的任务调度工具简单的任务Linuxcrontab是用来定期执行程序的命令复杂的任务Oozie/Azkaban/Airflow
·2022-04-27 00:43

nginx an upstream response is buffered to a temporary file

49939anupstreamresponseisbufferedtoatemporaryfile/var/cache/nginx/proxy_temp/6/14/0000000146whilereadingupstream,client:xxx.xxx.xxx.x,server:airflow.yid
Darker_坤·2022-02-19 10:02

大数据生态圈技术整理

组件类型(本文还未写完)文件系统HDFS调度系统OozieAzkabanAirflow管理系统ZookeeperYARNAmbariClouderaManagerHue数据存储HDFSHBaseCarbonDataAccumulo
非常强壮的蚂蚁·2022-02-18 02:41

3. airflow UI

通过AirflowUI，您可以轻松监控数据工作流并对其进行故障排除。以下是您可以在AirflowUI中找到的一些功能和可视化的快速概述。
奥润橘·2022-02-17 02:27

Airflow 中文文档：安全

默认情况下，所有门都打开。限制对Web应用程序的访问的一种简单方法是在网络级别或使用SSH隧道执行此操作。但是，可以通过使用其中一个提供的后端或创建自己的后端来打开身份验证。请务必查看ExperimentalRestAPI以保护API。Web身份验证密码最简单的身份验证机制之一是要求用户在登录前指定密码。密码身份验证需要在需求文件中使用password子包。密码哈希在存储密码之前使用bcrypt。
布客飞龙·2022-02-16 21:24

1day漏洞反推技巧实战(3)

代码审计必备技能,github代码对比,写一笔:搜索某开源组建漏洞,搜索出来某个版本rce:通过消息得出:存在漏洞版本:1.10.10,修复漏洞版本1.10.11去github寻找apache-airflow
飘渺红尘✨·2022-02-14 18:00

airflow-kubernetes_executor源码分析

airflow-kubernetes_executor源码分析上一篇分析了调度部分，今天继续分析执行器KubernetesExecutor/Users/yangxue.chen/code/python/
陈先生_9e91·2022-02-14 05:06

任务调度系统系列之Airflow

本文的主要内容是来自对官方文档和网上相关资料的调研，并非基于实际使用的经验总结，文章中难免会有一些不尽的细节或者关于Airflow错误的观点，如有不当之处，欢迎指正交流。
·2022-01-22 00:11

利用 Amazon Batch 来为容器化负载调用海量云端算力

前言ApacheAirflow(以下简称为Airflow)是一项由Airbnb在2014年推出的开源项目，其目的是为了管理日益复杂的数据管理工具、脚本和分析工具，提供一个构建批处理工作流的方案。
·2022-01-14 15:12

使用Amazon CDK部署基于Amazon Fargate的高可用、易扩展的Airflow集群

前言ApacheAirflow(以下简称为Airflow)是一项由Airbnb在2014年推出的开源项目，其目的是为了管理日益复杂的数据管理工具、脚本和分析工具，提供一个构建批处理工作流的方案。
·2022-01-14 12:55

大数据面试题

大数据面试题一、Linux常用高级命令二、shell三、hadoop四、zookeeper五、flume（三件事）六、Kafka（23件事）七、hive八、Sqoop九、AzkabanoozieairflowDolphinScheduler
cpuCode·2021-11-24 19:15

Airflow 从入门到精通-03-完整 ETL 实例

本节将讲述使用Connection、MyqLOperator、XComs来实现一个完整的airflowETL。
·2021-09-07 20:04

SmartNews：基于 Flink 加速 Hive 日表生产的实践

本文介绍了SmartNews利用Flink加速Hive日表的生产，将Flink无缝地集成到以Airflow和Hive为主的批处理系统的实践。详细介绍过程中遇到的技术挑战和应对方案，以供社区分享。
·2021-08-24 19:15

SmartNews：基于 Flink 加速 Hive 日表生产的实践

简介：将Flink无缝地集成到以Airflow和Hive为主的批处理系统的技术挑战和应对方案。
·2021-08-20 10:50

使用AirFlow调度MaxCompute

简介：airflow是Airbnb开源的一个用python编写的调度工具，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行，通过python代码定义子任务，并支持各种Operate
·2021-08-10 12:36

DataWorks搬站方案：Airflow作业迁移至DataWorks

简介：DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-07-27 19:36

DataWorks搬站方案：Azkaban作业迁移至DataWorks

简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-07-27 19:36

油猴引用外部文件

1.油猴插件处使用require引用外部文件//==UserScript==//@requirefile://D:\project\dream-projects\airflow_tampermonkey
moly琴·2021-07-20 17:36

调度神器airflow-安装

什么是airflowAirflow是Airbnb开发的用于管理工作流的开源项目，自带ui和调度，目前已成为Apache顶级项目。
星辰fml·2021-06-27 14:09

Airflow | 脚本东零西散？Airflow 快速搭建 pipeline（超详细）

目录原创声明前言什么是Airflow一、部署本地部署（生产推荐）1)数据库安装：2)Airflow本体部署本地部署可能出现的问题及其解决方法Docker部署（测试推荐）二、运行Dag三、加入你的dag总结参考资料授权须知原创声明本文为
HinGwenWoong·2021-06-25 17:23

RuntimeError: By default one of Airflow's dependencies installs a GPL dependency (unidecode). 和 C...

今天安装Apache-airflow的时候遇到了一点问题，最后解决的，希望可以帮到遇到同样问题的人。
0bbe943b8a86·2021-06-23 22:48

airflow 2.x 分布式部署实战（qbit）

前言试验开始使用的MySQL8作为数据库，截至2021.5.13，airflow2.0.2的这个问题未解决，所以转为使用PostgreSQL12airflow是DAG(有向无环图)的任务管理系统，简单的理解就是一个高级版的
·2021-06-18 21:33

DataWorks搬站方案：Airflow作业迁移至DataWorks

简介：DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-06-18 21:38

DataWorks搬站方案：Azkaban作业迁移至DataWorks

简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
·2021-06-18 21:37

百度云安装airflow初体验（2019-12-12）

项目要搞个airflow来做任务排布，自己先在百度云上做实验（不要用1*1的服务器，带不动，哭。。。）下面是流水账，开始。。。百度云安装：1.重装的新系统，Centos7.5。
sean5000·2021-06-13 04:40

大数据平台 —— 调度系统 - Azkaban

Azkaban介绍常见的开源调度框架：LinuxCrontab：针对个人用户及小任务量ApacheOozie：功能强大，配置复杂的Hadoop任务调度框架Azkaban：开源的工作流管理器，轻量级调度框架AirFlow
端碗吹水·2021-06-12 23:59

Airflow 初探

本文原载于：https://old-panda.com/2018/10/26/airflow-101/距离上回写小作文过了多半年，这几个月来发生了一些事情，最大的就是这个月初我换了工作，从、PaloAlto
Old_Panda·2021-06-04 14:09

工作流调研 oozie vs azkaban

公司内现在已经有团队在使用Airflow，运维UI界面以及对开发的友好性上貌似都要好于Oozie，本文只针对14年的调研对比结果，有空会对比一下两个系统流程Java主流程代码，Shell/Python代码对主流程调用
UniMan·2021-05-08 19:13

用Airflow调度数仓（CK）的ETL脚本

安装前提：安装了python，我这里是python3下载按照官网：pip3installapache-airflow包太多，下载太慢改为清华的镜像：pip3install-ihttps://pypi.tuna.tsinghua.edu.cn
一篮小土·2021-05-06 21:38

==四种工作流的比较Cascading/Azkaban/Oozie/Hamake

使用Airbnb的Airflow来管理数据工作流-推酷http://www.tuicool.com/articles/JzIFNn工作流调研oozievsazkaban-http://www.jianshu.com
葡萄喃喃呓语·2021-05-03 14:42

Ansible Role 大数据 之【airflow】

AnsibleRole:airflow安装airflow介绍Airflow被Airbnb内部用来创建、监控和调整数据管道。
lework·2021-04-29 02:26

DataWorks搬站方案：Airflow作业迁移至DataWorks

简介：DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
阿里云云栖号·2021-04-25 14:09

DataWorks搬站方案：Azkaban作业迁移至DataWorks

简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。
阿里云云栖号·2021-04-25 13:07

Airflow 中文文档：使用Mesos扩展（社区贡献）

有两种方法可以将气流作为mesos框架运行：直接在mesos从站上运行气流任务，要求每个mesos从站安装和配置气流。在安装了气流的docker容器内运行气流任务，该容器在mesosslave上运行。任务直接在mesos从站上执行MesosExecutor允许您在Mesos群集上安排气流任务。为此，您需要一个正在运行的mesos集群，并且必须执行以下步骤-在将运行Web服务器和调度程序的mesos
布客飞龙·2021-04-25 07:05

浅谈调度工具——Airflow

本文将介绍Airflow这一款优秀的调度工具。
泛金融技术·2021-04-23 14:02

654 细雨蒙蒙迎双节

AppThesoftandgentlerainfallsmoisteningthedenseleavesaswellasthetenderpetalsofbloomingflowers.Itcannotblockthesweettourofthefamilydriving.Thethinfogfadesawaywiththeskyclearupandtheairflowingspreadi
梅花之子·2021-04-19 05:35

大数据开发：大数据处理当中的数据调度是什么

当然，数据调度作为数据处理的重要一环，也早已有了很多成熟的解决方案，例如Oozie、Airflow、Zeus、Rundeck、Azkaban等调度平台框架，也是需要逐步去
成都加米谷大数据·2021-04-13 10:26

Airflow知识总结

1.Airflow是什么airflow是apache基金会的顶级开源项目之一，主要用于调度、监控工作流2.airflowmainconceptsairflow的基本组件架构airflowscheduler.jpgscheduler
天剑飞心·2021-04-01 14:30

Airflow 动态指定DAG运行队列

Airflow版本2.0.1根据官网提示，airflow支持hook函数，可以在DAG运行开始之前根据我们触发的参数指定队列https://github.com/apache/airflow/discussions
默默无痕·2021-03-25 19:08

通过AWS EMR降低集群计算成本

2.架构演进2.1技术栈计算框架Spark调度框架Airflow数据存储Hadoop，Mysql数仓工具Hi
·2021-03-16 17:50

主流大数据调度工具对比DolphinScheduler Azkaban Airflow Oozie Xxl-job

下文介绍主流大数据调度工具对比DolphinSchedulerAzkabanAirflowOozieXxl-jobXxl-jobDolphinScheduler（原EasyScheduler）AzkabanAirflowOozie
javastart·2021-02-02 19:32

GitHub 上的顶级项目都是做什么的？

前一阵看到同事在用一个名叫AirFlow的工具，而我竟然素未耳闻，一番搜索之后发现这个工具是Apache的顶级项目，而且在GitHub上有1w+的Star。
chaichai·2021-01-15 19:55

Airflow任务调度延时问题分析和优化

作者|高光轩编辑|高卫华出品|CSDN（ID：CSDNnews）背景airflow作为apache基金会的一款开源的优秀调度系统，目前被国内外很多大中型企业使用；其丰富的算子(operator)类型和极易扩展的支持
高校俱乐部·2021-01-15 16:04
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他