airflow

【大数据笔记】SQL Optimizer 解析

2.数据开发数据开发层次，主要技术包括Airflow、DAG等，主要工作是集群创建。3.权限管控权限管控层次，主要技术包括ApacheRanger、GDPR等，主要工作是集群创建。4.分析引擎（SQL
唐浮·2023-09-14 18:18

centos7安装airflow2.7.1

/configure--prefix=/usr/local/python3make&&makeinstall随后用ln-s短链接python3和pip3airflow安装版本2.7.1exportAIRFLOW_HOME
chaogaoxiaojifantong·2023-09-10 20:03

【补充】助力工业物联网，工业大数据之AirFlow安装

【补充】助力工业物联网，工业大数据之AirFlow安装直接在node1上安装1、安装Python安装依赖yum-yinstallzlibzlib-develbzip2bzip2-develncursesncurses-develreadlinereadline-developensslopenssl-developenssl-staticxzlzmaxz-develsqlitesqlite-dev
Maynor996·2023-09-06 05:06

grep 、awk、 xargs

ps-ef|grep-Ei'(airflow-webserver)'|grepmaster|awk'{print$2}'|xargs-ikill{
chliar·2023-09-05 10:24

OSCS 安全周报第 58 期：VMware Aria Operations SSH 身份验证绕过漏洞 (CVE-2023-34039)

本周安全态势综述OSCS社区共收录安全漏洞3个，公开漏洞值得关注的是VMwareAriaOperationsSSH身份验证绕过漏洞(CVE-2023-34039)、ApacheAirflowSparkProvider
开源生态安全OSCS·2023-09-05 06:05

调度工具Airflow

1.什么是Airflow Airflow是Airbnb开源的datapipeline调度和监控工作流的平台，用于用来创建、监控和调整datapipeline(ETL)。
xieyan0811·2023-09-04 14:09

python airflow_Airflow的部署（全网图文结合最全）

本篇文章只讲Airflow的部署以及再部署中遇到的坑和解决方式环境准备Python的安装python安装的过程中你可能会遇到各种各样的问题，上网搜各种问题的解法也不尽相同，最关键的是基本没啥效果。
weixin_39866817·2023-09-02 04:28

Apache Airflow单机/分布式环境搭建

[TOC]Airflow简介ApacheAirflow是一个提供基于DAG（有向无环图）来编排工作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。
端碗吹水·2023-09-02 01:53

Apache Airflow 多个 Provider 存在漏洞

项目介绍Airflow是一个使用python语言编写的datapipeline调度和监控工作流的平台。
棱镜七彩·2023-09-01 10:12

【高危】Apache Airflow Spark Provider 反序列化漏洞 (CVE-2023-40195)

zhi.oscs1024.com漏洞类型反序列化发现时间2023-08-29漏洞等级高危MPS编号MPS-qkdx-17bcCVE编号CVE-2023-40195漏洞影响广度广漏洞危害OSCS描述ApacheAirflowSparkProvider
开源生态安全OSCS·2023-09-01 10:40

助力工业物联网，工业大数据之服务域：Shell调度测试【三十三】

Oracle与MySQL调度方法知识点11：大数据组件调度方法知识点07：Shell调度测试目标：实现Shell命令的调度测试实施需求：使用BashOperator调度执行一条Linux命令代码创建#默认的Airflow
Maynor996·2023-08-28 19:37

airflow调度和触发

airflow调度和触发是通知DAG周期性运行的机制。schedule_interval参数是调度和触发的参数，有cron表达式和datetime.timedelta对象，另外也可以用preset。
似水之星·2023-08-27 19:00

001-使用docker安装airflow

前言操作系统MacOS：10.15.7dockerdesktop：3.6.0安装步骤1.下载镜像$dockerpullpuckel/docker-airflowimage.png2.创建挂载目录先理解下面两个问题
转身丶即天涯·2023-08-27 17:27

linux进程和进程管理在生产是如何运用的

并对进程进行管理，或者说根据任务的优先级别对进程kill掉，释放资源查看进程，查看端口号：打印目前正在运行的进程的内容及pid:ps-ef可以用|grepxxx进行过滤yj@JD:~$ps-ef|grepairflow
夜空痕·2023-08-25 15:43

Airflow rest_api 插件部署

一.描述ApluginforApacheAirflowthatexposesRESTendpointsfortheCommandLineInterfaceslistedintheairflowdocumentation
灯火gg·2023-08-24 00:38

【数据治理】WKC+Minio+Airflow --20230821（链接）

https://blog.csdn.net/m0_46629123/article/details/132413616
i see the future·2023-08-23 20:15

【高危】Apache Airflow Spark Provider 任意文件读取漏洞 （CVE-2023-40272）

漏洞描述ApacheAirflowSparkProvider是ApacheAirflow项目的一个插件，用于在Airflow中管理和调度ApacheSpark作业。
开源生态安全OSCS·2023-08-23 07:58

OSCS开源安全周报第 56 期：Apache Airflow Spark Provider 任意文件读取漏洞

OSCS社区共收录安全漏洞3个，公开漏洞值得关注的是ApacheNiFi连接URL验证绕过漏洞(CVE-2023-40037)、PowerJob未授权访问漏洞(CVE-2023-36106)、ApacheAirflowSparkProvider
开源生态安全OSCS·2023-08-22 06:50

Airflow解析

0x00前言最近项目原因，调研了一下Airflow，作为Airbnb开源到Apache的项目，主要解决任务调度执行的问题。
ehocchen·2023-08-21 07:09

air flow空调上是什么意思_air flow空调滤芯上是什么意思

airflow的意思是空气流向，这个标志是帮助安装的技师区分正反面的，如果装反了，那空调滤芯是无法起到过滤空气的作用的。汽车上都是有空调滤芯的，空调滤芯可以过滤空气保持车内空气的洁净。
君子作歌·2023-08-20 03:42

air flow空调上是什么意思_airflow空调滤芯上是什么意思

airflow的意思是空气流向，这一标记符号是帮助安装的技师区分正反面的，假如装反了，那空调滤芯是无法起到过滤空气的作用的。汽车上基本都是有空调滤芯的，空调滤芯可以过滤空气维持车里面空气的清洁。
weixin_39809540·2023-08-20 03:42

airflow是什么

Airflow简介Airflow是一个基于有向无环图(DAG)的可编程、调度和监控的工作流平台，它可以定义一组有依赖的任务，按照依赖依次执行。
FeelTouch Labs·2023-08-20 03:10

Airflow运维部署功能调研

目录1.安装Airflow1.1安装简介1.2安装须知1.3安装准备1.4安装Python3.x1.4.1安装Anaconda【方式1】
数据与后端架构提升之路·2023-08-20 02:47

从今天起，重新出发

2018年我开始工作，简单记录了使用Airflow的踩坑记录。一直到今天我已经是一个工作了五年的社畜，但是很遗憾没有把工作中的成长记录下来。
码农李某·2023-08-20 00:23

Airflow2 日志使用vector写入Elastic Search

文章目录组件步骤坑组件ElasticSearch-7.15.2vector-0.17.3Airflow-2.2.1步骤启动elasticsearch跟kibana（可选，但是启动起来能看es里面的数据，
Greetlist·2023-08-19 19:10

antd upload组件上传表格文件（React jsx TS写法），modal弹窗重新打开时强制销毁历史导入文件

//上传弹窗渲染constuploadProps:UploadProps={name:'file',action:`${API_HOST}/monitor/monitorAirflowAlarmConfig
溯流2021·2023-08-18 12:25

定时任务调度系统调研

候选：airflowSaturncronsunAzkabanXXL-JOBwebcronspring的@Scheduled注解选型诉求：定时任务集中管理，有管理界面，能看任务日志。
天下无敌笨笨熊·2023-08-17 13:31

【中危】Apache Airflow Drill Provider ＜ 2.4.3 存在任意文件读取漏洞

漏洞描述ApacheAirflowDrillProvider是ApacheAirflow项目中的一个模块，用于提供与ApacheDrill数据引擎的集成。
墨菲安全·2023-08-16 17:53

Airflow集群搭建

部署节点cdhnode1：webserverschedulerworkercdhnode2：workerflowercdhnode3：worker访问地址Airflow：xxxFlower：xxx同步物料
哥本哈登_sketch·2023-08-11 23:41

【严重】Apache Airflow Run Task 权限绕过漏洞

漏洞描述Airflow是一个开源的工作流自动化平台，它允许用户定义、调度和监视工作流任务的执行。RunTask是通过Airflow的Web界面或命令行工具。
墨菲安全·2023-08-10 21:52

airflow环境搭建与使用

前言初到一家创业公司，环境艰苦，什么都得自己搭建二.安装当前系统：Ubuntu18.04.2LTS(GNU/Linux4.15.0-48-genericx86_64)1.初始化：pipinstallapache-airflow
城中山谷·2023-08-09 01:04

airflow 时区备忘

1推荐设置airflow.cfg中[core]default_timezone为UTC.这是官方推荐的.default_timezone这个配置有两个作用:为了防止你输入了一些nativetime,会默认采用这个时区
__XY__·2023-08-07 16:50

阿里云oss存储

一、统计大小#批量获取目录大小paths="oss://save_path/cdp_airflow-logsoss://save_path/jvairflow-logs"forpathin${paths
盛源_01·2023-08-02 09:07

在centos执行airflow initdb 时出现ModuleNotFoundError: No module named ‘_sqlite3‘的问题，应该怎么解决

这个问题通常是由于缺少SQLite3库导致的。可以尝试以下步骤来解决此问题：1.安装SQLite3库，可以执行以下命令：```sudoyuminstallsqlite-devel```2.重新编译Python，启用SQLite3支持，可以执行以下步骤：```wgethttps://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgztarxvfPytho
刘念贤·2023-08-02 06:54

Airflow：TypeError an integer is required (got type NoneType) 一次诡异问题排查

当使用rabbitmq作为airflow的broker的时候，启动scheduler，即执行airflowscheduler命令的时候抛出以下异常:Traceback(mostrecentcalllast
weixin_30426957·2023-07-29 21:46

编写一个Dag作业Demo

假设我们有一个在线商店，需要对每天的订单数据进行分析，得出以下指标：总销售额总订单数每种商品的销售额和销售数量排名每个省份的销售额和销售数量排名我们可以使用Airflow编写一个DAG作业，每天自动运行
、小H·2023-07-28 03:05

使用 Apache DolphinScheduler 进行 EMR 任务调度

在AmazonEMR中，可以使用AWS提供StepFunction，托管AirFlow，以及ApacheOozie或Azkaban进行作业的调用。
DolphinScheduler社区·2023-07-28 01:54

centos7搭建airflow2.6.3教程

一、环境说明：python3.9.6mysql5.7数据库基础环境自行安装，本教程不包含基础环境部分二、安装airflow2.6.31.安装Linux系统依赖模块yum-yinstallzlib-develbzip2
小太阳，乐向上·2023-07-26 20:03

大数据--浅谈SQL Optimizer 解析

数据开发数据开发层次，主要技术包括Airflow、DAG等，主要工作是集群创建。权限管控权限管控层次，主要技术包括ApacheRanger、GDPR等，主要工作是集群创建。
阿通666·2023-07-26 02:15

airflow的宏

airflow的宏和变量可以用于模版（templates）。默认变量所有的模版中都可以访问airflow引擎传输默认的变量。
似水之星·2023-07-25 15:51

Dask介绍

这类似于Airflow、Luigi、Celery或Make，但针对交互式计算工作负载进行了优化。
白日与明月·2023-07-25 11:09

airflow 介绍 airflow是什么 了解 airflow

故事背景：为准备大数据数据分析源，需要准确，有效，大量,实时稳定的数据源，即是需要完成一个ETL系统刚好就想到了airflow主要功能：执行cron并保留记录的可视化追踪，其后端可用mysql和postgres
往事随风_7c02·2023-07-24 23:04

airflow 在 docker 中的安装与使用

文章目录airflow在docker中的安装与使用简介airflow镜像环境变量配置信息dagspip包的安装挂载目录部署airflow.cfg配置文件修改示例加载邮件时区登录配置其他配置信息目录结构与文件
dxccccccccccc·2023-07-17 20:36

【中危】Apache Airflow ODBC Provider 远程代码执行漏洞

漏洞描述ApacheAirflow是一个开源的任务和工作流管理平台，ODBCProvider是ApacheAirflow的一个数据库管理/插件。
墨菲安全·2023-07-17 18:39

Airflow从入门到实战（万字长文）

文章目录Airflow基本概念概述名词Airflow安装Airflow官网安装Python环境安装Miniconda创建Python3.8环境安装Airflow启动停止脚本安装后的一些细节问题修改数据库为
Alienware^·2023-07-17 16:18

python attributeerror nonetype_Python - AttributeError：'NoneType' object没有属性'execute'

我正在尝试运行一个登录到AmazonRedshiftDB然后执行SQL命令的python脚本.我使用名为Airflow的工具进行工作流管理.运行以下代码时，我可以正常登录到数据库但是在尝试执行SQL命令时会出现以下错误
Cindy酱·2023-07-16 13:08

Unsupported URL protocol“ error in Airflow DAG log

镜像apache/airflow:2.5.1-python3.8问题描述有些时候手动执行dag或者新增dag就会出现在会出现这个问题***Logfiledoesnotexist:/opt/airflow
Pianist Of Keyboard·2023-07-16 13:38

Airflow 有关task并行度的问题

有三个参数可以用来控制airflow运行的并行度parallelism：这是用来控制每个airflowworker可以同时运行多少个task实例。这是airflow集群的全局变量。
cyangssrs·2023-06-23 17:09

大数据中台技术组件

Impala,Presto在线实时分析：ClickHouse，Kylin，Doris，Druid，Kudu等资源调度：YARN，Mesos，Kubernetes任务调度：Oozie，Azakaban，AirFlow
TURING.DT·2023-06-22 16:31

OpenMLDB v0.6.0 发布 | 便捷性、可用性大幅提升！

在本次的版本升级中，主要引入或者增强了以下产品特性：全新的智能诊断工具：实验功能上线，便于问题排查进一步开源生态整合：完成和Airflow整合SQL语法持续增强：多场景使用，高可用性增强升级一全新的智能诊断工具上线
·2023-06-21 11:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他