.....DAG

Apache Airflow单机/分布式环境搭建

[TOC]Airflow简介ApacheAirflow是一个提供基于DAG（有向无环图）来编排工作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。
端碗吹水·2023-09-02 01:53

Apache Airflow 多个 Provider 存在漏洞

Airflow是通过DAG（Directedacyclicgraph有向无环图）来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。
棱镜七彩·2023-09-01 10:12

Spark_Spark 中 checkpoint 的正确使用方式 以及 与 cache区别

https://blog.csdn.net/leen0304/article/details/78718346概述checkpoint的意思就是建立检查点，类似于快照，例如在spark计算里面，计算流程DAG
高达一号·2023-09-01 07:22

Spark_Spark比mapreduce快的原因

最重要的3点，数据缓存:中间结果可以缓存在内存中复用资源管理：executortask管理，不同stage的task可以运行在同一个executor上任务调度:dag对比多阶段mr1.任务模型的优化（DAG
高达一号·2023-09-01 07:17

数据结构与算法基础-学习-28-图之拓扑排序

一、相关概念名称描述有向无环图无环的有向图，简称DAG图（DirectedAcyclineGraph）,通常用来描述一个工程或系统的进行过程。
阳光九叶草LXGZXJ·2023-08-30 22:05

go语言Lotus项目开发实战（Lotus设计、命令行、节点API、源码，urfave/cli、jaeger、mux路由……）

2.5、DAG是什么意思？2.6、什么是CAR文件（.car）？2.7、什么是HAMT？2.8、如何理解TipSet3、节点使用4、f
海豹姥爷·2023-08-30 20:46

0829【综述】面向时空数据的区块链研究综述

研究现有区块链1.0、2.0和以Block-DAG为代表的3.0体系架构及性能特点,分析三代区块链架构应用于时空数据时的性能支持度、优化方式以及局限性,并对区块链技术在时空数
不想在幕布氪金·2023-08-30 16:39

拓扑排序

一、定义对一个有向无环图(DirectedAcyclicGraph，DAG)G进行拓扑排序，是指将G中所有顶点排成一个线性序列，使得对于图中任意一对顶点u和v，若顶点u排在顶点v前面，则图中不存在v->
null12·2023-08-28 15:48

airflow调度和触发

airflow调度和触发是通知DAG周期性运行的机制。schedule_interval参数是调度和触发的参数，有cron表达式和datetime.timedelta对象，另外也可以用preset。
似水之星·2023-08-27 19:00

[论文阅读笔记25]A Comprehensive Survey on Graph Neural Networks

具有平移不变性和局部连接性,因此可以在欧氏空间上良好地学习.然而,对于具有图结构的数据(例如社交网络化学分子等)就需要用GNN来学习.最早期的GNN网络是遵循类似RNN的循环迭代式的(RecGNN),主要的对象是DAG
wjpwjpwjp0831·2023-08-27 07:24

有向无环图Directed Acyclic Graph（DAG）

1、DAG有向无环图DirectedAcyclicGraph（DAG）DAG是一个没有有向循环的、有限的有向图。
忄凝^·2023-08-27 06:24

Spark中的DAG介绍

目录1DAG的介绍2Spark中的DAG3DAG解决的问题4DAG是怎么工作4.1工作流程4.2注意点1DAG的介绍DAG:全称为DirectedAcyclicGraph中文为：有向无环图在spark中
芋辕-·2023-08-27 01:05

FATE学习：配置文件解析及V1/V2版本对比

在DSL中，各种模块（例如数据读写data_io，特征工程feature-engineering，回归regression，分类classification）可以通向一个有向无环图（DAG）组织起来。
喵十八·2023-08-24 20:51

【图论】拓扑排序

一.定义拓扑排序是一种对有向无环图（DAG）进行排序的算法，使得图中的每个顶点在排序中都位于其依赖的顶点之后。它通常用于表示一些任务之间的依赖关系，例如在一个项目中，某些任务必须在其他任务之前完成。
SY奇星·2023-08-24 07:44

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

Taier作为袋鼠云的开源项目之一，是一个分布式可视化的DAG任务调度系统。
袋鼠云数栈·2023-08-23 17:10

大数据课程K4——Spark的DAG&&RDD依赖关系

文章作者邮箱：[email protected]地址：广东惠州▲本章节目的⚪了解Spark的DAG；⚪掌握Spark的RDD的依赖关系；⚪了解Spark对于DAG的Stage的划分；一、DAG概念1
伟雄·2023-08-23 08:15

azkaban调研

AzkabanExecutorServer负责具体的工作流和任务的调度提交MySQL用于保存项目、日志或者执行计划之类的信息web界面可以查看任务的dag图,任务执行历史和日志,创建任务的定时调度,手动杀死任务等任务创建
·2023-08-21 12:31

azkaban调研

AzkabanExecutorServer负责具体的工作流和任务的调度提交MySQL用于保存项目、日志或者执行计划之类的信息web界面可以查看任务的dag图,任务执行历史和日志,创建任务的定时调度,手动杀死任务等任务创建
·2023-08-21 11:26

airflow是什么

Airflow简介Airflow是一个基于有向无环图(DAG)的可编程、调度和监控的工作流平台，它可以定义一组有依赖的任务，按照依赖依次执行。
FeelTouch Labs·2023-08-20 03:10

1.flink快速入门

前言下图表示的是一个简单的flink-job的计算图，这种图被称为DAG(有向无环图)，表示的这个任务的计算逻辑，无论是spark、hive、还是flink都会把用户的计算逻辑转换为这样的DAG，数据的计算按照
Object~·2023-08-19 23:01

TIM：项目应用了弹性DAG架构技术、GPS节点标识技术

声明：本测评内容仅供参考，任何依本测评内容作出的投资行为，与本测评内容无关。项目有风险，投资需谨慎。Statement:thecontentsofthisassessmentareforreferenceonly.Anyinvestmentbehaviormadeaccordingtothecontentsofthisassessmentisnotrelatedtothecontentsofthi
脑爆炸·2023-08-19 18:52

Apache DolphinScheduler 诞生记

1概述DAG全称DirectedAcyclicGraph，简称DAG。工作流中的Task任务以有向无环图的形式组装起来，从入度为零
代立冬·2023-08-19 03:29

数据结构--拓扑排序

数据结构–拓扑排序AOV⽹AOV⽹\color{red}AOV⽹AOV⽹(ActivityOnVertexNetWork，⽤顶点表示活动的⽹)：⽤DAG图\color{red}DAG图DAG图（有向⽆环图
Joanh_Lan·2023-08-17 18:52

数据结构--有向⽆环图 描述表达式

数据结构–有向⽆环图描述表达式有向⽆环图\color{red}有向⽆环图有向⽆环图：若⼀个有向图中不存在环\color{red}不存在环不存在环，则称为有向⽆环图，简称DAG图\color{red}DAG
Joanh_Lan·2023-08-17 18:52

随书人物日更dag1___我了解的朱元璋

提起朱元璋我知道最早的是个土皇帝；就是贫苦农民出身，没有多少文化，靠自己一步步打天下取得的皇位。因为我还在上小学的时候，弟弟不小心打碎了蒜臼，邻居家的奶奶对妈妈说：你家孩子有贵处啊！朱元璋当年弄塌了锅台就说元朝塌了半边天，我要来支撑，后来果真当了皇帝。我那时还没上初中没学过中国历史，不知道朱元璋是谁，但从邻居的说话中知道朱元璋是一位了不起的人物，要不怎么能当皇帝呢？朱元璋生于元朝顺帝天历元年，在位
时之花·2023-08-17 15:35

异步编程框架：Workflow的计算调度算法

P.S.原文写于2022年5月份~C++Workflow作为一个异步调度编程范式，对调度的拆解是有几个层次的：用户代码层：提供任务流级别的结构化并发，包括串并联、DAG和复合任务等，用于管理业务逻辑，组织要做的事情的依赖关系
·2023-08-16 19:16

第三章 图论 No.13拓扑排序

文章目录裸题：1191.家谱树差分约束+拓扑排序：1192.奖金集合+拓扑序：164.可达性统计差分约束+拓扑序：456.车站分级拓扑序和DAG有向无环图联系在一起，通常用于最短/长路的线性求解裸题：1191
.SacaJawea·2023-08-16 07:31

每天一道leetcode：797. 所有可能的路径（图论&中等&深度优先遍历）

今日份题目：给你一个有n个节点的有向无环图（DAG），请你找出所有从节点0到节点n-1的路径并输出（不要求按特定顺序）graph[i]是一个从节点i可以访问的所有节点的列表（即从节点i到节点graph[
杜若南星·2023-08-15 23:49

2018.07.09晨间日志

2018.07.09星期一，厦门，25-33℃，多云【昨晚睡觉】22:24【今早起床】5:32图片发自App【三只青蛙】:1、孩子今日暑期作业录制(1个番茄)2、中级财管第四章学习(15个番茄)3、DAG
多多的阿翠麻麻·2023-08-15 14:20

Python拓扑排序

对于这种依赖关系，很容易将其表示成一个有向无环图（DirectedAcyclicGraph，DAG，无环是一个重要条件），并将寻找其中依赖顺序的过程称为拓扑排序（topologicalsorting）。
轻语风·2023-08-14 20:16

基于K8S环境部署Dolphinscheduler及简单应用

一、Dolphinscheduler简介ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。
gmHappy·2023-08-14 18:18

概率图模型（Probabilistic Graphical Model，PGM）

有向图模型使用有向非循环图（DirectedAcyclicGraph，DAG）来表示变量之间
子燕若水·2023-08-13 19:24

大范围分布式协作要点

无论是名目繁多的共识机制，还是万币齐发的通证经济系统与沐浴着阿波罗理性之光的区块链治理；无论是基于梅克尔树数据结构的区块链，还是基于有向无环数据架构的DAG，归根到底，其目标只有一个，那就是与传统的中心化组织模式有机和合
陶庐·2023-08-13 08:23

snakemake学习

DAG(directedacyclicgraph)：有向无环图条件：1.每个顶点出现且只出现一次。2.若存在一条从顶点A到顶点B的路径，那么在序列中顶点A出现在顶点B的前面。
xiaosine·2023-08-13 02:37

Hive on Tez切换及性能对比

简介Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。
不搬砖的程序员不是好程序员·2023-08-11 14:17

如何提升Hive查询性能:Hive on taz解决方案

其优化原理主要包括以下几个方面：基于DAG的任务调度：Tez使用DirectedAcyclicGraph（DAG）来表示查询计划，并将其转换为一系列有向无环图中的任务。
不鲁诺·2023-08-11 14:47

有向图的强连通分量（SCC）

我们可以通过使用求解强联通分量的方式将一个有向图缩点成有向无环图（DAG
你好世界wxx·2023-08-11 05:55

Spark入门学习

首先需要了解Spark中的一些核心概念：RDD，最核心的数据抽象，全称是弹性分布式数据，是高度受限（只读）的共享内存模型DAG，反映了RDD之间的依赖关系Executor，在工作节点（就是单个机器）上的一个进程
妖皇裂天·2023-08-11 03:31

图论相关总结

di-yi-zhan-da78c/shou-ba-sh-03a72/tu-lun-ji--d55b2/2.代码随想录图论(qq.com)例题1：所有可能路径（考察图的遍历）给你一个有n个节点的有向无环图（DAG
老男孩li·2023-08-10 13:39

airflow 时区备忘

default_timezone这个配置有两个作用:为了防止你输入了一些nativetime,会默认采用这个时区.web页面中有个Server显示的时区是根据此配置来的.2.如果代码中使用,一定要使用awaretime.包括:dag
__XY__·2023-08-07 16:50

大数据开发：Oozie调度框架简介

ApacheOozie是一个用来管理Hadoop任务的工作流调度系统，基于有向无环图的模型（DAG）。Oozie支持大多数的Hadoop任务的组合，常见的有JavaMapReduc
成都加米谷大数据·2023-08-06 19:26

图说系列：dolphinscheduler的工作流程

ApacheDolphinScheduler，是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程
子涵先生·2023-08-06 16:31

python方法解析顺序(MRO与C3算法)

那么确定调用那个哪一个将十分困难.MRO算法python中使用MRO算法来确定方法解析顺序,MRO即MethodResolutionOrderMRO依赖于C3算法,而C3算法的结果则与拓扑排序类似拓扑排序需要一个满足条件的DAG
我傻笑你跑掉·2023-08-06 05:40

使用 AntV X6 + vue 实现单线流程图

使用AntVX6+vue实现单线流程图X6是AntV旗下的图编辑引擎，提供了一系列开箱即用的交互组件和简单易用的节点定制能力，方便我们快速搭建DAG图、ER图、流程图等应用。
易风有点疯·2023-08-05 17:22

六万字！Spark Core、Spark SQL、Spark Streaming一锅端

介绍特点与MapReduce相比技术栈二、Spark架构运行架构核心组件三、SparkCoreRDD概念特性RDD依赖关系DAG分区Shuffle过程RDD创建方式算子常用的转换算子(Scala版)常用的转换算子
菜鸟也学大数据·2023-08-05 02:16

【Apollo学习笔记】—— Cyber RT之调度

文章目录前言相关代码整理调度介绍CyberRT的改进实时操作系统资源限制&优先级协程CyberRT调度策略任务窃取两种任务类型componen组件自定义任务Cyber调度实践配置文件DAG文件cyber_launch
yuan〇·2023-08-04 11:37

Spark 5：Spark Core 内核调度

Spark的任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，将每个Stage中的任务发到指定节点运行。
ZhaoXiangmoStu·2023-08-03 05:49

[学习笔记]支配树

首先不会成环，其次也不会是DAG即如果A支配C，B支配C，那么A和B之间必然有支配关系解法首先是DAG很好做：[ZJOI2012]灾难一般有向图：有环的存在，不能topo方法分三步：转化为找半支配点idom
weixin_34355715·2023-08-03 02:06

【学习笔记】DAG / 一般有向图的支配树 / 灭绝树

定义与声明一个有向图GGG。给定一个起点sss，假设sss能到达所有点。若去掉某个点iii后，sss无法到达jjj，则称iii为jjj的支配点。显然支配点存在传递关系。以sss为根，使得对于任意节点iii，其树上祖先均为iii的支配点，这样的树称之为支配树。（有的人叫做灭绝树）任一有向图都存在支配树，前提是满足sss能到达所有点。支配树不一定是图GGG的树形图，即树上有些边不存在于图GGG中。df
ikrvxt·2023-08-03 02:04

拓扑排序详解（带有C++模板）

目录介绍：实现原理：简答来说：例子模板（C++）介绍：拓扑排序（TopologicalSorting）是一种针对有向无环图（DAG）的节点进行排序的算法。
Cosmoshhhyyy·2023-08-02 12:45
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他