.....DAG

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

LangChain 最近发布的一个重要功能：LangGraph

从数据结构的角度来看，这样的链是一个有向无环图（DAG）。然而，在实践中，用户可能希望使用代理构建循环图。换句话说，代理可以根据模
Python算法实战·2024-02-05 03:22

【算法】BFS解决拓扑排序类算法题（C++）

在数据结构中我们学过：拓扑排序是一种对有向无环图（DAG）进行排序的算法。在对于我们下面的解题，可以理
卜及中·2024-02-04 10:38

vulhub中Apache Airflow 示例dag中的命令注入漏洞复现（CVE-2020-11978）

在其1.10.10版本及以前的示例DAG中存在一处命令注入漏洞，未授权的访问者可以通过这个漏洞在Worker中执行任意命令。
余生有个小酒馆·2024-02-04 07:11

Spark程序执行逻辑迷你版

Driver就是自己写的程序，里面有一个main方法，main方法划分DAG，形成Task，再把Task发出去DAGScheduler的功能，将rdd转换逻辑切分stage，生成taskset然后模拟taskScheduler
{BOOLEAN}·2024-02-03 21:21

Spark基础

Spark基础几个重要的概念：RDD：是弹性分布式数据集（ResilientDistributedDataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型；DAG：是DirectedAcyclicGraph
cjyang·2024-02-01 19:23

spark比mapreduce快的yuanyin

spark是基于内存计算的，而mapreduce会将数据暂存在文件系统中，增加了可靠性但降低了性能DAG有向无环图，spark的有向无环图可以减少shuffle，在不需要其他节点数据的情况下(窄依赖)，
_or·2024-02-01 12:35

Spark比Mapreduce快的原因

DAG计算模型在迭代计算上还是比MapReduce的效率更高。2）DAG有向无环图spark
Rnan-prince·2024-02-01 12:33

为什么Spark比MapReduce快

client提交一个application可能包含多个job，mr中一个mr程序就是一个job，spark中一个DAG就是一个job。
认知偏差·2024-02-01 12:02

大数据之 Spark DAG

SparkDirectedAcyclicGraph(DAG)是ApacheSpark中的核心概念，它用于描述作业（job）的计算逻辑。
转身成为了码农·2024-02-01 12:00

spark处理速度为什么比MapReduce快？

原因那么快的原因主要有两点：基于内存，spark中间结果不落盘（hadoop频繁落盘）有DAG（有向无环图）：来切分任务的执行先后顺序。️对比：MR(mapreduce)：Spark:可以看出MR
CoreDao·2024-02-01 12:29

大数据之 Spark 比 MapReduce 快的原因

DAG执行引擎：Spark支持有向无环图（D
转身成为了码农·2024-02-01 12:57

Airflow原理浅析

Airflow的原理基于有向无环图（DAG）的概念，它通过编写和组织任务的有向图来描述工作流程。
肥猪猪爸·2024-02-01 07:52

Exchange Server 2016 部署系列（六）高可用 DAG

见证目录权限配置本次实验中将使用DC作为见证服务器，需要将ExchangeTrustedSubsytem组加入到见证服务器的本地Administrators组中，在DC中需要使用AD用户和计算机来添加添加ExchangeTrustedSubsytem组到Administrators组中1.png在域控制器上，打开ActiveDirectory用户和计算机，展开域节点“computer”，在右侧窗口
陳陳陳ccc·2024-01-31 23:54

vue使用antv-x6 绘制流程图DAG图（二）

代码：import{Graph,Node,Path,Cell,Addon}from"@antv/x6";import{register}from"@antv/x6-vue-shape";import{Dnd}from"@antv/x6-plugin-dnd";import{MiniMap}from"@antv/x6-plugin-minimap";import{Scroller}from"@ant
小贵子的博客·2024-01-31 11:02

有向无环图DAG与PyTorch动态计算图

1.有向无环图有向无环图（DirectedAcyclicGraph,DAG）是一种特殊的图论结构，它由节点（或称为顶点）和有方向的边组成，并且没有循环路径。
科学禅道·2024-01-30 18:42

MR和Spark的比较

1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数3、spark是粗粒度资源申请
猿来孺词·2024-01-29 10:55

DolphinScheduler + Amazon EMR Serverless 的集成实践

01背景ApacheDolphinScheduler是一个分布式的可视化DAG工作流任务调度开源系统，具有简单易用、高可靠、高扩展性、⽀持丰富的使用场景、提供多租户模式等特性。
亚马逊云开发者·2024-01-29 00:18

Spark作业执行原理

Spark的作业和任务调度系统是Spark的核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。
垫路的石头·2024-01-28 23:12

Java数据结构与算法：拓扑排序

拓扑排序是图论中的一种经典算法，用于对有向无环图（DAG）进行排序。本文将介绍拓扑排序的基本概念、算法原理，并通过Java代码演示其实现方式。拓扑排序简介拓扑排序是对有向图的顶点进行线性排序，使得
qq836869520·2024-01-27 23:38

C++实现并行和异步任务，DAG流水线的开源库-Taskflow

Taskflow是一个基于C++17的开源库，用于实现并行和异步任务的流水线。它提供了一个灵活而高效的框架，使得开发者能够方便地定义和执行任务流程，利用多核处理器的并行性能。以下是Taskflow的简介：主要特点：C++17标准：Taskflow基于C++17标准，充分利用了现代C++的特性，包括lambda表达式、可变模板参数、智能指针等。轻量级且高性能：Taskflow的设计注重轻量级和高性能
zhaoyqcsdn·2024-01-27 18:47

redis 两主两从+哨兵模式

特殊的，一个从机同样可以设置为一个RedisServer的主机，这样一来Master-Slave的分布看起来就是一个有向无环图DAG，如此形成RedisServer集群，无论是主机还是从机都是RedisServ
beishi6738·2024-01-26 14:06

Spark学习笔记五：Spark资源调度和任务调度

一、StageSpark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是
开发者连小超·2024-01-26 04:42

Day 1322：架构师训练营学习总结（w13）

Spark的主要特点是DAG切分多阶段计算、内存存储中间结果、RDD的编程模型。RDD是Spark的核心概念。
kafkaliu·2024-01-25 22:18

Hadoop-YARN概览

可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

suricata使用捕获硬件

这意味着Suricata可以直接使用libdag接口，代替libpcap（它也应该工作）步骤如下：（1）配置DAG支持.
lx_jian·2024-01-24 13:42

spark-flink设计思想之吸星大法-1

Spark的计算模型是基于RDD的转换和动作，通过将一系列的转换操作串联起来形成一个有向无环图（DAG），然后按照任务调度器分配的资源进行计算。Fl
{BOOLEAN}·2024-01-24 07:47

拓扑排序【邻接矩阵&邻接表】

拓扑排序TuoPuSort一、概念我们再说拓扑排序时,我们首先了解下DAG将有向无环图G=(V,E)中的所有顶点排成一个线性序列,使图中任意一对顶点u,v,之间不存在环路DAG是一种特殊的有向图，它由一组顶点和一组有向边组成
aristo_boyunv·2024-01-24 04:22

二分图总结

二分图总结基础知识二分图判定二分图匹配Hungarian算法KM算法二分图覆盖与独立集二分图最小点覆盖二分图最大独立集DAG的最小路径点覆盖DAG的最小路径可重复点覆盖Hall定理HDU6667RoundgodandMilkTea
best_brain·2024-01-23 23:04

Apache DolphinScheduler：深入了解大数据调度工具

一、海豚调度介绍ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。
DolphinScheduler社区·2024-01-23 12:48

搜索与图论第五期 拓扑序列

（嘿嘿嘿）一、拓扑排序定义（百度须知嘿嘿嘿）拓扑排序拓扑排序是一种对有向无环图（DirectedAcyclicGraph，简称DAG）进行的排序过程，目的是将图中所有的顶点按照发生事件的顺序排成一条线性序列
娇娇yyyyyy·2024-01-22 21:08

Apache Zeppelin结合Apache Airflow使用1

ApacheZeppelin结合ApacheAirflow使用1文章目录ApacheZeppelin结合ApacheAirflow使用1前言一、安装Airflow二、使用步骤1.目标2.编写DAG2.加载
旻璿gg·2024-01-22 01:45

大数据之Spark架构设计与工作流程

它负责构建并优化DAG（有向无环图），表示RDD（弹性分布式数据集）操作的执行计划。驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

Peter算法小课堂—拓扑排序与最小生成树

拓扑排序讲拓扑排序前，我们要先了解什么是DAG树。所谓DAG树，就是指“有向无环图”。请判断下列图是否是DAG图第一幅图，它不是DAG图，因为它形成了一个环。
Peter Pan was right·2024-01-21 03:32

操作系统第二章进程的描述与控制课后习题答案

前趋图(PrecedenceGraph)是一个有向无循环图,记为DAG(DirectedAcyclicGraph),用于描述进程之间执行的前后关系。
wenling54321·2024-01-20 12:20

如何控制Dolphinscheduler同一任务不能同时执行多个

Dolphinscheduler架构架构说明MasterServerMasterServer采用分布式无中心设计理念，MasterServer主要负责DAG任务切分、任务提交监控，并同时监听其它MasterServer
码出天空·2024-01-19 16:31

工作流管理框架airflow-安装部署教程

丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道，帮助你管理
Trisyp·2024-01-19 03:40

Airflow大揭秘：如何让大数据任务调度变得简单高效？

这个平台使用Python编写，并通过有向无环图（DirectedAcyclicGraph,DAG）来管理任务流程，使得用户不需要知道业务数据的具体内容，只需设置任务之间的依赖关系，即可实现任务的自动调度
知识分享小能手·2024-01-18 17:59

dolphinscheduler分布式集群部署指南(小白版)

dolphinscheduler.apache.org/zh-cn/docs/3.1.91.1.DolphinScheduler简介摘自官网：ApacheDolphinScheduler是一个分布式易扩展的可视化DAG
嫣夜来·2024-01-18 04:17

Java 数据类型转化（学霸笔记无废话版）

dAg
我是小杨杨·2024-01-18 01:20

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏！

概述ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
DolphinScheduler社区·2024-01-17 14:58

DAG最小路径点覆盖，最小路径可重复覆盖，详解

文章目录前言有向无环图的最小路径点覆盖概念拆点二分图定理**证明**最小路径可重复覆盖解决策略代码实现OJ练习前言关于二分图：二分图及染色法判定关于二分图最大匹配：二分图最大匹配——匈牙利算法详解关于二分图带权最大完备匹配：二分图带权最大匹配-KM算法详解有向无环图的最小路径点覆盖概念给定一张有向无环图，要求用尽量少的不相交的简单路径，覆盖有向无环图的所有顶点(也就是每个顶点恰好被覆盖一次)。这个
EQUINOX1·2024-01-17 06:18

拓扑图算法题-Acwing848. 有向图的拓扑序列

前置知识在图论中，拓扑排序是对有向无环图（DAG，DirectedAcyclicGraph）进行的一种排序。在拓扑排序中，有两个重要的概念，即“入度”和“出度”。
城堡修炼者·2024-01-16 20:16

LLVM入门

前端生产AST树通过各种优化pass生成DAG,然后通过我们的后端生产汇编代码后端过程最后来张图总结一
boring_111·2024-01-15 04:04

【大数据进阶第三阶段之DolphinScheduler学习笔记】深度解析DolphinScheduler(海豚调度)

1、简介ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
Allen_lixl·2024-01-14 09:01

hivesql小技巧

hivesql日志、执行计划怎么看/用DAG图，看多少个stage，每个stage的执行内容，mr任务，执行顺序，过滤条件，是否有按预期做数据裁剪如何判断长尾通过执行日志，查看卡住的任务，记录数、数据量远大于其它的任务
时光赠予·2024-01-14 07:40

大数据调度框架Oozie，这个学习网站让你事半功倍！

Workflowjobs是由多个动作（actions）组成的有向无环图（DAG），即任务按照预定的逻辑顺序一步步执行
知识分享小能手·2024-01-14 01:59

Ovtio不同版本下载

主要专栏内容包括：†《LAMMPS小技巧》：‾\textbf{\underline{\dag《LAMMPS小技巧》：}}†《LAMMPS小技巧》：
Mr. Material·2024-01-13 18:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他