.....DAG

18.09.29

今天晚上，写完作业的时候我和妈妈看了一ABC英语，ABC英语简单又好学，还有玩的，真有意思，我今天学了三个单词，第一个是dag是狗，图片上看着很可爱，第二个是cakt是只小猫，小猫也非常可爱，第三个是fish
曹喆120423·2024-09-13 16:37

spark常见面试题

3.RDD的宽窄依赖4.DAG中为什么要划分Stage？5.Spark程序执行，有时候默认为什么会产生很多task，怎么修改默认task执行个数？
爱敲代码的小黑·2024-09-12 18:51

细说区块链共识机制之DAG

提到DAG，大家对它的看法是褒贬不一，相对于其他的共识机制也更具有争议性。就目前而言，关于DAG的区块链项目有艾欧塔，纳诺等等。
正版江湖走马·2024-09-12 01:45

Spark分布式计算原理

目录一、RDD依赖与DAG原理1.1RDD的转换一、RDD依赖与DAG原理Spark根据计算逻辑中的RDD的转换与动作生成RDD的依赖关系，同时这个计算链也形成了逻辑上的DAG。
NightFall丶·2024-09-07 20:40

DAG (directed acyclic graph) 作为大数据执行引擎的优点

TL;DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen·2024-09-06 04:43

Spark基础

rdd执⾏过程中会形成dag图，然后形成lineage血缘关系保证容错性等。从物理的⾓度来看rdd存储的是block和node之间的映射。  2.RDD是spark提供的核⼼抽象，全称为弹性分布式数据
Tom无敌宇宙猫·2024-09-05 22:26

19032 树上上升序列

**构建图**：将树转换为有向无环图（DAG），边的方向从点权小的指向点权大的。3.**拓扑排序**：对DAG进行拓扑排序。4.**动态规划**：使用动态规划求解最长路径。
蠢蠢的打码·2024-08-30 19:55

博弈论笔记总结

BashGame）2.斐波那契博弈（FibonacciGame）3.威佐夫博弈（WythoffGame）4.尼姆博弈（NimGame）二、SG函数0.前言1.前置知识公平组合游戏（ICG游戏）必胜态与必败态DAG
Royen_·2024-08-25 21:25

Spark面试整理-Spark是什么？

下面是Spark的一些关键特点：速度：Spark使用了先进的DAG（有向无环图）执行引擎，可以支持循环数据流和内存计算。这使得Spark在数据处理方面
不务正业的猿·2024-03-24 13:02

spark为什么比mapreduce快？

首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言
·2024-02-20 16:30

任务DAG遍历，拓扑排序

0、定义DAG：有向无环图根据定义，可以得到以下两个结论：如果图G中存在环(即G不是有向无环图)，那么G不存在拓扑排序，反之如果G存在拓扑排序，则G中没有环如果G是有向无环图，那么他的拓扑排序可能不止一种能拓扑排序的图
sighting_info·2024-02-20 12:20

基于langgraph的开发入门（初稿）

能够循环调用大模型的能力，而不是一个DAG框架（类似于metagpt那种），这能
瓶子好亮·2024-02-19 15:17

MapReduce

MapReduce的优缺点优点：易于编程良好的扩展性高容错性适合tb/pb级以上海量数据的离线处理缺点：不擅长实时计算不擅长流式计算不擅长DAG
诺冰1314·2024-02-19 10:46

DolphinScheduler安装与配置

DolphinScheduler概述ApacheDolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。
在下区区俗物·2024-02-15 10:22

YARN体系结构指南

应用程序既可以是传统MapReduce作业的单一作业，也可以是这类作业的DAG。ResourceManager和每台计算机的No
盗梦者_56f2·2024-02-13 16:45

DAG检测

目前想到的办法1.CountVecterized+TFIDF+Classfier2.TFIDF+Classfier3.ngram+TFIDF+Classfier4.ngram+Classfier具体分类算法采用什么，可以具体问题具体分析
王金松·2024-02-11 17:26

airflow DAG配置文件

更多airflow资料，可查看：airflow从入门到精通学习笔记系列DAG概念DAG（有向无环图），在airflow中定义一个有依赖的作业执行集合，包含有一组特定的作业任务，每个任务都是一系列具体的操作命令
小林帮·2024-02-10 23:31

王团长区块链日记1277篇：现在币圈是狗屎二人组的天下

说老韭菜分析各种技术看k线看成交量，买kyc，翻墙，挖头矿，提供流动性，钻研Defi，参加ICOIDOIMO，学习白皮书，盯着Twitter，上TG，开Discord，看Medium,撸油管，区块链哈希图DAG
王团长日记·2024-02-09 05:22

内置路印协议的VITE（唯特）

VITE2.png简介：严格意义上说，DAG（有向无环图）并不属于区块链范畴，但以DAG为基础设计一条基础公链也是一种途径。目前为止，这条公链赛道并不拥挤，VITA是其中之一。
老猫___·2024-02-08 11:19

随书人物日更dag1___我了解的朱元璋

提起朱元璋我知道最早的是个土皇帝；就是贫苦农民出身，没有多少文化，靠自己一步步打天下取得的皇位。因为我还在上小学的时候，弟弟不小心打碎了蒜臼，邻居家的奶奶对妈妈说：你家孩子有贵处啊！朱元璋当年弄塌了锅台就说元朝塌了半边天，我要来支撑，后来果真当了皇帝。我那时还没上初中没学过中国历史，不知道朱元璋是谁，但从邻居的说话中知道朱元璋是一位了不起的人物，要不怎么能当皇帝呢？朱元璋生于元朝顺帝天历元年，在位
时之花·2024-02-08 03:45

dolphinscheduler海豚调度（一）简介&快速体验

1、简介ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
大数据_苡~·2024-02-07 10:26

ACK One Argo工作流：实现动态 Fan-out/Fan-in 任务编排

由上图，可以使用DAG（有向无环图）编排Fan-outFan-in任务，子任务的拆分方式分为静态和动态，分别对应静态DAG和动态DAG。
阿里云云原生·2024-02-07 06:51

强连通分量（SCC，Strongly Connected Components）学习笔记 & edited in 2024.01.31

同步发表于博客园cnblogsupd2024.02.01增加内容difficultPRO例题详解——P2746强连通分量（SCC，StronglyConnectedComponents）定义强连通有向图（DAG
taoyiwei17_HNCS·2024-02-06 23:59

3d-force-graph力导向树（DAG模式）的使用

好的，我们现在讲解一下这个插件中的导向树DAG模式我的案例都会基于Vue开发，创建项目等等我们进不说了，进入正题。
guker_59score·2024-02-06 18:14

PySpark（三）RDD持久化、共享变量、Spark内核制度，Spark Shuffle

DAG的作用?Stage阶段划分的作用?Spark为什么比MapReduce快？
独憩·2024-02-06 03:43

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

LangChain 最近发布的一个重要功能：LangGraph

从数据结构的角度来看，这样的链是一个有向无环图（DAG）。然而，在实践中，用户可能希望使用代理构建循环图。换句话说，代理可以根据模
Python算法实战·2024-02-05 03:22

【算法】BFS解决拓扑排序类算法题（C++）

在数据结构中我们学过：拓扑排序是一种对有向无环图（DAG）进行排序的算法。在对于我们下面的解题，可以理
卜及中·2024-02-04 10:38

vulhub中Apache Airflow 示例dag中的命令注入漏洞复现（CVE-2020-11978）

在其1.10.10版本及以前的示例DAG中存在一处命令注入漏洞，未授权的访问者可以通过这个漏洞在Worker中执行任意命令。
余生有个小酒馆·2024-02-04 07:11

Spark程序执行逻辑迷你版

Driver就是自己写的程序，里面有一个main方法，main方法划分DAG，形成Task，再把Task发出去DAGScheduler的功能，将rdd转换逻辑切分stage，生成taskset然后模拟taskScheduler
{BOOLEAN}·2024-02-03 21:21

Spark基础

Spark基础几个重要的概念：RDD：是弹性分布式数据集（ResilientDistributedDataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型；DAG：是DirectedAcyclicGraph
cjyang·2024-02-01 19:23

spark比mapreduce快的yuanyin

spark是基于内存计算的，而mapreduce会将数据暂存在文件系统中，增加了可靠性但降低了性能DAG有向无环图，spark的有向无环图可以减少shuffle，在不需要其他节点数据的情况下(窄依赖)，
_or·2024-02-01 12:35

Spark比Mapreduce快的原因

DAG计算模型在迭代计算上还是比MapReduce的效率更高。2）DAG有向无环图spark
Rnan-prince·2024-02-01 12:33

为什么Spark比MapReduce快

client提交一个application可能包含多个job，mr中一个mr程序就是一个job，spark中一个DAG就是一个job。
认知偏差·2024-02-01 12:02

大数据之 Spark DAG

SparkDirectedAcyclicGraph(DAG)是ApacheSpark中的核心概念，它用于描述作业（job）的计算逻辑。
转身成为了码农·2024-02-01 12:00

spark处理速度为什么比MapReduce快？

原因那么快的原因主要有两点：基于内存，spark中间结果不落盘（hadoop频繁落盘）有DAG（有向无环图）：来切分任务的执行先后顺序。️对比：MR(mapreduce)：Spark:可以看出MR
CoreDao·2024-02-01 12:29

大数据之 Spark 比 MapReduce 快的原因

DAG执行引擎：Spark支持有向无环图（D
转身成为了码农·2024-02-01 12:57

Airflow原理浅析

Airflow的原理基于有向无环图（DAG）的概念，它通过编写和组织任务的有向图来描述工作流程。
肥猪猪爸·2024-02-01 07:52

Exchange Server 2016 部署系列（六）高可用 DAG

见证目录权限配置本次实验中将使用DC作为见证服务器，需要将ExchangeTrustedSubsytem组加入到见证服务器的本地Administrators组中，在DC中需要使用AD用户和计算机来添加添加ExchangeTrustedSubsytem组到Administrators组中1.png在域控制器上，打开ActiveDirectory用户和计算机，展开域节点“computer”，在右侧窗口
陳陳陳ccc·2024-01-31 23:54

vue使用antv-x6 绘制流程图DAG图（二）

代码：import{Graph,Node,Path,Cell,Addon}from"@antv/x6";import{register}from"@antv/x6-vue-shape";import{Dnd}from"@antv/x6-plugin-dnd";import{MiniMap}from"@antv/x6-plugin-minimap";import{Scroller}from"@ant
小贵子的博客·2024-01-31 11:02

有向无环图DAG与PyTorch动态计算图

1.有向无环图有向无环图（DirectedAcyclicGraph,DAG）是一种特殊的图论结构，它由节点（或称为顶点）和有方向的边组成，并且没有循环路径。
科学禅道·2024-01-30 18:42

MR和Spark的比较

1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数3、spark是粗粒度资源申请
猿来孺词·2024-01-29 10:55

DolphinScheduler + Amazon EMR Serverless 的集成实践

01背景ApacheDolphinScheduler是一个分布式的可视化DAG工作流任务调度开源系统，具有简单易用、高可靠、高扩展性、⽀持丰富的使用场景、提供多租户模式等特性。
亚马逊云开发者·2024-01-29 00:18

Spark作业执行原理

Spark的作业和任务调度系统是Spark的核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。
垫路的石头·2024-01-28 23:12

Java数据结构与算法：拓扑排序

拓扑排序是图论中的一种经典算法，用于对有向无环图（DAG）进行排序。本文将介绍拓扑排序的基本概念、算法原理，并通过Java代码演示其实现方式。拓扑排序简介拓扑排序是对有向图的顶点进行线性排序，使得
qq836869520·2024-01-27 23:38

C++实现并行和异步任务，DAG流水线的开源库-Taskflow

Taskflow是一个基于C++17的开源库，用于实现并行和异步任务的流水线。它提供了一个灵活而高效的框架，使得开发者能够方便地定义和执行任务流程，利用多核处理器的并行性能。以下是Taskflow的简介：主要特点：C++17标准：Taskflow基于C++17标准，充分利用了现代C++的特性，包括lambda表达式、可变模板参数、智能指针等。轻量级且高性能：Taskflow的设计注重轻量级和高性能
zhaoyqcsdn·2024-01-27 18:47

redis 两主两从+哨兵模式

特殊的，一个从机同样可以设置为一个RedisServer的主机，这样一来Master-Slave的分布看起来就是一个有向无环图DAG，如此形成RedisServer集群，无论是主机还是从机都是RedisServ
beishi6738·2024-01-26 14:06

Spark学习笔记五：Spark资源调度和任务调度

一、StageSpark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是
开发者连小超·2024-01-26 04:42

Day 1322：架构师训练营学习总结（w13）

Spark的主要特点是DAG切分多阶段计算、内存存储中间结果、RDD的编程模型。RDD是Spark的核心概念。
kafkaliu·2024-01-25 22:18

Hadoop-YARN概览

可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他