.....DAG

DAG 任务调度与 go-streams 结合的应用实践

01说在前面自“双碳”政策提出以来，开务数据库（原：云溪数据库）聚焦“数字能源”领域，为用户打造数字能源管理平台，旨在提升综合能源和碳资产管理能力。通过数字流打通能源流创造价值流，以数据为核心的生产要素，推进风、电、光伏等多种能源流与由数据构成的信息流深度融合。数字能源管理平台不仅需要处理海量数据且并发度极高，通过能源设施的接入，依托大数据及人工智能，打通物理世界与数字世界，联动信息流与能量流，打
·2022-10-09 15:54

大数据apache-spark问题总结

Spark四大特点1-运行速度快：方面一：spark是基于内存计算的，采用DAG有向无环图进行无环计算操作，中间计算的结果可以保存在内存中方面二：spark是基于线程运行的，线程的启动和销毁速度要高于进程的效率的
青春程序不迷路·2022-09-28 07:03

hive on tez学习之官网和源码

一般来说mr有点拉跨主要基于磁盘，spark是基于内存计算，通过spark划分宽窄依赖并且形成dag图，然后执行。其实tez和spark本身是差不多的只不过可能底层思想不一样，现在来学习。
cclovezbf·2022-09-21 13:33

拓扑排序详解（超详细+模板）

拓扑排序1.什么是拓扑排序对一个有向无环图(DirectedAcyclicGraph简称DAG)G进行拓扑排序，是将G中所有顶点排成一个线性序列，使得图中任意一对顶点u和v，若边(u,v)∈E(G)，则
Aloof__·2022-09-18 09:51

java 拓扑运算_拓扑排序(三)之 Java详解

拓扑排序介绍拓扑排序(TopologicalOrder)是指，将一个有向无环图(DirectedAcyclicGraph简称DAG)进行排序进而得到一个有序的线性序列。这样说，可能理解起来比较抽象。
RIDERPRINCE·2022-09-18 09:19

C++语言实现-拓扑排序

1、拓扑排序的概念对一个有向无环图(DirectedAcyclicGraph简称DAG)G进行拓扑排序，是将G中所有顶点排成一个线性序列，使得图中任意一对顶点u和v，若边(u,v)∈E(G)，则u在线性序列中出现在
weixin_30520015·2022-09-18 09:14

什么是拓扑排序（Topological Sorting）

/songlee24.github.io/2015/05/07/topological-sorting/）一、什么是拓扑排序在图论中，拓扑排序（TopologicalSorting）是一个有向无环图（DAG
Damon_X·2022-09-18 09:48

拓扑排序（Topological sorting）

拓扑排序指的是有向无环图（DAG）；学过计算机网络的知道计算机网络中有一个拓扑结构；下面就是一个拓扑结构；那拓扑序就是，图中任意一对顶点u和v，若边∈E(G)，则u在线性序列中出现在v之前我们可以发现拓扑序不是唯一的
是饿梦啊·2022-09-18 09:29

Oozie学习笔记

javaservlet的web程序官网：https://oozie.apache.org/1.特点：1）统一调度Hadoop系统中的mr任务启动，hdfs操作，shell调度，hive操作2）一组任务使用DAG
lvhuiyin·2022-09-16 18:51

Workflow的计算调度算法

P.S.原文写于2022年5月份~C++Workflow作为一个异步调度编程范式，对调度的拆解是有几个层次的：用户代码层：提供任务流级别的结构化并发，包括串并联、DAG和复合任务等，用于管理业务逻辑，组织要做的事情的依赖关系
·2022-08-01 22:12

分词与关键词提取(20190121)

1.中文分词算法基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)采用了动态规划查找最大概率路径,找出基于词频的最大切分组合对于未登录词，采用了基于汉字成词能力的
绿桂圆·2022-07-28 07:41

拓扑排序详解

首先需要说明的是拓扑排序是针对有向无环图来说的，有向无环图也就是DAG图，顾名思义就是整张图中的边都带有方向而且不存在环。
AC__dream·2022-07-25 07:37

python文本统计_Python文本挖掘: 词频统计，词云图

结合jieba代码和一些相关资料，基本得知jieba是基于Trie树结构实现的高效词图扫描，生成句子中汉字所有可能成词情况的有向无环图(DAG)。
weixin_39562998·2022-07-18 11:19

【PyTorch笔记】60分钟入门PyTorch——自动求导autograd

选读：用autograd进行向量计算4.计算图(ComputationalGraph)从DAG中删除(ExclusionfromtheDAG)5.拓展阅读
is_colorful·2022-07-18 10:38

Spark总结（SparkCore,SparkSQL,SparkStreaming）

2.Spark和MR的区别1.MR是基于磁盘迭代处理数据，Spark是基于内存处理数据2.Spark有DAG有向无环图做优化3.MR是细粒度资源申请，application执
ambitfly·2022-07-16 15:58

Spark3.x入门到精通-阶段一(入门&yarn集群&java和scale双语开发)

特点ApacheSpark具有以下特点：使用先进的DAG调度程序，查询优化器和物理执行引擎，以实现性能上的保证；
顶尖高手养成计划·2022-07-16 15:56

基于 Rainbond 部署 DolphinScheduler 高可用集群

ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL错综复杂的依赖关系，不能直观监控任务
·2022-07-14 16:15

Spark大数据分析与实战课后习题参考答案

通过支持有向无环图（DAG）的分布式并行计算的编程框架，Spark减少了迭代过程中数据需要写入磁盘的需求，提高了处理效率。2、Local模式（单机模式）、Standa
高校知识店铺合集汇总·2022-07-14 15:44

vue的v-if引起的js报错问题和解决方法

文章不易，请关注公众号毛毛虫的小小蜡笔，多多支持，谢谢背景在dag图中的节点，双击后会打开对应的配置页面。这个配置页面是做成了组件，挂载在父节点中。其中父节点是v-if来挂载的。
·2022-07-05 10:30

Gavin老师Transformer直播课感悟 - 基于Transformer的Rasa Internals解密之全新一代可伸缩DAG图架构(四)

本文继续围绕工业级业务对话平台和框架Rasa来解析如何实现全新一代可伸缩DAG图架构(DirectedAcyclicGraph)，基于新的架构，Rasa提出了一个全新的对话机器人计算引擎。
m0_49380401·2022-07-05 07:16

6G显卡显存不足出现CUDA Error:out of memory解决办法

从6月初开始，6G显存的显卡开始出现CUDAError:outofmemory的问题，这是因为dag文件一直在增加，不过要增加到6G还需要最少两年的时间。
欧脸·2022-06-27 19:00

面筋面筋.

编程题：1，DAG（有向无环图），设计结构存储DAG，每个节点有一个类型名，判断DAG1中有多少子结构，使得其拓扑结构和对应结构的位置类型相同。讲思路，然后coding讲code。
watersink·2022-06-18 16:37

Go语言dolphinscheduler任务调度处理

目录简介自动化使用例子任务结果检查测试连接重跑任务小结简介dolphinscheduler是一个可视化DAG工作流任务调度平台，在大数据领域做任务调用非常流行提供了类似azkaban工作流调度，比azkaban
·2022-06-08 17:21

基于golang的轻量级工作流框架Fastflow

工作流模型工作流的要素DagTaskActionDagInstance实例类型与ModuleGetStart准备一个Mongo实例运行fastflowBasicTask与Task之间的通信任务日志使用Dag
·2022-05-24 11:18

Fastflow——基于golang的轻量级工作流框架

它具有以下特点：易用性：工作流模型基于DAG来定义，同时还提供开箱即用的API，你可以随时通过API创建、运行、暂停工作流等，在开发新的原子能力时还提供了开箱即用的分布式锁功能
ShiningRush·2022-05-23 14:00

程序分析与优化 - 2 控制流图

包括DAG、值标记、相同子表达式等方法。这章的后面介绍了llvm的一些基本概念，并引导大家写了个简单的pass。本文中的所有内容来自学习DCC888的学习笔记或者自己理解的整理，如需转载请注明出处。
周荣华·2022-05-04 12:00

深入浅出聊Taier—大数据分布式可视化DAG任务调度系统

导读：上周，袋鼠云数栈全新技术开源规划——DTMO（DTstackMeetupOnline）的第一场直播圆满完成。袋鼠云数栈大数据开发专家、Taier项目主导人偷天为大家带来了《Taier入门介绍》的分享，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解。你能看到▫Taier发展历程▫Taier架构设计和功能详解▫Taier具体应用和未来规划点击链接，查看直播视频回放https:
·2022-04-20 14:23

深入浅出聊Taier—大数据分布式可视化DAG任务调度系统

导读：上周，袋鼠云数栈全新技术开源规划——DTMO（DTstackMeetupOnline）的第一场直播圆满完成。袋鼠云数栈大数据开发专家、Taier项目主导人偷天为大家带来了《Taier入门介绍》的分享，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解。你能看到�
数栈DTinsight·2022-04-20 13:00

微服务.链路追踪.OpenTracing

目录Span&Trace关系描述DAG有向无环图Span间关系参考Span&Tracespan跨度trace轨迹关系：每一个轨迹，都是由很多跨度(弧)组成。
闲猫·2022-04-11 08:16

pytorch自带网络_Pytorch转ONNX-实战篇2（实战踩坑总结）

（1）Pytorch2ONNX不支持对slice对象赋值下面这段代码是不被Pytorch原生的onnx转换接口支持的，即不能对slice对象赋值preds仔细想想其实也比较合理，因为上面的操作也很难在DAG
weixin_39637260·2022-04-11 07:46

【Pytorch学习笔记】2.动手生成计算图——将Tensor间的计算流程和梯度传递可视化，使用torchviz生成计算图

先定义的x是一个叶子节点，将所有Tensor节点的计算连接起来就可以用一个有向无环图(DAG)来表示，称为计算图（C
takedachia·2022-04-10 00:54

中文自然语言处理--jieba 中文分词

jieba的分词算法主要有以下三步：1.基于统计词典，构造前缀词典，基于前缀词典对句子进行切分，得到所有切分可能，根据切分位置，构造一个有向无环图（DAG）；2.基于DAG图，采用动态规划计算最大概率路径
糯米君_·2022-04-08 08:21

从零开始画自己的DAG作业依赖图(四)--节点连线优化版

概述上个版本简单的连线在一些复杂场景，尤其层级比较多，连线跨层级比较多的情况下，会出现线条会穿过矩形的情况，这一讲就是在这个基础上，去优化这个连线。场景分析在下面几种情况下，简单版本的画法已经没法办规避障碍节点了。这种情况,由于简单版本，我们只在整条路径上添加了2个拐点，这种画法，当出现上述情况，线条就会被B挡住，实际的需求，我们要规避这种节点，绕开。应该是下面这种情况:再复杂一点的场景如下这时候
华为云官方博客·2022-04-01 18:00

从零开始画自己的DAG作业依赖图(四)--节点连线优化版

概述上个版本简单的连线在一些复杂场景，尤其层级比较多，连线跨层级比较多的情况下，会出现线条会穿过矩形的情况，这一讲就是在这个基础上，去优化这个连线。场景分析在下面几种情况下，简单版本的画法已经没法办规避障碍节点了。这种情况,由于简单版本，我们只在整条路径上添加了2个拐点，这种画法，当出现上述情况，线条就会被B挡住，实际的需求，我们要规避这种节点，绕开。应该是下面这种情况:再复杂一点的场景如下这时候
·2022-04-01 12:55

从零开始画自己的DAG作业依赖图(三)--节点连线简单版

概述分层布局弄好之后，每一层的节点上下的相对位置基本确定了，我们最简单的方式，就是每一层平铺所有节点，节点宽度固定以及间距固定，每个节点的位置基本就确定了。我们只要基于这些节点进行连线就可以了。方案思路直线方式最简单的方式就是直线，我们只要确定两个节点之间的相对具体坐标，然后两点之间画一条直线就可以了。效果如下从上图可以看出，直线实现起来是比较简单的，但是节点很少的情况，还是可以勉强可以接受的，如
·2022-04-01 11:54

从零开始画自己的DAG作业依赖图(二)--分层布局算法

概述当我们把设计稿和技术选型定下来之后，接下来就要开始着手画这个依赖图了。依赖图的组成最简单的就是节点Node和节点之间的连线。这一节我们要处理的就是节点位置信息的处理。为了确定节点的位置信息，首先要给节点分层，分层的信息取决于节点之间的依赖关系。问题分析当前我们默认图是从上到下布局方式，节点分层，最容易想到的就是拓扑排序，通过BFS宽度优先遍历，计算每个节点的步长。自顶向下BFS如上图，我们如果
·2022-04-01 11:24

从零开始画自己的DAG作业依赖图(一)--前期准备

背景：由于业务场景需要展示作业之间的依赖关系，由于一些开源的插件和当前的业务逻辑有一些冲突，个人打算尝试从零开始，一点点实现自己的DAG图。
·2022-04-01 11:23

【2019/ICML】DAG-GNN: DAG Structure Learning with Graph Neural Networks

dreamhomes.github.io/posts/202101041501.html文章链接：https://arxiv.org/abs/1904.10098源码链接：https://github.com/fishmoon1234/DAG-GNNTL
梦家·2022-03-28 07:23

【学习笔记】大数据技术之Hadoop（MapReduces）

定义1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程2）良好的扩展性3）高容错性4）适合PB级以上海量数据的离线处理1.2.2缺点1）不擅长实时计算2）不擅长流式计算3）不擅长DAG
prague6695·2022-03-25 07:13

DeepRoute Lab | LLVM IR Tutorial观后感

一般来说编译器会使用的IR包含了DAG，三地址码(靠近目标机器)，CFG(控制流图)，SSA(比较
·2022-03-24 14:56

贝叶斯网络的D-separation详解和Python代码实现

对于一个DAG（有向无环图），D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。了解D分离在贝叶斯网络中，D分离到底是什么，它可以用于什么？
·2022-03-24 14:17

[十二省联考2019]字符串问题 （SAM优化建图+DAG上DP）

题面见：https://www.luogu.com.cn/problem/P5284题解当年考的时候直接写了40暴力。。。现在看了看，好像可以用后缀树优化建图先倒着建一个SAM，然后再倍增定位每个区间后缀树上的边就从父亲连向儿子，A连边向B此时我们本来应该让B向其定位的区间连边的但是一个点可能会对应多个区间，直接连边会出很多其他的问题于是我们换一种思路，把定位在同一个点的区间按照长度排序，B排在A
cqbzcsq·2022-03-20 00:50

字符王国——DAG+dp

3188字符王国题意：给出一个n个点m条边的有向图，每个点上有一个字母。问图中的路径上出现次数最多的字母出现的次数为多少？分析：一开始想把所有的字母放在一起更新状态，但是状态不好转移。定义：f[i,j]：到位置i时，字母j最多出现的次数。状态转移：对于每个位置，分别遍历更新26个字母：如果转移过来位置的字母和当前字母相同的话：f[tx][i]=max(f[tx][i],f[x][i]+1);否则：
小酒窝.·2022-03-20 00:47

DeepRoute Lab | LLVM IR Tutorial观后感

一般来说编译器会使用的IR包含了DAG，三地址码(靠近目标机器)，CFG(控制流图)，SSA(比较
·2022-03-08 13:47

贝叶斯网络的D-separation详解和Python代码实现

对于一个DAG（有向无环图），D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。了解D分离在贝叶斯网络中，D分离到底是什么，它可以用于什么？
·2022-03-03 10:15

Storm实时处理架构

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，目录Storm1、DAG：有向无循环图2、Storm的特性3、Storm
每日小新·2022-03-02 07:14

Spark深入解析（十三）： SparkCore之RDD依赖关系、DAG生成、划分Stage

目录Lineage宽窄依赖如何区分宽窄依赖为什么要设计宽窄依赖DAG（有向无环图）DAG划分StageLineage  RDD只支持粗粒度转换，即在大量记录上执行的单个操作。
老王的小知识·2022-02-28 11:46

10亿数据量的即席查询 spark 和 kylin的对比

Kylin与SparkSQL相比，有哪些差异和优势SparkSQL本质上是基于DAG模型的MPP。而Kylin核心是Cube(多维立方体)。
肥猫64·2022-02-28 11:14

RDD的依赖关系

文章目录Lineage（血统）窄依赖宽依赖DAG（有向无环图）Lineage（血统）在spark中，数据的处理和计算都是通过RDD的转换进行的。由于RDD是不可变的，在转换的过程中就会生成新的RDD。
情深不仅李义山·2022-02-28 11:41

Spark——RDD 依赖关系

RDD依赖关系一、Lineage（血缘）二、窄依赖三、宽依赖四、DAG有向无环图五、任务划分（面试重点）一、Lineage（血缘）RDD只支持粗粒度转换，即在大量记录上执行的单个操作。
故明所以·2022-02-28 11:10
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他