dag

SparkSQL优化器与执行流程

文章目录SparkRDD执行流程SparkSQL的自动优化Catalyst优化器SparkSQL的执行流程SparkRDD执行流程如图所示：上图为RDD执行流程，主要的执行过程就是RDD代码→DAG调度器逻辑任务
蜜桃上的小叮当·2023-06-08 11:58

贝叶斯网络学习

贝叶斯网络由两部分组成：有向无环图（DAG）和条件概率表（CPT）。有向无环图（DAG）：DAG中的节点表示随机变量，有向边表示变量之间的依赖关系。如果存在一条从节点A指向节点B的有
wolf1132·2023-06-08 11:51

Python 实现拓扑算法

前言拓扑排序是图论中一种重要的排序算法，用于对有向无环图（DAG）进行排序。在拓扑排序中，图的顶点表示任务，有向边表示任务之间的依赖关系。拓扑排序算法可以找到一种满足所有任务依赖关系的顺序。
福州司马懿·2023-06-07 07:45

主流大数据调度工具对比

、Xxl-job非常推荐ApacheDolphinScheduler——调度选的好，下班回家早；调度选的对，半夜安心睡；ApacheDolphinScheduler是一个分布式去中心化，易扩展的可视化DAG
明月清风，良宵美酒·2023-06-07 04:21

深入浅出的实践大数据 DAG 图

前言DAG是有向无环图（DirectedAcyclicGraph）的简称。
·2023-04-21 18:56

大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本

我们很高兴向大家宣布，2023年4月14日，Taier正式发布1.4版本。自2022年2月份Taier正式开源以来，收到了很多开发者和行业用户的积极评价，在诸多生产环境中已得到充分应用。Taier1.4版本正是吸收了各类实践经验及大家的建议，进行了此次迭代优化。本次更新不仅包含了性能优化和稳定性的提升，还新增了各类任务类型、完善大量任务功能，优化使用场景，持续增强开源产品化技术能力和应用能力。Ta
·2023-04-20 18:22

什么是DAG

参考ExplainingDirectedAcylicGraph(DAG),TheRealBlockchain3.0Bitcoin视为blockchain1.0,Ethereum视为2.0,那么3.0是什么
柳正来·2023-04-20 12:19

拓扑排序算法

拓扑排序介绍拓扑排序(TopologicalOrder)是指，将一个有向无环图(DirectedAcyclicGraph简称DAG)进行排序进而得到一个有序的线性序列。这样说，可能理解起来比较抽象。
生活需要深度·2023-04-19 19:19

Spark Dag Scheduler学习记录

简介spark作为实时及离线合为一体的大数据计算框架，由于其出色的批处理能力及高效的流计算能力，因此在大数据中依旧有着不可撼动的地位。这篇文章来记录一下sparkJob作业是如何被调度起来的。RDD众所周知RDD是spark的基础，是Spark数据管理单元的高级抽象，RDD之间的流转变化形成了了我们的数据计算模式及过程，首先来看一下RDD的组成：RDDcomposite一个RDD主要由四大部分组成
淡泊宁静_3652·2023-04-18 19:13

Airflow用于ETL的四种基本运行模式, 2022-11-20

(2022.11.20Sun)基本运行模式(pattern)是datapipeline使用Airflow的DAG的不同结构，基本模式有如下四种：序列Sequence平行拆分Parallelsplit同步
Mc杰夫·2023-04-18 14:07

Airflow用于ETL的四种基本运行模式, 2022-11-20

(2022.11.20Sun)基本运行模式(pattern)是datapipeline使用Airflow的DAG的不同结构，基本模式有如下四种：序列Sequence平行拆分Parallelsplit同步
Mc杰夫·2023-04-18 14:07

Python - Airflow任务调度系统初识

1.概述ApacheAirflowAirflow是airbnb开源的基于DAG(有向无环图)的用Python开发的任务管理系统。
红薯爱帅·2023-04-18 08:11

Java数据结构与算法——拓扑排序

拓扑排序概念对一个有向无环图(DirectedAcyclicGraph简称DAG)G进行拓扑排序，是将G中所有顶点排成一个线性序列，使得图中任意一对顶点u和v，若边∈E(G)，则u在线性序列中出现在v之前
wzq_55552·2023-04-18 04:23

性能测试解读：Kyligence vs Spark SQL

测试产品介绍SparkSQL本质上是基于DAG的MPP，提供SQL或类SQL的查询接
Kyligence·2023-04-17 17:03

由libunifex来看Executor的任务构建

前言之前的一篇文章讲述了future的优缺点，以及future的组合性，其中也讲述了构建任务DAG一些问题，同时给出了比较好的方案则是Executor。
leapmotion·2023-04-17 06:02

属性文法和语法制导翻译

依赖图依赖图是DAG图，每个节点是一个属性，这样可以按照拓扑序计算属性。下
u小鬼·2023-04-16 10:57

DP(5)--DAG上的DP

状态转移方程：d[u]=max{d[v]+1|(u,v)€E}方法1，构建DAG，深搜#includeusingnamespacestd;structRe
Hui_NJ·2023-04-16 09:37

Spark 内存迭代计算

Spark内存迭代是每个task根据算子之间形成的DAG在内存中不断迭代计算的过程。如图，带有分区的DAG以及阶段划分，可以从图中得到逻辑上最优的task分配。一个task是一个线程来具体执行。
不忘初欣丶·2023-04-15 20:46

MapReduce

MapReduce的限制•不适合实时计算–要求毫秒级或者秒级内返回结果•不适合流式计算–MapReduce的输入数据集是静态的，不能动态变化–MapReduce自身的设计特点决定了数据源必须是静态的•不适合DAG
ᥴꪮꪑρⱤꪮꪑłડꫀ·2023-04-15 15:47

工作流管理平台 Airflow 入门

Airflow管理页面Airflow中有两个基本概念，DAG和task。DAG是多个task的集合，定义在一个Python文件中，包含了task之间的依赖关系，如taskA在tas
流月0·2023-04-15 05:11

2020-06-09-TFX Airflow（二） demo 数据分析

airflow_workshop在之前已经完成了TFXAirflow安装这里继续按照tutorial进行下一步的数据分析我们进入页面后是这样的，里面有两个DAGimage.png我们enable第一个taxi项目的DAG
logi·2023-04-15 05:10

大数据之Spark（七）：Spark 任务调度

它们负责将用户提交的计算任务按照DAG划分为不同的阶段并且将不同阶段的计算任务提交到集群进行最终的计算，整个过程如下图所示：任务调度逻辑视图在Spark应用启动时，会初始化SparkContext对象。
Oak-Komorebi·2023-04-14 15:24

克隆有向无环图

有向无环图(DAG)是不包含循环但具有有向边的图。我们得到了一个DAG，我们需要克隆它，即创建另一个具有其顶点和连接它们的边的副本的图。
TD程序员·2023-04-14 07:53

sparkSQL----sql简介 创建DataFrame sparksql读取各种文件 Dataset的Encoder

sparksql简介SparkSQL是Spark用来处理结构化数据的RDD+Schema=可以先生成逻辑计划(DAG),在优化后生成物理计划(Task)Dataset:更加智能的RDD,有Encoder
T D Z·2023-04-13 20:46

山东大学软件学院算法设计与分析（考试）——期末考试回忆版

（2）DAG中最长路径的算法设计，写出bellman方程和伪代码
ALTLI·2023-04-13 01:46

数据结构学习笔记＜8＞ 排序

目录一、拓扑排序1.概念定义AOV网络拓扑序、DAG2.拓扑排序思路例题3.解决实际问题关键路径问题AOE网络(ActivityOnEdge)网络先推出最早完成时间——mint[j]=max(mint[
余cos·2023-04-12 21:52

Airflow:基于DAG的任务处理平台

官方使用Airflow将工作流创作为任务的有向无环图（DAG）。Airflow是基于DAG的任务管理系统，可以简单理解为是高级版的crontab。
春风化雨995·2023-04-10 07:52

python调度web_Python 编写的一款非常优雅的开源调度平台 airflow 之初体验

airflow使用DAG(有向无环图)来定义工作流，配置作业依赖关系非常方便，豪不夸张地说：方便程度简直甩其他任务调度工具一条街。
weixin_39758041·2023-04-09 10:06

任务调度神器 airflow 之初体验

airflow使用DAG(有向无环图)来定义工作流，配置作业依赖关系非常方便，豪不夸张地说：方便程度简直甩其他任务调度工具一条街。
蜗牛!Destiny·2023-04-09 10:36

任务调度系统 Airflow

任务调度系统Airflow文章目录一.Airflow简介1.1体系结构1.2重要概念1.2.1DAG（DirectedAcyclicGraph）有向无环图1.2.2Task二.Airflow安装部署2.1
taoshengyijiu_·2023-04-09 10:06

Airflow 使用及原理分析

Airflow是通过DAG（Directedacyclicgraph有向无环图）来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。
Docker_·2023-04-09 10:32

Spark 任务调度介绍

Spark任务调度在Spark的任务中，由Driver进行调度，这个工作包含：逻辑DAG产生、分区DAG产生、Task划分、将Task分配给Executor并监控其工作Driver被构建出来构建执行环境入口对象
不忘初欣丶·2023-04-09 06:16

Spark Shuffle介绍

hashShuffleManager2.1.2经优化的hashShuffleManager2.1.3优化前后磁盘文件数对比2.2SrotShuffleManager3.Shuffle配置选项1.简介Spark在DAG
不忘初欣丶·2023-04-09 06:07

流/批/OLAP一体的Flink引擎介绍-字节跳动大数据青训营

引擎介绍开源生态2.Flink整体架构2.1Flink分层框架1.SDK层：分为三类：SQL/Table、DataStream、Python；2.执行引擎层（Runtime层）：Runtime层提供统一的DAG
北境旅客·2023-04-08 23:27

高可用架构-链路日志及追踪实践

特别说明，一条Trace（调用链）可以被认为是一个由多个Span组成的有向无环图（DAG图），Span与Span的关系被命名为References。
时光流水rd·2023-04-08 10:59

中间表示- 引言

中间代码树和有向无环图（DAG）高层表示，适用于程序源代码三地址码（3-addresscode）低层表示，靠近目标机器控制流图（CFG）更精细的三地址码，程序的图状表示适合做程序分析。
青衫客36·2023-04-08 08:09

IntelliJ IDEA使用git进行版本控制

Git存储时会把文件拆成若干个部分，并计算各个部分的哈希值，利用这些构建起与文件对应的有向无环图(DAG)，DAG的根节点也就是该文件的哈希值。这
冷冰殇·2023-04-08 02:14

Spark运行架构

Executor3.2、Master&Worker3.3、ApplicationMaster四、核心模块五、核心概念5.1、Executor5.2、并行度（Parallelism）5.3、有向无环图（DAG
Xsqone·2023-04-07 19:22

编译原理－－代码生成

指令排序代码生成器设计中的问题代码生成器的输入中间表示形式，符号表IR的中间表示形式的选择有很多，四元式，三元式，间接三元式等三地址表示方式．也包括诸如字节代码和堆栈机代码的虚拟机表示方式．后缀表示的线性表示方式；语法树和DAG
raindayinrain·2023-04-07 08:03

操作系统笔记：第二章—进程的描述与控制

2.1进程的基本概念要点1.分析程序执行顺序、以及并发的特征2.进程的概念、特征与状态3.进程控制块及其组织1）引入前趋图描述进程执行前后关系的图有向无循环图(DAG)Pi结点：描述一个程序段、进程、或一条语句
一萌新一·2023-04-07 07:25

Spark 内核调度之DAG

文章目录一、DAG介绍二、DAG和分区三、DAG中的宽窄依赖和阶段的划分1.宽窄依赖的划分2.阶段划分一、DAG介绍Spark的核心是根据RDD来实现的，SparkScheduler则为Spark核心实现的重要一环
不忘初欣丶·2023-04-07 05:16

spark基础之RDD详解

特点：#它是一种数据的集合#它可以被分区，每一个分区分布在不同的集群中节点，从而使得RDD可以被并行处理，所以它是分布式的#提供容错性，它将计算转换一个成一个有向无环图(DAG)的任务集合，方便利用血缘关系进行数据恢复
莫言静好、·2023-04-06 14:07

操作系统复习第二章：进程描述与控制

文章目录2.1前趋图和程序执行前趋图（DAG）：程序的顺序执行：程序的并发执行：2.2进程的描述进程的定义：进程的基本状态及其转换2.3进程控制操作系统内核：进程的创建:进程的终止:进程的阻塞与唤醒进程的挂起与激活
JYC的进阶之旅·2023-04-06 11:33

spark学习2：spark运行基本架构

各个名词介绍：1.RDD-弹性分布式数据集2.DAG-有向无环图反应各RDD之间关系，即把第一个RDD和最后一个RDD串联起来的关系图。
hzp666·2023-04-05 19:37

工作流Airflow的性能优化，应对dag数目的激增

问题描述使用Airflow作为工作流引擎，目前面临一个问题，因为dag数的激增，导致airflow的页面无法打开，非常非常的慢，通过后台看airflow的gunicorn负载非常的高。
schwert_ddd·2023-04-05 18:16

airflow高可用

2.工作原理1)airflow启动时，会将dag中的相关信息写入数据库。2)scheduler会按照指定频次查询数
Cest_L·2023-04-05 18:43

任务调度神器 airflow 之初体验

airflow使用DAG(有向无环图)来定义工作流，配置作业依赖关系非常方便，豪不夸张地说：方便程度简直甩其他任务调度工具一条街。
清如許·2023-04-05 18:41

Airflow task 指定执行的worker节点

airflowceleryworker-qkettle_carteshell=BashOperator(task_id='shell',queue='队列名',bash_command='date',dag
有机合成实验员·2023-04-05 18:21

随书人物日更dag16___伟大的哲学家苏格拉底

在我的思想意识里，苏格拉底是个神话人物。他的经历和思想不是常人能够做到的，他一直在为教育雅典奔波，在古希腊那么久远的年代去做一件别人都看不到结果和不可思议的事情真让让佩服！他出生在古希腊雅典，长的容貌丑陋，个子矮小，但是语言朴实，具有神圣的思想。苏格拉底一生过着艰苦的生活，无论严寒酷暑都穿着一件普通的单衣，经常不穿鞋。对吃也不讲究，只知道专心致志做学问。青年时代曾跟父亲学过雕刻，后来熟读荷马史诗及
时之花·2023-04-04 19:02

spark基本概念与架构设计

spark基本概念：•RDD：是ResillientDistributedDataset（弹性分布式数据集）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型•DAG：是DirectedAcyclicGraph
诠释轻音·2023-04-04 03:28
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他