.....DAG

实时计算框架：Spark集群搭建与入门案例

一、Spark概述1、Spark简介Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运算速度相比于MapReduce
·2021-06-18 21:27

Oozie 01-概览

ApacheHadoop作业（job）的工作流（workflow）调度系统Oozie工作流作业（workflowjob）是由多个动作（action）构成的有向无环图（DirectedAcyclicGrahp，DAG
jupiter_2000·2021-06-15 11:44

区块链技术梳理

梳理了一下区块链技术特征，但区块链发展到今天，甚至出现了如DAG这样的去区块链化产品，所以只能以去中心化概念来逻列技术特点了，但或许这样才是回归到事情真正的本原。
Rakutens·2021-06-13 20:30

Flink Dag简述

FlinkDag1、流程简图image2、流程简述①API:StreamAPI:实时流APIBatchApI:批处理API②StreamGraph:根据用户开发的API逻辑构建最原始的图，用来表示程序的拓扑结构；具有两个核心元素：StreamNode：代表Operator,具备一些基本属性（并行度，入边，出边）StreamEdge：连接StreamNode的边③JobGraph：Jobgraph是
傻子般白痴·2021-06-13 11:56

第10章 Spark

2013年，Spark加入Apache孵化器，目前已成为三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）2014年，打破Hadoop的排序记录特点（1）运行速度快：使用DAG调度机制
迪丽娜扎·2021-06-08 18:40

Telegram 空投GRAM 糖果

4DAG+环形签名+闪电网络5虚拟世界建造，AR最新技术。6一千种电报糖果价值沉淀即将登陆全球前10的大型交易所，未来会登录大小B网。时不我待，赶紧拥有。一Gram在手，糖果我有。http://gr
JaeGwen·2021-06-07 14:48

XDAG技术详解1-概要

xdag是什么根据官网介绍，xdag是一种依据DAG模型实现的加密货币。
老五笔记·2021-06-06 14:44

一文通俗理解Spark架构、Spark部署方式、配属配置优先级、Spark处理所提交的application的流程、Spark共享变量、Spark监听，以及master、driver、worke...

一、Spark的四大核心组件和集群资源调度器Spark四大核心组件1.1Spark的四大核心组件Sparkcore定义了Spark基本功能和模块，包含SparkSession、RDD、DAG、Lingage
alexlee666·2021-06-06 14:29

4.4 DAGScheduler JOB的简要说明

1.概要提交JOBJOB是DAG图中的最高层的逻辑抽象,上文提到过,RDD的Action操作提交会生成一个JOB.既然客户给了需求,就要抽丝剥茧,一层一层网上找依赖,最终形成了一个DAG的执行图.执行JOB
GongMeng·2021-06-05 22:22

Filenet技术背景简析二：系统构成与运行机制介绍

前几期技术类推文我们介绍了Filenet的共识机制，包括DAG、默克尔树的概况。为方便大家更好地理解Filenet，今日推文将重点介绍各种机制的运行方式以及系统构成在机制运行中所起的作用。
壹五叁说IPFS·2021-06-05 14:41

Spark Core2--LineAge

注意：executionDAG或physicalexecutionplan（物理执行计划）是DAGofstages（stage的DAG）。
我猪妹打钱·2021-06-04 23:53

详解DAG上的DP

DAG即有向无环图这里举出两经典的DAG模型，嵌套矩形和硬币问题嵌套矩形(不固定起点最长路及其字典序)描述有n个矩形，每个矩形可以用(a,b)来描述，表示长和宽矩形X(a,b)可以嵌套在矩形Y(c,d)
·2021-05-31 13:15

Apache DolphinScheduler征稿-Apache DolphinScheduler的入门级教程及使用

本文正在参与“拥开源-ApacheDolphinScheduler有奖征稿活动”什么是DolphinScheduler分布式易扩展的可视化DAG工作流任务调度系统ApacheDolphinScheduler
JF Coder·2021-05-29 00:39

Apache DolphinScheduler 大数据工作流调度系统

ApacheDolphinScheduler大数据工作流调度系统一、背景二、介绍下DolphinScheduler三、DolphinScheduler一些优势1、丰富的业务类型2、可视化的DAG图3、资源文件的上传管理
scalad·2021-05-27 15:10

揭开Spark Streaming神秘面纱① - DStreamGraph 与 DStream DAG

在SparkStreaming中，DStreamGraph是一个非常重要的组件，主要用来：通过成员inputStreams持有SparkStreaming输入源及接收数据的方式通过成员outputStreams持有Streamingapp的output操作，并记录DStream依赖关系生成每个batch对应的jobs下面，我将通过分析一个简单的例子，结合源码分析来说明DStreamGraph是如何
牛肉圆粉不加葱·2021-05-21 10:35

askcoin的DAG技术是什么

DAGAskcoin所使⽤DAG技术是新⼀代的区块链技术，有别于⽐特币和以太坊中使⽤传统的区块链技术。
剑有偏锋·2021-05-19 19:25

Spark基础知识

SparkSpark是一个可应用于大规模数据处理的快速、通用引擎，提供了内存计算和基于DAG的任务调度执行机制，减少了迭代计算时的I/O开销；Spark的设计遵循“一个软件栈满足不同应用场景”的理念，形成了一套完整的生态系统
冰科技·2021-05-19 19:53

2021年大数据Spark（五十四）：扩展阅读 SparkSQL底层如何执行

SparkSQL底层如何执行RDD和SparkSQL运行时的区别Catalyst扩展阅读SparkSQL底层如何执行RDD和SparkSQL运行时的区别RDD的运行流程大致运行步骤先将RDD解析为由Stage组成的DAG
Lansonli·2021-05-18 23:52

jieba 分词学习 2018-10-26

一、安装pipinstalljieba二、算法介绍结巴中文分词涉及到的算法包括：(1)基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)；(2)采用了动态规划查找最大概率路径
Mr_Du_Biao·2021-05-18 17:15

dag 基本逻辑

所以DAG对于小额交易会很友好，解决了目前比特币交易费过高的问题。2DAG交易确认速度怎么样DAG新颖的拓扑结构，导致DAG网路中交易越多，交易越容易被确认。我们发现iota最近市值很
轻度YYy·2021-05-17 02:30

spark-2.2.0集群的安装

ApacheSpark拥有先进的DAG执行引擎，支持非循环数据流和内存计算。EaseofUse:用Java，Scala，Python，R快速编写应用程序。
盗梦者_56f2·2021-05-14 00:23

python DAG拓扑排序

原文：http://blog.csdn.net/pandora_madara/article/details/26478385在DAG中DFS中顶点的出栈顺序即逆拓扑序。
jacke121·2021-05-13 06:29

THE SWIRLDS HASHGRAPH CONSENSUS ALGORITHM：FAIR, FAST, BYZANTINE FAULT TOLERANCE 学习总结

DAG简介·DAG(DirectedAcyclicGraph):“有向无环图”DAG使得区块链从单链进化到树状和网状、从区块粒度细化到交易粒度、从单点跃迁到并发写入，是区块链从容量到速度的一次革新。
CNFINITE·2021-05-12 14:15

jieba分词基本使用

jieba“结巴”中文分词：做最好的Python中文分词组件算法基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)采用了动态规划查找最大概率路径,找出基于词频的最大切分组合对于未登录词
lwyaoshen·2021-05-12 11:46

Filenet技术背景简析二：系统构成与运行机制介绍

Filenet技术背景简析二：系统构成与运行机制介绍之前我们介绍了Filenet的共识机制，包括DAG、默克尔树的概况。今天推文将重点介绍各种机制的运行方式以及系统构成在机制运行中所起的作用。
my_2017·2021-05-12 11:57

《计算机操作系统》（第四版）----第二章进程的描述与控制

前趋图和程序执行前驱图有向无循环图，记为DAG(DirectAcyclicGraph)，用于描述进程之间执行的先后顺序。
Book思议001·2021-05-08 11:54

Jieba分词学习

据作者在github文档上的介绍，Jieba分词的主要用到的算法有：1.基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)2.采用了动态规划查找最大概率路径,找出基于词频的最大切分组合
bellengao·2021-05-06 17:55

MapReduce入门（一）—— MapReduce概述 + WordCount案例实操

定义1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程2）良好的扩展性3）高容错性4）适合PB级以上海量数据的离线处理1.2.2缺点1）不擅长实时计算2）不擅长流式计算3）不擅长DAG
Leokadia Rothschild·2021-05-05 22:49

拓扑排序(备忘自用)

拓扑排序文章目录拓扑排序1.有向无环图2.拓扑排序3.CodeUp例题总结1.有向无环图一个无环的有向图称做有向无环图（DirectedAcyclicGraph，DAG）。
hhae·2021-05-03 22:16

共识算法3 (Tangle)

Tangle系统没有矿工将交易打包成区块，而且Tangle的网络也不是链式结构，而是由一个个交易组成的DAG（DirectedAcyclicGraph，定向非循环图）结构。
李亚军_4a8a·2021-04-30 03:17

玩赚区块链将成为蚂蚁区块链联盟2018年媒体战略合作平台

最近，一个叫CyberVein的项目在技术圈声名鹊起，各路技术大牛都竞相向好友推荐这个低调的项目（如果你没有听说，请正视你的圈子），有人说它直接对标著名的DAG项目IOTA和ByteBall，不过当你深入了解
大学问似的·2021-04-26 10:14

嵌套矩阵——DAG动态规划

题目2075:矩阵嵌套时间限制:1Sec内存限制:128MB提交:259解决:54题目描述有n个矩形，每个矩形可以用a,b来描述，表示长和宽。矩形X(a,b)可以嵌套在矩形Y(c,d)中当且仅当a#include#defineMAX(a,b)((a)>(b)?(a):(b))//状态转移方程:d(i)=max(d(j)+1|(i,j)属于E）其中E为边的集合intarc[1001][1001];i
com.czy·2021-04-25 19:56

2018-09-29

MIXINNETWORK概览MixinNetwork是一条由TEE驱动基于ABFT-DAG网络的公链，解决了区块链转账速度慢、费用高的易用性难题，让BTC/ETH等现存的分布式账本到达超高性能，实现零手续费
Daicea·2021-04-24 06:03

随书人物日更dag5____为爱疯狂的徐志摩

徐志摩，一个现代诗人，散文家。著有大家都熟悉的诗《再别康桥》，虽然世人对他褒贬不一，但是，毕竟他留下了大家喜欢的作品。我一直认为徐志摩是一个为爱情而殉葬自己的人。虽然是坐飞机遇难的，但是这一切似乎都与情感纠缠有关。当初张幼仪和徐志摩的家可谓门当户对，虽然是旧时包办婚姻，可是张幼仪知书达礼，端庄贤惠。怎耐徐志摩就是看不上她。在他知道张幼仪怀孕后竟让她打胎，张害怕说“弄不好会死人的”，而徐竟说“坐火车
刘趁娜·2021-04-23 23:46

浅谈调度工具——Airflow

主要包括Airflow的服务构成、Airflow的Web界面、DAG配置、常用配置以及AirflowDAGCreationManagerPlugin这一款Airflow插件。
泛金融技术·2021-04-23 14:02

Acwing.379 捉迷藏（最小路径重复点覆盖）

传送门1.前置知识1.最小路径点覆盖DAG中选出最小数量的不相交路径（无公共点），将所有点覆盖。求法：将DAG中的点拆成出点和入点，构成一个二分图。
sancpp·2021-04-22 20:35

python 三边测量定位的实现代码

/usr/bin/envpython3#-*-coding:utf-8-*-"""CreatedonWedMay1610:50:292018@author:dag"""importsympyimportnumpyasnpimportmathfrommatplotlib.pyplotimportpl
·2021-04-22 15:47

全方位认识中国版IOTA：BAIC

BAIC，是一个开源的区块链社区，该社区参考IOTA的DAG思想设计了NOWX公链，该公链在IOTA基础上加入了诸如挖矿等创新功能，用于解决物联网和AI设备之间的数据共享、交易结算等问题。
物联网小玩家·2021-04-22 06:33

技术选型-分布式任务调度系统

调研：现在的开源调度系统分为两类：以Quartz为代表的定时类调度系统和以DAG为核心的工作流调度系统。
天不生我落雨·2021-04-19 04:43

Spark大数据处理

spark相比于hadoop，spark是计算框架，hadoop包含计算框架mapreduce，分布式文件系统hdfs，还包括Hbase，Hivespark优势：中间结果输出(spark将执行模型抽象成DAG
MichelleZm·2021-04-19 02:04

分布式可视化DAG工作流任务调度系统DolphinScheduler-1.3.3安装部署

1.准备工作1.1软件准备源码下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/我这里选择1.3.3版本的apache-dolphinscheduler-incubating-1.3.3-src.zip1.2基础软件依赖分析组件版本备注PostgreSQL(8.2.15+)或者MySQL(5.6/
CoderJed·2021-04-18 13:41

Eclipse 保存电影推荐模型时，发生异常 Exception in thread “dag-scheduler-event-loop“ java.lang.StackOverflowError

解决方法模型使用源程序如下参考发现问题在Eclipse运行ALS算法进行电影推荐模型时，保存模型model.save(sc,Path+"ALSmodel")时，发生报错Exceptioninthread"dag-scheduler-event-loop"java.lang.StackOverflowError
漫步，青春·2021-04-14 17:33

隐私计算+AI工程技术实践指南--整体介绍

隐私AI工程技术实践指南--整体介绍隐私AI框架整体设计思路Rosetta框架核心设计思想融合MPC技术的分布式隐私AI架构多方网络的建立隐私数据的流动DAG的执行小结参考资料专题导言：近期，基于TensorFlow
·2021-04-09 21:49

最新论文笔记(+2)：Scaling Nakamoto Consensus to Thousands of Transactions per Second / arXiv 2018

ScalingNakamotoConsensustoThousandsofTransactionsperSecond(将中本聪共识的吞吐率提升到每秒数千次交易)本篇论文主要涉及到了中本聪共识(NakamotoConsensus，NC)、有向无环图(DirectedAcyclicGraph,DAG
crypto_cxf·2021-04-08 19:48

Airflow知识总结

apache基金会的顶级开源项目之一，主要用于调度、监控工作流2.airflowmainconceptsairflow的基本组件架构airflowscheduler.jpgscheduler：以有向无环图(dag
天剑飞心·2021-04-01 14:30

论配置化系统的配置

达到配置化的先决条件是系统内部有个”引擎“模块，引擎读取配置信息把业务流程生成出执行计划，这个执行计划根据业务形态可以是DAG、链表、树或是其他。有了这套系统，日常开发就变成写配置+丰富系统能力了。
·2021-03-30 00:06

论配置化系统的配置

达到配置化的先决条件是系统内部有个”引擎“模块，引擎读取配置信息把业务流程生成出执行计划，这个执行计划根据业务形态可以是DAG、链表、树或是其他。有了这套系统，日常开发就变成写配置+丰富系统能力了。
·2021-03-29 23:47

基于纯POW共识的TERA分片技术价值被“市场”严重低估

关于区块链技术的研究工作都围绕如何在“不可能三角”上取得一个优美权衡而努力，而这些努力大致可分为三个大类:1.从共识机制出发，比如DPoS，Algorand等；2.从区块结构出发，比如DAG等；3.是从系统实现出发
Tera划时代区块链·2021-03-29 08:48

Airflow 动态指定DAG运行队列

Airflow版本2.0.1根据官网提示，airflow支持hook函数，可以在DAG运行开始之前根据我们触发的参数指定队列https://github.com/apache/airflow/discussions
默默无痕·2021-03-25 19:08

flink架构和原理

ComponentsofaFlinkSetupJobManager：接受application，包含StreamGraph（DAG）、JobGraph（logicaldataflowgraph，已经进过优化
allin8116·2021-03-10 21:57
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他