dataflow

从SQL Server到MySQL的ETL实现

场景：需要一个从SQLServer源表拉数据到MySQL目标表的SSISETLPackage，本来一个简单的DataFlow组件就可以解决的问题，然而SSIS2014不支持在Dataflow中使用ADO.NETconnection
weixin_30515513·2020-07-08 13:51

flink的作业提交和任务调度

Runtime层总体架构图作业提交和任务调度流程1.用户提交编写的应用程序时，Client端会对提交作业进行一系列编译和优化，最终将作业的DataFlow转化成JobGraph。
Wu_San·2020-07-07 01:20

Node-RED 的工业应用场景

只知道它是IBM公司的一个开源项目-基于数据流(dataflow)的可视化编程工具。
姚家湾·2020-07-06 10:43

评一篇文章（Experiments of the effectiveness of dataflow- and controlflow-based test adequacy criteria）...

这篇文章挺好玩，本来是讲软件测试的adequacycriteria的：M.Hutchins,H.Foster,T.Goradia,andT.Ostrand,"Experimentsoftheeffectivenessofdataflow-andcontrolflow-basedtestadequacycriteria,"inProceedingsofthe16thinternationalconf
weixin_34313182·2020-07-06 01:09

第三章 VHDL的描述风格

通常结构体有四种不同的描述方式：行为描述方式（behavior）、数据流描述方式（dataflow）或寄存器RTL描述方式、结构化描述方式（structural）以及混合描述方式。
skyyunmi·2020-07-05 12:27

SpringCloud DataFlow 4. Prometheus + Grafana 监控

SpringCloudDataFlow—0.本地部署部署SpringCloudDataFlow—1.自定义ProcessorSpringCloudDataFlow—2.自定义SinkSpringCloudDataFlow—3.暴露propertiesSpringCloudDataFlow—4.Prometheus+Grafana监控SpringCloudDataFlow—5.多分支负载以unpac
chouji6403·2020-07-04 13:52

《FPGA并行编程》读书笔记（第一期）05_FFT

05_FFT1.绪论2.读书笔记源说明3.5个Solution带你学习FFT算法加速3.1工程组织结构3.2S1_Baseline3.3S2_Code_Restructured与S3_LUT3.4S4_DATAFLOW3.5S5
sazczmh·2020-07-04 01:45

流系统Spark/Flink/Kafka/DataFlow端到端一致性实现对比

图片来自unsplash长文预警,全文两万五千多字,37页word文档的长度（略有杂乱，有些非常复杂的地方可能需要更多的例子来说明，使得初学者也能很容易看懂，但是实在花的时间已经太多太多了，留待后边利用起碎片时间一点点修改吧。。。。毋怪。。）分布式最难的2个问题1.ExactlyOnceMessageprocessing2.保证消息处理顺序.我们今天着重来讨论一下为什么很难怎么解前言就作者学习流系
Hadoop技术博文·2020-07-01 17:34

面向Agent的方法学概述

面向Agent的方法学概述1.引言不管面向智能主体的(AO：Agent-Oriented)方法学是否会像鼓吹的那样继面向数据流(DFO:DataFlow-Oriented)、面向数据结构(DSO:DataStruct-Oriented
RedStar81·2020-07-01 12:40

《基于 Apache Flink 的流处理》阅读笔记（三）

二）ApacheFlink架构运行时架构：四个JVM进程运行在不同的物理节点上JobManager：主进程控制单个应用程序执行，每个应用程序都有一个JobManager进行控制包括：JobGraph（Dataflow
PanicJaw·2020-07-01 12:58

《基于 Apache Flink 的流处理》阅读笔记（二）

第二章流处理基础Dataflow图至少有一个输入源一个输出汇，是一个有向图；算子是Dataflow中基本的功能单元。
PanicJaw·2020-07-01 12:58

ADAS/AD控制器模块开发06 - 高精地图与自动驾驶

拿智能前视摄像头模块实现LKA功能为例，按照dataflow来梳理：通过镜头和COMS图像传感器来获取单帧图片；按照感兴趣区域（ROI，region-of-i
我爱露营车·2020-07-01 11:16

Flink数据流编程模型（Dataflow Programming Model）

目录抽象层次（LevelsofAbstraction）程序与数据流（ProgramsandDataflows）ParallelDataflows（并行数据流）窗口（Windows）时间（Time）有状态操作（StatefulOperations）容错检查点（CheckpointsforFaultTolerance）流中的批（BatchonStreaming）原文链接抽象层次（LevelsofAbs
lebboop-L·2020-07-01 11:03

关于白盒测试的心得

白盒测试:又称结构测试，它一般用来测试程序的内部结构(ControlFlow,DataFlow)。并判定其结果是否与预期的结果一致。
weixin_30292745·2020-06-27 15:17

TCP-IP详解：滑动窗口（Sliding Window）

2.DataFlow
CQ小子·2020-06-27 14:25

【Flink】核心概念

目录1、DataflowProgrammingModel（Dataflow编程模型）1.1、LevelsofAbstraction（抽象层）1.2、ProgramsandDataflows（编程和数据流
wangweislk·2020-06-27 13:03

Flink 之 Dataflow、Task、subTask、Operator Chains、Slot 介绍

本文开头附：Flink学习路线系列^_^1.概念Task(任务):Task是一个阶段多个功能相同subTask的集合，类似于Spark中的TaskSet。subTask(子任务)：subTask是Flink中任务最小执行单元，是一个Java类的实例，这个Java类中有属性和方法，完成具体的计算逻辑。OperatorChains(算子链)：没有shuffle的多个算子合并在一个subTask中，就形
扛麻袋的少年·2020-06-24 11:23

数据可视化未来的主要应用会是什么？

看过InformationIsBeautiful和DataFlow，我感觉完全是平面设计艺术。一般是取少量的数据，配以非常视觉化的效果。非常养眼，可以卖海报和周边产品。
linhuiDragon·2020-06-24 05:20

flume介绍及扩展开发心得

上图的Flume的Architecture，在Flume中，最重要的抽象是dataflow(数据流)，dataflow描述了数据从产
BuptSudoer·2020-06-24 03:37

tensorflow系列之tf.graph

我们知道Tensorflow可看作是一个数据流图（Dataflow），由节点和边构成，其中节点表示一个操作，一条边表示一个Tensor，每个节点可以从自己的入边获取自己的输入，同时也可以产生输出通过自己的出边流向下一个节点
jack_jmsking·2020-06-23 20:00

UVa 10594 - Data Flow（无向图的最小费用最大流问题）

题目链接：UVa10594-DataFlow这道题是无向图的最小费用最大流问题，看清楚是无向图的。这么说无向图和有向图的费用流问题有什么区别呢？主要是反向边的问题。
小爷永远不死·2020-06-23 08:43

Pinot架构介绍

HighLevelArchitecture1.目的：对给定数据集提供分析服务2.输入数据：Hadoop&Kafka3.索引技术：为了提供快速的查询，Pinot采用列式存储以及各种索引技术（bitmap，invertedindex）2.DataFlow2.1Hadoop
cjfeii·2020-06-22 23:35

Flink：实时数据处理（2.Flink运行架构）

1.3资源管理器（ResourceManager）1.4分发器（Dispatcher）2.任务提交流程2.1独立集群2.2Yarn3.任务调度原理3.1TaskManger与Slots3.2程序和数据流（DataFlow
卖女孩的小火柴Jaffe·2020-06-09 01:49

初识scrapy爬虫框架

详细内容查看下面的数据流(DataFlow)部分。调度器（Sch
不甘做条咸鱼的江河弟弟·2020-04-20 10:58

Apache Beam可以解决什么问题？

Dataflow试图成为代码和执行运行时环境之间的一个抽象层。代码用DataflowSDK实施后，会在多个
葡萄喃喃呓语·2020-03-29 02:11

Tensorflow-Graph-Session-图与会话-LowLevelApi-翻译整理

Dataflow是平行计算的通用模式。其中节点node表示计算单元，边线edge表示计算产生和消耗的数据。例如上图地步的MatMul计算节点
zhyuzh3d·2020-03-12 17:28

精通Apache Flink必读系列文章 转

https://blog.csdn.net/ffjl1985/article/details/81775019Flink是最接近于谷歌Dataflow大数据分析平台的设计的开源分布式计算引擎，其核心设计理念与
生活的探路者·2020-03-01 04:58

在无套接字情况下，发送TCP包

TCP/IP参考模型因特网协议栈中的层：应用层传输层网络层接口层如下图中的DataFlow所示:当我们发送一个TCP包的时候，我们应该从最上层的Application层准备需要传输的信息，然后依次填充Transport
lxgeek·2020-02-23 17:43

scrapy架构详解

详细内容查看下面的数据流(DataFlow)部分。调度器(Scheduler)调度器从引擎接受request并将他们入队，
可爱的小虫虫·2020-02-19 04:25

数据流块基础

>>返回《C#并发编程》1.简介2.链接数据流块3.传递出错信息4.断开链接5.限制流量6.数据流块的并行处理7.创建自定义数据流块1.简介TPL数据流(dataflow)库的功能很强大，可用来创建网格
北斗星辰·2020-01-31 17:00

数据流块基础

>>返回《C#并发编程》1.简介2.链接数据流块3.传递出错信息4.断开链接5.限制流量6.数据流块的并行处理7.创建自定义数据流块1.简介TPL数据流(dataflow)库的功能很强大，可用来创建网格
大师兄石头·2020-01-31 17:00

分布式大数据系统概览（HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph）

相关课程为华东师范大学数据科学与工程学院《大数据处理系统》，参考大夏学堂，下面主要整理HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow
华师数据学院·王嘉宁·2020-01-10 15:17

scrapy框架详解

Scrapy框架ScrapyEngine:主要负责控制系统各个部件之间的dataflow,以及当特定事件发生的时候触发的事件Scheduler：接受engine发来的request放入队列中，当engine
厌遇·2020-01-06 21:00

【Data Flow】The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost i...

正文之前三部曲最后一个系列正文IMPLEMENTATION&DESIGN3.实现&设计3.1Implementation3.1实现WehaveimplementedthismodelinternallyinFlumeJava,withMillWheelusedastheunderlyingexecutionengineforstreamingmode;additionally,anexternal
张照博·2020-01-04 09:08

【Data Flow】The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost i...

正文之前终于翻译完了，可以开始看论文了，开心啊。。。。。。正文Eventtimeforagiveneventessentiallyneverchanges,butprocessingtimechangesconstantlyforeacheventasitflowsthroughthepipelineandtimemarcheseverforward.Thisisanimportantdistin
张照博·2020-01-01 18:54

第二章 The What, Where, When, and How of Data Processing

本文是《StreamingSystems》第二章的输出，这章的内容也基本来自Streaming102:Theworldbeyondbatch（当时还叫做DataFlow模型，现在已经统称为Beam模型了
柳年思水·2019-12-28 11:38

Flink基本概念之数据流编程模型（DataFlow Programming Model）

功能层级抽象（LevelsofAbstraction）  Flink为开发Streaming、batch等不同的应用提供了四种不同层次的抽象：StatefulStreaming是Flink提供的最低层次的抽象，并通过ProcessFunction嵌入在DataStreamAPI中。它允许使用者自由地处理来自一个或多个流的事件，并使用一致的容错状态。除此之外，使用者可以通过注册eventtime和p
圈圈_Master·2019-12-22 15:30

Pinot架构介绍

HighLevelArchitecture目的：对给定数据集提供分析服务2.输入数据：Hadoop&Kafka3.索引技术：为了提供快速的查询，Pinot采用列式存储以及各种索引技术（bitmap，invertedindex）DataFlow2.1Hadoop
曹振华·2019-12-20 00:29

谷歌DataFlow编程模型以及Spark/Flink/StreamCQL的相关实现

流式计算框架编程接口的标准化，傻瓜化，SQL化，自打谷歌发表Dataflow编程模型的Paper起，就有走上台面的趋势。各家计算框架都开始认真考虑相关的问题，俨然成为大家竞争的热点方向。
彩色蚂蚁·2019-12-07 07:00

Redux_TodoList例子

这篇文章主要是对Redux官网基本概念部分的理解，内容只涉及到Basics部分，在通读Actions,Reducers,Store,DataFlow,Usage后再通过TodoList例子来练习巩固。
NOTEBOOK2·2019-11-30 13:53

Paper Reading《The Dataflow Model- A Practical Approach to Balancing Correctness, Latency, and Cos...

谷歌的Dataflow首先是一个为用户提供以流式或批量模式处理海量数据能力的服务：https://cloud.google.com/dataflow，该服务的编程接口模型（或者说计算框架）也就是下面要讨论的
东皇Amrzs·2019-11-28 08:45

大数据理论篇 - 通俗易懂，揭秘谷歌《The Dataflow Model》的核心思想(一)

目录前言目标核心的设计原则通用的数据处理流程切合实际的解决方案总结延伸阅读最后作者：justmine头条号：大数据达摩院创作不易，未经授权，禁止转载，否则保留追究法律责任的权利。前言这是分布式数据处理系统系列的第一篇，也是当下实时流计算引擎实现的奠基石，为了帮助大家从理论到实现形成一个完整的知识体系，计划分为理论篇(剖析分布式数据处理系统的核心思想)和实现篇(详解当下实时流计算引擎如何实现核心思想
justmine·2019-11-05 08:00

Elastic-job系列（二）-------- simple类型作业

一、简介esjob的作业类型有三种，分别是Simple、Dataflow和Script。本文主要介绍基于springboot的simple类型的作业。以及控制台的使用。
秋天的春·2019-10-09 11:38

CG行业的pipeline,dataflow和workflow

首先这是个有限范围的讨论，这三个概念有相当大的部分是重叠的。但是有着看问题的不同角度，其中有些是任务驱动，有些是技术驱动多些。从国内CG行业的现状来看，大家提的最多的是pipeline这个词，开始我大概也就理解成“流程”，因为翻译也是管道，我们都是脑子里容易出画面的人，你现在脑子里是不是一堆管线了。但是后来渐渐的发现应该看成流水线更贴切，它是由事件驱动形成的线路，用身边的事物解释可以有很多例子。例
相对豆·2019-10-05 22:39

实时计算大数据处理的基石-Google Dataflow

此文选自Google大神TylerAkidau的另一篇文章：Streaming102:Theworldbeyondbatch欢迎回来！如果您错过了我以前的帖子，Streaming-大数据的未来，强烈建议您先花时间阅读那篇文章。简要回顾一下，上一篇我们介绍了Streaming，批量与流式计算，正确性与推理时间的工具，数据处理模式，事件事件与处理时间，窗口化。在这篇文章中，我想进一步关注上次的数据处理
实时计算·2019-08-22 00:00

TPL Dataflow 流水线组件应对高并发，低延迟场景 相当巴适

回顾上文作为单体程序，依赖的第三方服务虽不多，但是2C的程序还是有不少内容可讲；作为一个常规互联网系统，无外乎就是接受请求、处理请求，输出响应。由于业务渐渐增长，单机多核的共享内存模式带来的问题很多，编程也困难，随着多核时代和分布式系统的到来，共享模型已经不太适合并发编程，因此Actor模型又重新受到了人们的重视。-----调试多线程都懂------*传统的编程模型通常使用回调和同步对象（如锁）来
nodotnet·2019-07-12 19:00

DataStream API介绍与使用（一）

详细API参考官网DataStream编程模型在Flink整个系统架构中，对流计算的支持是其最重要的功能之一，Flink基于Google提出的DataFlow模型，实现了支持原生数据流处理的计算引擎。
SunnyRivers·2019-06-14 17:37

Elastic-job分布式任务调度框架

本文将从以下几个方面展开介绍elastic-job1.Elastic-job简介2.Elastic-job开发指南2.1.引入maven依赖2.2.作业开发2.2.1.Simple类型作业2.2.2.Dataflow
keetone·2019-04-25 10:46

Spring Cloud Data Flow Docker Compose问题解决

研究SpringCloudDataFlow时，启动DockerCompose的时候发现报错如下：dataflow-server|java.lang.RuntimeException:ErrorreadingfromURL
WalkerQiao·2019-04-19 00:00

SpringBatch监控

当前DataFlow的最新版是2.0，稳定版是1.7，每个版本提供了3种平台
a4227139·2019-03-22 23:33
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他