dataflow

现代流式计算的基石：Google DataFlow

0.引言今天这篇继续讲流式计算。毫无疑问，ApacheFlink和ApacheSpark（StructuredStreaming）现在是实时流计算领域的两个最火热的话题了。那么为什么要介绍GoogleDataflow呢？StreamingSystems这本书在分析Flink的火热原因的时候总结了下面两点：“ThereweretwomainreasonsforFlink’srisetopromine
cpongo1·2020-09-13 21:52

【笔记】现代流计算的基石：Google DataFlow

流计算精品翻译:TheDataflowModel假设我们永远无法知道数据流是否终结，何时数据会变完整。新的数据会源源不断而来，老的数据可能会被撤销或更新。设计思想目标抽象模型对无边界，无序的数据源，允许按数据本身的特征进行窗口计算，得到基于事件发生时间的有序结果，并能在准确性、延迟程度和处理成本之间调整。解构数据处理管道的四个相关维度，使得它们透明地，灵活地进行组合。计算什么结果按事件发生时间计算
thompsonGuo1·2020-09-13 21:31

LO Cockpit

1.DataFlow2.Steps3.RobertoNegroBlogsaboutLogisticcockpita)V3Update,the'Serializer':http://weblogs.sdn.sap.com
iteye_2994·2020-09-12 13:41

magento数据库清除 log

下面是一些日志表’dataflow_batch_export’,’dataflow_batch_import’,’log_customer’,’log_quote’,’log_summary’,’log_summary_type
TerryWater·2020-09-11 03:23

Scrapy学习篇（一）之架构

详细内容查看下面的数据流(DataFlow)部分。调度器（Schedul
cnkai·2020-08-26 15:39

批处理程序生成计划

计划计划（Plan）以数据流（dataflow）的形式来表示批处理程序，但它只是批处理程序最初的表示，在一个批
丹之·2020-08-26 14:11

SAP Cloud for Customer的inscreen_dataflow处理方式

是从LeadTI页面screen内部，通过PublicOutportECLeadProduct到达EmbeddedComponent.在NavigationProcessor里有个方法inscreen_dataflow
JerryWang_汪子熙·2020-08-24 16:41

OPPO自研ESA DataFlow架构与实践

本文来自OPPO互联网基础技术团队，转载请注名作者。同时欢迎关注我们的公众号：OPPO_tech，与你分享OPPO前沿互联网技术及活动。1.背景OPPO互联网业务每天产生海量的数据，如调用链跟踪系统ESATrace，每日采样的请求数据超过千亿级别，我们需要对这些数据进行归类，聚合、过滤和存储，同时我们需要对采集到的数据进行多通道并行处理，比如并行进行关键指标告警和写入存储集群。而数据采集系统的性能
OPPO互联网技术·2020-08-22 13:36

SAP Cloud for Customer的inscreen_dataflow处理方式

是从LeadTI页面screen内部，通过PublicOutportECLeadProduct到达EmbeddedComponent.在NavigationProcessor里有个方法inscreen_dataflow
JerryWang_汪子熙·2020-08-21 00:25

SAP Cloud for Customer的inscreen_dataflow处理方式

是从LeadTI页面screen内部，通过PublicOutportECLeadProduct到达EmbeddedComponent.在NavigationProcessor里有个方法inscreen_dataflow
JerryWang_汪子熙·2020-08-21 00:25

iOS 深入理解SwiftUI

文章目录1.SwiftUI的优缺点2.语法细节-声明式语法3.实时预览4.XcodeLibrary5.SwitchCaseSupport6.DataFlow数据流6.1数据处理的基本原则6.2数据流工具
夏天然后·2020-08-20 13:59

源码分析系列（二）x264_cavlc_dataflow

http://www.cnblogs.com/xkfz007/articles/2616156.htmlCAVLC编码部分的关键函数2.1x264_macroblock_write_cavlc(x264_t*h,bs_t*s)功能判断宏块类型，对宏块进行CAVLC编码。输入项目x264_t*h：指向x264_t类型的结构体的指针变量。输出项目bs_t*s：指向bs_s类型结构体的指针变量。流程图如
weixin_30702887·2020-08-18 09:53

数据流交换策略

Operator是dataflow应用中的基本单元，它们从输入消费数据，在之上执行计算，并生产数据
王树民·2020-08-16 21:37

vivado HLS 优化总结以及相关流程

HLS优化一、for循环优化之pipeline二、for循环优化之unroll三、for循环优化之merge四、for循环优化之数据流DataFlow五、for循环优化之嵌套循环优化六、数组优化--数组分割七
春江花月夜晨·2020-08-16 00:19

VIVADO HLS函数层面的优化

VIVADOHLS函数层面的优化参考文献项目简述数据类型对函数实现inline操作函数的Allocation操作函数的dataflow操作总结参考文献[1]、lauren的FPGA(微信公众号)[2]、
朽月·2020-08-15 21:14

HLS优化总结

文章目录1任意精度数据类型2unroll&pipeline2.1循环平坦化2.2循环展开2.3循环合并3dataflow4数组4.1arraypartition4.2arrayreshape5inline6interface
tiaozhanzhe1900·2020-08-15 11:44

HLS for循环优化 dataflow_有疑问

通过配置数据流间的channel选择ppRAM或者FIFOReg不能直接进行dataflow的代码形式Single-producer-consumer这里Loop2
rrr2·2020-08-15 11:42

HLS DATAFLOW & HLS stream ERROR: [XFORM 203-711]

http://www.elecfans.com/d/921179.htmlERROR:[XFORM203-711]DescriptionThespecifiedvariableisbothwrittentoandreadfrom.ThisviolatestherequirementsforusingtheDATAFLOWdirective,whichsupportsonlysingle-produ
jerwey·2020-08-15 10:06

ug902-ch4_Command Reference

文章目录config_dataflowset_directive_dataflow（pragmaHLSdataflow）set_directive_stream（pragmaHLSSTREAM）config_dataflowDescription
jerwey·2020-08-15 10:54

hls心得（1）

hls则主要考虑算法能否pipeline，dataflow，unroll，因此，多是用空间换时间。还有，算法的并行化，在Verilog里多是用模块实例化实现，以及always语句。
Tiger-Li·2020-08-15 10:24

flink实战--数据流编程模型(Dataflow Programming Model)

概述本文讲述flink的数据流编程模型，通过本文的讲述可以对flink的编程模型有一个清楚的认识，便于在编写flink程序时，进行选择使用。另外，本文是一篇翻译文章，来自于flink的官方文档。见参考文献。译者注：本文介绍了flink对外提供的不同层次的编程接口，和spark类似，flink对外提供了三种层次的编程接口：coreAPI，TableAPI，SQL。coreAPI：提供了一套针对str
一 铭·2020-08-12 00:47

【理解Flink必备(一)】Flink核心概念理解-- Dataflow Programming Model

文章目录LevelsofAbstractionProgramsandDataflowsParallelDataflowsWindowsTimeStatefulOperationsCheckpointsforFaultToleranceBatchonStreaming笔者根据官方文档原文进行翻译，水平有限，如有理解偏差，请及时联系笔者更正。FlinkVersion:1.8.0LevelsofAbst
Gavin_周·2020-08-11 20:47

OPPO自研ESA DataFlow架构与实践

本文来自OPPO互联网基础技术团队，转载请注名作者。同时欢迎关注我们的公众号：OPPO_tech，与你分享OPPO前沿互联网技术及活动。1.背景OPPO互联网业务每天产生海量的数据，如调用链跟踪系统ESATrace，每日采样的请求数据超过千亿级别，我们需要对这些数据进行归类，聚合、过滤和存储，同时我们需要对采集到的数据进行多通道并行处理，比如并行进行关键指标告警和写入存储集群。而数据采集系统的性能
OPPO互联网技术·2020-08-11 18:21

Data Service-创建一个时间维度表

创建一个时间维度表的过程.准备工作:SAPDataService(本人使用的是4.2版本)具体步骤:步骤一:建立一个项目及BatchJob步骤二:双击步骤一中建立的BatchJob,在右侧界面中新建一个DataFlow
qq_527235890·2020-08-10 00:03

flink分布式运行时环境、词汇表

TaskManagers（也称为workers）执行dataflow中的t
xuyingzhong·2020-08-07 22:17

关于Xilinx HLS的一些细节

这里随便列举几个1）在DATAFLOW优化时，必须是single-producer-consumer模式，也就是单入单出。
东方泓·2020-08-05 15:19

基于HLS工具的进阶实战学习笔记2——Stream与DataFlow

笔记——学习HLS：Stream与DataFlowHLS的一个类hls::stream，来流式处理数据，综合以后形成一份FIFO在c仿真时，如果模块内部定义了这个类型的变量，这个fifo被认为是无限长度，但综合为电路时，长度默认为1，需要加约束设置其长度。如果不做约束，在综合时会报如下错误：ERROR:[XFORM203-733]Aninternalstream‘tp_stream.V.V’(st
老衲爱上树·2020-08-05 15:48

卷积函数的FPGA实现（六）对IPcore进行HLS及RTL输出

背景：MTCNN的卷积被实现为IPcore目的：HLS通过IPcore，输出RTL目录一、删掉一些语句二、加回DATAFLOW与UNROLL2.1N_PE=82.2N_PE=4三、最终IPcore占用的资源
祥瑞Coding·2020-08-05 15:46

HLS 方法综合

改善吞吐率提高并行度DATAFLOW可以作用于函数和循环，是一种ping-pong操作的方式。
rrr2·2020-08-05 13:48

vivado HLS硬件化指令（四）卷积相关的指令优化

目录INLINE指令p316UNROLL指令P154UNROLL停止的判断LATENCY指令P164FUNCTION_INSTANTIATEP174RESOURCEP178DATAFLOWP157DATAFLOW
祥瑞Coding·2020-08-05 12:29

几个基本概念辨析：流敏感，路径敏感和上下文敏感

我们经常会遇到流敏感（flow-sensitive），路径敏感（path-sensitive）和上下文敏感（context-sensitive），这几个概念都主要出现在DataFlowAnalysis中（或dataflow
weixin_33889665·2020-08-04 20:18

如何把Spring Cloud Data Flow部署在Kubernetes上

SpringCloudDataFlow入门简介请参考：SpringCloudDataFlow初体验，以Local模式运行2部署DataFlow到Kubernetes以简单为原则，我们依然是基于Ba
·2020-08-03 11:50

dataFlow-启动项目

项目地址：https://dataflow.spring.io/docs/installation/local/manual/百度：springclouddataflowspring>projects>
开水没有春天·2020-08-01 05:32

SSIS的数据流和控制流

ControlFlow和DataFlow，是SSISDesign中主要用到的两个Tab，理解这两个Tab的作用，对设计更高效的package十分重要。
weixin_34417183·2020-08-01 05:08

Scrapy 简易爬取Boss直聘 可设定city job 爬取工作到excel或mysql中

把数据放入到MYSQL数据库中和写入到excel中，由于笔者之前爬取过拉勾网，但个人倾向与Boss直聘，所以再次爬取Boss直聘来作为知识梳理二、Scrapy工作原理介绍，之前的总结中已经介绍过了，而且网上有dataflow
Tenderness4·2020-07-30 19:42

专题导读：面向大数据处理的数据流计算技术

点击上方蓝字关注我们专题导读：面向大数据处理的数据流计算技术数据流（dataflow）是麻省理工学院（MIT）的JackB.Dennis教授在20世纪70年代提出的一种计算机体系架构，这在当时是很大胆的想法
唐名威·2020-07-30 10:46

Spring Cloud Data Flow 初尝试

参考：https://dataflow.spring.io/
c.·2020-07-30 08:58

scrapy源码分析（一）架构（译）

数据流（dataflow）scrapy中的数据流被其执行引擎（executionengine）控制，运行原理如下：engine从Spider处获取最
u011499490·2020-07-30 01:38

How to Insert or Update records in SSIS DataFlow

IfyouimportDatafromaspecifiedSourceperiodicallyinanIntegrationServiceProjectandyouneedtoupdateexistingdataintheSQLDestinationthebestworkaroundforthisisasfollowing:FirstdefineaSourceinthedataflowe.g.Ol
weixin_30848775·2020-07-28 17:47

Jmap的使用

[root@dataflow_cms~]#jps26966dataflow.jar14701Jps25774Application[root@dataflow_cms~]#26966-bash:26966
黑旋风李鬼·2020-07-28 06:56

【软件分析学习笔记】2：数据流分析及示例,半格和偏序

1简述数据流分析数据流(dataflow)分析将程序看成数据和数据的流动转移，而将转移的控制条件忽略掉，只关注数据在转移过程中的变化。
LauZyHou·2020-07-27 17:05

Spring-Cloud-Data-Flow-入门手册-3shell命令行

可用的命令行...218.Tab键自动填充...319.空格和单引号的使用规则...319.1.引号和转义...4重要说明：本方是翻译自https://docs.spring.io/spring-cloud-dataflow
devilteam2006·2020-07-15 07:35

isca2017_papers笔记： Stream-Dataflow Acceleration

摘要对低功耗数据处理硬件的需求不可阻挡地继续上升。现有的可编程和“通用”解决方案（例如，SIMD，GPGPU）是不够的，这一点从机器学习，计算机视觉和大数据等重要领域的(应用程序和领域特定加速器)的(数量级改进和行业采用)中可以看出。在这两个极端:效率和普遍性之间的鲜明的权衡提出了一个棘手的问题：如果没有特定于领域的硬件解决方案，特定领域硬件的效率如何实现？在这项工作（在这个问题中），我们依赖结论
同学你为什么迟到·2020-07-13 09:35

elastic-job个人理解

所有任务动态处理是通过监听zk和操作zk来保证数据库的任务数据一致，elastic-job有自带的任务监控系统1.elastic-job提供了三种类型的作业：Simple类型作业（继承的execute方法内做任务处理）、Dataflow
zhiyegai·2020-07-12 20:55

Elastic-JOB

开发指南代码开发作业类型目前提供3种作业类型，分别是Simple,DataFlow和Script。
辰玮·2020-07-12 19:03

Elastic-job系列（二）-------- simple类型作业

一、简介esjob的作业类型有三种，分别是Simple、Dataflow和Script。本文主要介绍基于springboot的simple类型的作业。以及控制台的使用。
请叫我猿叔叔·2020-07-11 17:24

Apache Flume 分布式日志收集系统学习

数据流（DataFlow）描述了日志数据从产生，传输，处理到最后写入目的地的路径，它是Flume的最抽象模型。Fl
lihong1191·2020-07-11 10:25

Google Cloud Dataflow对比原生的MapReduce

转发自：http://suanfazu.com/t/fen-bu-shi-ji-suan-kuang-jia-google-cloud-dataflow/257GoogleCloudDataflow是一种构建
jinfeiteng2008·2020-07-11 09:41

【实践案例分享】Flink 流批一体的实践与探索

作为Dataflow模型的最早采用者之一，ApacheFlink在流批一体特性
木东居士·2020-07-09 05:06

Dataflow Programming Model

原文地址抽象层级Flink提供不同的抽象层级来开发流/批处理应用。最低层次的抽象只提供有状态的流。它可以通过处理函数嵌入到DataStreamAPI中。它允许用户从一个流或者多个流中自由的处理事件，并使用一致的容错状态。另外，用户可以注册事件时间和处理时间回调函数，从而允许程序实现复杂的计算。实际上，大多数应用不需要上述的低层次的抽象，而是会针对核心的API，如DataStreamAPI(有界的/
小C菜鸟·2020-07-08 15:06
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他