流式计算Heron

探寻流式计算

一、静态数据和流数据静态数据：为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。流数据：以大量、快速、时变的流形式持续到达的数据。（例如：实时产生的日志、用户实时交易信息）流数据具有以下特点：(1)、数据快速持续到达，潜在大小也许是无穷无尽的。(2)、数据来源众多，格式复杂。(3)、数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃，要么被归档存储(存储于数据仓库)。(
艾弗森哇·2019-09-23 17:14

3. 架构与抽象

SparkStreaming使用“微批次”的架构，把流式计算当作一系列连续的小规模批处理来对待。
铖歌·2019-09-21 05:00

大数据流式计算存在的挑战

大数据流式计算系统存在诸多挑战，如资源调度、系统容错、动态时间窗口、高效索引策略等诸多方面。
先荐·2019-09-20 20:07

分布式系统面试连环炮

，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/spark、分布式流式计算系统
Bertha然·2019-09-20 16:00

探寻流式计算

一、静态数据和流数据静态数据：为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。流数据：以大量、快速、时变的流形式持续到达的数据。（例如：实时产生的日志、用户实时交易信息）流数据具有以下特点：(1)、数据快速持续到达，潜在大小也许是无穷无尽的。(2)、数据来源众多，格式复杂。(3)、数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃，要么被归档存储(存储于数据仓库)。(
宜信技术·2019-09-20 14:00

一、KafKa概述

数据技术之Kafka版本：V1.0一Kafka概述1.1Kafka是什么在流式计算中，Kafka一般用来缓存数据，SparkStreaming/Flink/Storm通过消费Kafka的数据进行计算。
lilixia·2019-09-19 14:00

flink有什么优势值得大家这么热衷

flink通过实现了GoogleDataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。
nicekk·2019-09-19 00:00

大数据流式计算存在的挑战

大数据流式计算系统存在诸多挑战，如资源调度、系统容错、动态时间窗口、高效索引策略等诸多方面。
先荐·2019-09-16 19:43

流式计算的应用特征

流式计算可以广泛应用于金融银行、互联网、物联网等诸多领域，如股市实时分析、插入式广告投放、交通流量实时预警等场景，主要是为了满足该场景下的实时应用需求。
先荐·2019-09-11 19:59

流式计算的三种框架：Storm、Spark和Flink

我们知道，大数据的计算模式主要分为批量计算(batchcomputing)、流式计算(streamcomputing)、交互计算(interactivecomputing)、图计算(graphcomputing
先荐·2019-09-11 14:11

流式计算的应用特征

大数据流式计算可以广泛应用于金融银行、互联网、物联网等诸多领域，如股市实时分析、插入式广告投放、交通流量实时预警等场景，主要是为了满足该场景下的实时应用需求。
先荐·2019-09-11 00:00

流式计算的三种框架：Storm、Spark和Flink

我们知道，大数据的计算模式主要分为批量计算(batchcomputing)、流式计算(streamcomputing)、交互计算(interactivecomputing)、图计算(graphcomputing
先荐·2019-09-10 19:06

什么是流式计算？

一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。
先荐·2019-09-09 19:26

什么是流式计算？

一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。
先荐·2019-09-09 19:59

什么是流式计算？

一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。
先荐·2019-09-09 00:00

Ogg For Bigdata 同步Oracle数据到KAFKA（包括初始化历史数据）

OGG同步Oracle数据到KAFKA：OGG初始化进程初始化历史数据在前面曾写过几篇关于OGG同步Oracle等库数据到kafka的文章：OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算
赵延东的一亩三分地·2019-09-06 15:42

超越Storm，SparkStreaming——Flink如何实现有状态的计算

流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件，Storm就是无状态的计算框架，每一条消息来了以后和前后都没有关系，一条是一条。
独孤风·2019-09-03 17:00

spark笔记之Spark Streaming原理

2.2SparkStreaming计算流程SparkStreaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是SparkCore，也就是把SparkStreaming的输入数据按照
qq5d3e5bae55f08·2019-09-03 14:30

Java8 Stream API 详细使用指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数
码农小胖哥·2019-08-29 00:00

8.推荐系统之Spark Streaming

一.sparkStreaming概述1.1SparkStreaming它是一个可扩展，高吞吐具有容错性的流式计算框架吞吐量：单位时间内成功传输数据的数量之前学习过的spark-core和spark-sql
Sssssss_A·2019-08-27 11:39

Flink 架构

Flink流式计算模型图中的stream为传输通道中的数据，operator为flink中的算子，Source为数据源，sink是最终处理的数据去向。
apprentices·2019-08-27 09:31

flink框架初探

过去理解数据的角度来看，数据可分为实时流式数据和历史静态数据，比如用户实时点击行为属于实时流式数据，而过去30天销量属于历史静态数据，两者一定程度上是割裂的，基于这种划分思想，流式数据用流式计算框架(storm
dataliu·2019-08-25 00:00

Spark流式编程介绍 - 编程模型

你在做流式计算就像是标准针对静态表的批查询，Spark会在一个无限输
陈晨_软件五千言·2019-08-22 19:00

求三角形面积的方式有哪一些？

一、海伦公式： 海伦公式又译作希伦公式、海龙公式、希罗公式、海伦－秦九韶公式,传说是古代的叙拉古国王希伦（Heron,也称 海龙）二世发现的公式,利用三角形的三条边长来求取三角形面积.但根据MorrisKline
那个村的王富贵·2019-08-22 15:13

实时计算大数据处理的基石-Google Dataflow

简要回顾一下，上一篇我们介绍了Streaming，批量与流式计算，正确性与推理时间的工具，数据处理模式，事件事件与处理时间，窗口化。在这篇文章中，我想进一步关注上次的数据处理
实时计算·2019-08-22 00:00

Flink原理（五）——容错机制

1.前言流式计算分为有状态和无状态两种情况，所谓状态就是计算过程中的中间值。对于无状态计算，会独立观察每个独立事件，并根据最后一个事件输出结果。什么意思？
BraveWg·2019-08-21 01:00

Flink 常用Api 学习及测试

FlinkDataStreamFlinkdatasource      Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，
apprentices·2019-08-21 00:00

Streaming-大数据的未来

分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming101:Theworldbeyondbatch那么流计算如何超越批处理呢？
实时计算·2019-08-21 00:00

大数据-Storm

Storm保证每个消息都会得到处理，而且它很快，每秒可以处理数以百万计的消息，还可以使用任意编程语言来开发一、离线计算和流式计算1、离线计算离线计算：批量获取数据、批
JP-Destiny·2019-08-18 00:03

SparkStreaming之checkpoint检查点

1.元数据检查点将定义流式计算的信息保存到容错存储系统【如HDFS等】。这用于从运行流应用程序所在的节点的故障中恢复。元数据包括：1.配置用于创建流应用程序的配
云山之巅·2019-08-15 16:00

跟 Amazon 学入门级数据仓库架构

从舆论上吞噬整个数仓市场的还有一些小众产品，比如图数据技术，流式计算
dbLenis·2019-08-13 12:00

实时流式计算是什么 实时流式计算运用领域

实时流式计算，也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。
小菜鸟工作室·2019-08-09 09:40

什么是实时流式计算？

实时流式计算，也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。
独孤风·2019-08-09 08:00

通过一个日志监控系统来了解流式计算

之前一直在团队中接触监控平台，并没有做相关的业务项目，经过这一段时间以来，对流式计算有了一个大体的认识，之后的深入学习还要继续，今天算是系统的将这个项目整理了一遍。
ks宁·2019-08-06 09:57

TDengine物联网大数据平台_开源了

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的工作量。
yfx000·2019-07-29 09:42

Java 8 Stream api 入门

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数据集。
码农小胖哥·2019-07-25 21:00

kafka详解

kafka总结主要应用场景为流式计算,提供发布订阅的流式平台自身不会产生数据只是平台kafka的优点吞吐量大延迟低topic(主题)含有kv时间戳key可以为空创建topic指定分区分区可以变多但不能变少
Alwaysdazz·2019-07-25 09:58

Flink CookBook—流式计算介绍

在大数据时代，流式计算越来越发挥着巨大的商业价值：业务分析人员能够更及时洞察数据，辅助做出更有效的决策；在万物互联场景中，对海量无限数据集的处理成了常态化，使用流式系统更能满足现代数据的商业模型；在数据到达时就处理数据
data之道·2019-07-25 08:21

Flink 1.8.0中的状态生存时间特性：如何自动清理应用程序的状态

对于许多状态流式计算程序来说，一个常见的需求是自动清理应用程序的状态（state），以便有效地控制状态大小，或者控制程序访问状态的有效时间（例如受限于诸如GDPR等法律条规）。
阿里云云栖社区·2019-07-25 00:00

TDengine专为物联网而生的大数据平台

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的工作量。
子阳2328·2019-07-20 22:16

6 MapReduce的理解

GoogleMapReduce克隆版MapReduce特点易于编程良好的扩展性高容错性适合PB级以上海量数据的离线处理MapReduce不擅长的方面实时计算像MySQL一样，在毫秒级或者秒级内返回结果流式计算
农夫三拳有點疼·2019-07-19 16:00

使用Spark Streaming SQL基于时间窗口进行数据统计

1.背景介绍流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。
阿里云云栖社区·2019-07-08 00:00

Structed Streaming

您将流式计算表示为静态表上
iware99·2019-07-03 23:38

Spark每日半小时（29）——结构化流式编程：编程模型

我们将流式计算表示为静态表上的标准处理查询，Spark将其作为无界输入表上的增量查询运行。接下来我们更详细的去了解这个模型。基本概念将输入数据流视为“输入表”。
DK_ing·2019-06-28 09:55

Spark每日半小时（28）——结构化流式编程：概览、示例

我们可以像表达静态数据的批处理计算一样表达流式计算。SparkSQL引擎将负责逐步和连续地运行它，并在流数据持续到达时更新最终结果。
DK_ing·2019-06-27 17:29

后端架构师技术图谱(六)-基础架构

大数据流式计算Storm官方网站《最详细的Storm入门教程》Flink《Flink之一Flink基本原理介绍》KafkaStream《KafkaStream调研：一种轻量级流计算模式》应用场景例如：广告相关实时统计
咪雅先森·2019-06-26 10:40

奇点云数据中台技术汇（四）| DataSimba系列之流式计算

你是否有过这样的念头：如果能立刻马上看到我想要的数据，我就能更好地决策？市场变化越来越快，企业对于数据及时性的需求，也越来越大，另一方面，当下数据容量呈几何倍暴增，数据的价值在其产生之后，也将随着时间的流逝，逐渐降低。因此，我们最好在事件发生之后，迅速对其进行有效处理，实时，快速地处理新产生的数据，帮助企业快速地进行异常管理和有效决策，而不是待数据存储在一起之后，再进行批量处理。一:sparkSt
奇点云·2019-06-18 19:58

奇点云数据中台技术汇（四）| DataSimba系列之流式计算

你是否有过这样的念头：如果能立刻马上看到我想要的数据，我就能更好地决策？市场变化越来越快，企业对于数据及时性的需求，也越来越大，另一方面，当下数据容量呈几何倍暴增，数据的价值在其产生之后，也将随着时间的流逝，逐渐降低。因此，我们最好在事件发生之后，迅速对其进行有效处理，实时，快速地处理新产生的数据，帮助企业快速地进行异常管理和有效决策，而不是待数据存储在一起之后，再进行批量处理。一:sparkSt
cuba7764·2019-06-18 19:52

数据中台技术汇 | DataSimba系列之流式计算

你是否有过这样的念头：如果能立刻马上看到我想要的数据，我就能更好地决策？市场变化越来越快，企业对于数据及时性的需求，也越来越大，另一方面，当下数据容量呈几何倍暴增，数据的价值在其产生之后，也将随着时间的流逝，逐渐降低。因此，我们最好在事件发生之后，迅速对其进行有效处理，实时，快速地处理新产生的数据，帮助企业快速地进行异常管理和有效决策，而不是待数据存储在一起之后，再进行批量处理。一:sparkSt
StartDT·2019-06-18 19:09

Flink流式计算

StructuredStreamingAstreamisconvertedintoadynamictable.Acontinuousqueryisevaluatedonthedynamictableyieldinganewdynamictable.Theresultingdynamictableisconvertedbackintoastream.DefiningaTableonaStreamCo
killianxu·2019-06-15 10:00
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他