流式计算第13页

Spark Streaming初探

SparkStreaming初探SparkStreaming是一个基于Spark核心的流式计算的扩展。

OopsOutOfMemory·2020-07-28 14:01

Spark Streaming快速入门

SparkStreaming处理的数据可以来源于多种数据源（如:Kafka、Flume、TCP套接字），这些数据流经过流式计算的

Mcy2017·2020-07-28 08:27

使用Spark Streaming SQL基于时间窗口进行数据统计

1.背景介绍流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。

chikuai9995·2020-07-27 20:45

spark进阶（五）

SparkStreamingSparkStreaming框架计算流程：SparkStreaming是将流式计算分解成一系列短小的批处理作业。

a_victory·2020-07-27 18:23

spark的初步学习知识点

SPARK核心组件spark包括四大组件：SparkStreaming(类似于Storm，进行流式计算，处理的是实时数据(流式数据))Spar

a_6_9_z·2020-07-27 18:51

Flink编程三大组件（一）——Source

Flink作为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去

DanielMaster·2020-07-27 18:04

字节跳动李本超：一年成为 Committer，我与 Flink 社区的故事

首先简单做个自我介绍，我是李本超，是字节跳动基础架构流式计算方向的工程师，主要负责FlinkSQL方向。最近非常有幸受邀成为ApacheFlinkCommitter。

ApacheFlink·2020-07-27 17:46

探究 flink1.11 Application 模式

随着流式计算的兴起，实时分析成为现代商业的利器。越来越多的平台和公司基于ApacheFlink构建他们的实时计算平台，并saas化。这些平台旨在通过简化应用的提交来降低最终用户的使用负担。

iyacontrol·2020-07-27 11:24

Hadoop生态圈（十一）：Storm

1.2流式计算是什么？1.3Storm是什么？

jiezou12138·2020-07-16 01:17

流计算容错

这篇文档描述了Flink的流式计算的容错机制IntroductionCheckpointingBarriersStateExactlyOncevs.AtLeastOnceRecovery简介Flink提供容错机制来对应用数据流提供持续的恢复

codemosi·2020-07-15 21:07

Hadoop 理解与运用（一）

reduceonyarn)Tezspark3.ImpalaPrestoDrill直接跑在hdfs上pig（脚本方式）hive（SQL语言）跑在map/reduce上hiveontez/sparkSQL4.流式计算

Blieveinmyself·2020-07-15 21:11

Spark译文(三)

·您可以像表达静态数据的批处理计算一样表达流式计算。·SparkSQL引擎将负责逐步和连续地运行它，并在流数据继续到达时更新最终结果。·您可以使用Scala，Java，Python或R中的

aeluwl2038·2020-07-15 20:04

Flink基本介绍

Flink简介：Flink通过实现GoogleDataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。

TNTZS666·2020-07-15 19:23

Streaming System 第一章：Streaming 101

the-world-beyond-batch-streaming-101https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102其中对流式计算的设计理念做了非常透彻的介绍

xxscj·2020-07-15 16:56

浅谈实时数据开发

（三）流式技术架构目前流式计算框架相对成熟，以Storm、SparkStreaming为代表的开源组件也被广泛应用。

木东居士·2020-07-15 12:57

Spark与Flink：对比与分析

Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。原理Spark1.4特

xiaomin_____·2020-07-15 10:44

Apache Spark Streaming-教案

SparkStreaming流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。

麦田里的守望者··2020-07-15 06:32

Savepoints

使用Flink的checkpoint机制来为你的流式计算程序创建一个(非自增的)快照，并且将checkpoint数据和元数据写入到外部的文件系统中。

小C菜鸟·2020-07-15 01:19

Storm应用场景详解

Storm是一个分布式的、可靠的、容错的数据流处理系统（流式计算框架，可以和mapreduce的离线计算框架对比理解）。整个任务被委派给不同的组件，每个组件负责一个简单的特定的处理任务。

Kun_Guan·2020-07-15 00:01

StructuredStreaming官方文档翻译

您可以以静态数据表示批量计算的方式来表达流式计算。SparkSQL引擎将随着流式传输数据持续到达而逐渐持续运行，并更新最终结果。

无尴尬不青春·2020-07-14 22:54

【图文详细】Kafka消息队列——Kafka是什么

1.1、Kafka的概述在流式计算中，Kafka一般用于数据的缓存，Storm通过消费Kafka的数据进行计算。

谦卑t·2020-07-14 20:01

Spark编程

综述Scala语言写成的一套分布式内存计算系统，核心抽象模型是RDD（弹性分布式数据集）在Spark之上还有一些工具：支持用Sql查询的SparkSQL、支持流式计算的SparkStreaming、机器学习库

Yuanhui·2020-07-14 19:21

大数据基础知识学习-----Storm学习笔记

Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算

四川码匠·2020-07-14 17:16

阿里云大数据-ACA考试-笔记（二）

数加产品介绍定位：计算引擎：离线计算：由用户定时触发，批量处理的数据流式计算：数据发生变化时能够及时捕捉变化并处理在线计算：要求立刻返回计算结果分析工具应用引擎、人工智能可以通过数据采集或者数据同步将数据传入数据展现工具

didadu·2020-07-14 09:59

数据库的未来 - HTAP，软件、硬件、云生态的融合

标签PostgreSQL,GPU,FPGA,CPU,TPU,PL/language,科研,嵌入式计算,UDF,CUDA,数据库嵌入式编程,流式计算,科学计算,软硬一体,PostGIS,点云,开发者生态,

weixin_34217773·2020-07-13 18:43

Flink 快速实战开发

Flink可谓是开启了流式计算技术的新时代，现在无论大中小公司基本上都对Flink技术有不同程度的尝试，或是已经进行了大量实时计算的改造。

GitChat的博客·2020-07-13 16:15

《从0到1学习Flink》—— Data Source 介绍

Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去

zhisheng_blog·2020-07-13 05:06

让天下没有难用的搜索：阿里搜索如何成长为贴心“暖男”？

可以看到，十年双11的考验后，搜索智能化体系逐渐打造成型，已经成为电商平台稳定健康发展的核动力，主要分为四个阶段：自主研发的流式计算引擎Pora初

阿里云云栖号·2020-07-13 03:34

大数据之Kafka（心得）

（1）在流式计算中，Kafka一般用来缓存数据，Spark通过消费Kafka的数据进行计算。（2）Kafka是一个分布式消息队列。

宝宝不哭^_^·2020-07-12 13:07

流式计算--实战（日志监控系统）

1.日志监控系统数据的流向：flume+kafka+storm+mysql数据流程如下：应用程序使用log4j产生日志部署flume客户端监控应用程序产生的日志信息，并发送到kafka集群中stormspout拉去kafka的数据进行消费，逐条过滤每条日志的进行规则判断，对符合规则的日志进行邮件告警。最后将告警的信息保存到mysql数据库中，用来进行管理。数据从flume到kafka到storm在

时空恋旅人·2020-07-12 10:33

【Flink、YARN】架构及工作原理

flink-framwork-introduction/https://blog.csdn.net/bingduanlbd/article/details/51880019Flink架构Flink是一个流式计算框架

__syr__·2020-07-12 10:22

Kafka集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。

piziyang12138·2020-07-12 06:00

Flink状态监控介绍

监控机制的必要性：对于需要7*24小时不间断运行的流式计算程序来说，能实时监控程序运行状况、出现异常告警能立即响应并快速定位问题是必须具备的能力。

七度黑光·2020-07-12 04:54

Spark Streaming 流式计算实战

业务场景SparkStreaming与Storm适用场景分析SparkStreaming与Kafka集成方案选型自定义Partitioner实现日志文件快速存储到HDFS在演示场景中，SparkStreaming如何保证数据的完整性，不丢，不重回顾Q&A这篇文章由一次平安夜的微信分享整理而来。在Stuq做的分享，原文内容。业务场景这次分享会比较实战些。具体业务场景描述：我们每分钟会有几百万条的日志

zxfBdd·2020-07-12 02:42

Spark 一文读懂

除此之外，Spark不仅能进行常规的批处理计算，还提供了流式计算支持。ApacheSpark诞生于大名鼎鼎的AMPLab（这里还诞生过Mesos和Alluxio），从创立之初就

小晓酱手记·2020-07-11 23:19

Flink 1.8.0中的状态生存时间特性：如何自动清理应用程序的状态

对于许多状态流式计算程序来说，一个常见的需求是自动清理应用程序的状态（state），以便有效地控制状态大小，或者控制程序访问状态的有效时间（例如受限于诸如GDPR等法律条规）。

阿里云云栖号·2020-07-11 20:40

Flink学习篇章(一)

可以对有限数据流和无限数据流进行有状态的计算，可以部署在各种集群环境中，对各种大小数据的规模进行计算首先，Flink与strom,spark以及其他流式计算处理引擎相比，它不仅仅是一个高吞吐，低延迟的处理引擎

Terry-Love·2020-07-11 00:07

一文读懂 Spark 和 Spark Streaming

除此之外，Spark不仅能进行常规的批处理计算，还提供了流式计算支持。ApacheSpark诞生于大名鼎鼎的AMPLab（这里还诞生过Mesos和Alluxio），从创立之初就

360linker·2020-07-10 16:49

Flink容错机制-双十一神话的安全保障

Flink容错机制以及Chandy-Lamport算法流式计算分为有状态和无状态两种情况，所谓状态就是计算过程中的中间值；对于无状态计算，会独立观察每个独立事件，并根据最后一个事件输出结果：对于一个流式系统接收到一系列的数字

SusurHe·2020-07-10 11:51

JUC并发编程总结（二）

点我跳转至JUC并发编程总结（一）JUC并发编程总结（二）函数接口、流式计算四大函数式接口流式计算streamForkjoin工作模型注意事项异步JMM到单例模式1.对Volatile关键字的理解2.JMM

modderBUG·2020-07-10 11:16

德哥PG系列课程直播（第12讲）：PostgreSQL 物联网最佳实践 ...

直播回顾https://yq.aliyun.com/live/846知识点知识点：时序数据特性，SCHEMAless设计思路，递归调用，规则，流式计算，滑窗聚合学习资料1、时序数据合并场景加速分析和实现

weixin_34321977·2020-07-10 08:58

八、Kafka总结

一Kafka概述1.1Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。

weixin_30273931·2020-07-10 06:38

Hadoop、storm和Spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识

szs00szs·2020-07-10 04:37

关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded

最近在升级一个框架的时候，发现某个流式计算程序每隔一定的时间就会出现GCoverheadlimitexceeded的错误问题。

sparkexpert·2020-07-10 02:18

Java 8之流式计算

Java8引入了流式操作（Stream），通过该操作可以实现对集合（Collection）的并行处理和函数式操作。用周阳大神的话说就是：SQL就是JAVA，JAVA就是SQL。使用java.util.stream包中的Stream接口即可完成SQL中的计算、orderby、where等操作。根据操作返回的结果不同，流式操作分为中间操作和最终操作两种。最终操作返回一特定类型的结果，而中间操作返回流本

youngyang的博客·2020-07-10 00:43

第一天：Kafka理论学习

在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。ApacheKafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

SoWhat1412·2020-07-09 22:48

java代码如何写

至于离线数据分析，在线规则引擎模板执行，流式计算等不在本次讨论范畴。重SQL开发的场景先看一个例子吧。用经典的ControllerServiceDAO开发模式描述。

ilovexiaou·2020-07-09 17:12

大数据日知录：架构与算法笔记

当谈论大数据时我们在谈论什么2数据分片与路由3数据复制与一致性4大数据常用算法与数据结构5集群资源管理与调度6分布式协调系统7分布式通信8数据通道9分布式文件系统10内存KV11列式数据库12大规模批处理13流式计算

志_祥·2020-07-09 15:44

Spark 入门

Spark相对于hadoop所做的改进：Spark速度更快；其次，Spark丰富的API带来了更强大的易用性；最后，Spark不单单支持传统批处理应用，更支持交互式查询、流式计算、机器学习、图计算等各种应用

惹不起的程咬金·2020-07-09 14:54

大数据时代，Flink是如何屹立于时代潮头的？你都了解Flink多少呢？

Flink因天然流式计算特性及强大处理性能，成为炙手可热的大数据处理框架，在BAT、头条、顺丰等国内头部公司都有其相关应用。

程序员小灰·2020-07-09 13:30

推荐频道

流式计算