流式计算

解析SparkStreaming和Kafka集成的两种方式

sparkstreaming是基于微批处理的流式计算引擎，通常是利用sparkcore或者sparkcore与sparksql一起来处理数据。
菲橙·2020-08-23 03:32

Apache-Flink深度解析-DataStream-Connectors之Kafk

Kafka不但是分布式消息系统而且也支持流式计算，所以在介绍Kafka在ApacheFlink中的应用之前，先以
ruiyiin·2020-08-23 02:15

【Flink流式计算框架】State(KeyedState/OperatorState)和StateBackend及配置

011-FlinkStatestate概述State类型KeyedState案例OperatorState案例（unKeyedState）StatebackendMemoryStateBackendFsStateBackendRocksDBStateBackendStateBackend配置方式State：一般指一个具体的task/operator的状态。KeyedState（keyBy）：托管状
Aponson·2020-08-23 02:38

Spark（五）--Structured Streaming（六） - 有状态算子

目录6.有状态算子6.1状态6.2常规算子6.2.1案例6.2.2总结6.3分组算子6.3.1案例6.3.2总结6.有状态算子目标了解常见的StructuredStreaming算子,能够完成常见的流式计算需求步骤常规算子分组算子输出模式
HelloWorld闯天涯·2020-08-23 02:05

flink入门简介-新手入门使用心得-flink安装配置

由于最近公司需要进行流式计算方面的研究，派给我研究flink框架的任务，由于之前完全没有接触过流式计算的相关内容，在接到任务后还是有点捉急的，下面将我自己在入门使用的一些心得体会记录下，以便如果有需要的新同学共同的学习
mikey2016·2020-08-23 01:19

超越Storm，SparkStreaming——Flink如何实现有状态的计算

流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件，Storm就是无状态的计算框架，每一条消息来了以后和前后都没有关系，一条是一条。
chenuo1957·2020-08-23 01:36

Spark Streaming 1.6 流式状态管理分析

关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。
祝威廉·2020-08-23 01:24

Flink源码分析(二): 广播状态流实现规格更新或字段参数变更

欢迎同行加入大数据技术群QQ：427560730版本号：Flink1.10.0在使用Flink流式计算时，代码功能实现重要的同时，后期的可维护性一样很重要。作者在开发过程中就遇见过这样一个场
XuTengRui·2020-08-23 00:16

Flink介绍、特点及和与其他大数据框架对比

文章目录Flink是什么Flink定义有界流和无界流有状态的计算架构为什么要用Flink应用场景特点和优势流式计算框架对比Flink是什么在数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理
zhangxm_qz·2020-08-22 20:56

基于Apache Storm Trident实时计算开发 上

1.概述ApacheStorm是一个经典的分布式流式计算编程框架，但编写程序比较麻烦。
我是楠楠·2020-08-22 18:45

Kafka最佳实践

kakfa是大数据系统架构中不可或缺的一部分，因其高效的性能、高可靠的数据与服务、提供准确一次的语义、优秀的在线水平扩展等特性，常用作为流式计算系统的数据源来
xiaohei.info·2020-08-22 17:10

Flink最佳实践（一）流式计算系统概述

无论是看起来像是过渡期产物的批流混合，还是感觉像是「终结者」的纯流式计算，都离不开最核
xiaohei.info·2020-08-22 17:10

Kuiper 0.9.0 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上
EMQX·2020-08-22 16:17

Hbase高并发读写优化

淘宝搜索的个性化离线实时分析系统Pora已升级至Pora2，Pora2是在基于Yarn的流式计算框架IStream基础上开发的，同时为保证数据和消息的实时处理系统中较多地使用了HBase，是一个典型的高并发读写
xgskj·2020-08-22 15:45

Java8 Stream API 详细使用指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数
码农小胖哥·2020-08-22 14:27

分布式流式计算-Kafka部署

Kafka是一个高性能的流式消息队列，适用于大数据场景下的消息传输、消息处理和消息存储。在学习过程中，我们通常使用部署单节点，或通过Docker部署，生成环境一般使用多Broker组成的集群。1.单节点部署1.1二进制包部署首先，从官网下载http://kafka.apache.org/点击下载，选kafka_2.11-2.1.0.tgz下载到本地，然后解压。在启动kafka之前，需要首先启动zo
史圣杰·2020-08-22 13:34

使用Spark Streaming SQL基于时间窗口进行数据统计

1.背景介绍流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。
阿里云云栖号·2020-08-22 12:46

flink实战（一） flink-sql关联hbase维度数据处理

flink-sql是在flink流式计算的基础上进行了高度抽象，使开发过程更简单，更有效率，但要理解sql执行背后的
cuit_618·2020-08-21 07:25

Spark Streaming基础

SparkStreaming流式计算框架，类似于Storm常用的实时计算引擎（流式计算）1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算（实时计算
weixin_34061555·2020-08-21 06:02

kafka Streaming

KafkaStreams流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。
婲落ヽ紅顏誶·2020-08-21 05:02

【Flink流式计算框架】flink入门程序实现（单词计数）_实时统计_离线统计

003FlinkFlink程序步骤一：获取执行环境，获取的是程序入口步骤二：获取数据源步骤三：数据处理Out.collect(newTuple21.9.02.11.8org.apache.flinkflink-streaming-java_2.11${flink.version}实时代码开发（java）importorg.apache.flink.api.common.functions.Flat
Aponson·2020-08-21 04:54

Kuiper 0.9.0 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上
EMQX·2020-08-21 04:38

【译文】《Apache Flink官方文档》 Apache Flink介绍

下面是关于ApacheFlink（以下简称Filnk）框架和流式计算的概述。为了更专业、更技术化的介绍，在Flink文档中推荐了一些“概念性”的文章。
ifeves·2020-08-21 04:40

4.流式计算 - spark direct方式计算手动控制kafka偏移度[spark straming2.1 + kafka0.10.2.0]

流式计算，sparkstreaming之前有sparkcore开发的积累，直接使用sparkstreaming来进行流式计算开发是比较节省开发成本的。
feloxx·2020-08-21 03:00

JAVA流式计算

JAVA流式计算流的简单介绍Java8中，引入了流（Stream）的概念，利用提供的StreamAPI，我们可以方便的操作集合数据，这种方式很类似于使用SQL对数据库的操作。
sean·2020-08-21 02:09

Kuiper v0.2.1 正式发布 - 超轻量IoT边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了
EMQX·2020-08-21 00:40

Kuiper v0.2.1 正式发布 - 超轻量IoT边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了
EMQX·2020-08-21 00:40

发布说明 - Kuiper 0.1

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上述云端流
EMQX·2020-08-20 23:26

发布说明 - Kuiper 0.1

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上述云端流
EMQX·2020-08-20 23:26

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQX·2020-08-20 22:35

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-20 17:08

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-20 17:08

SparkStreaming scala Demo示例

1.流式计算是什么1.1.离线批处理（batchcalculation）所谓离线批处理，这里面有两个概念，一个是离线，还是一个是批处理。
moshang_3377·2020-08-20 17:58

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQX·2020-08-20 16:01

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQX·2020-08-20 16:01

Flink中的Window原理分析

在流式计算领域，Window概念具有通用性，并非是Flink特有的机制。
淡定一生2333·2020-08-20 09:53

Hadoop入门及常用组件介绍

文章目录大数据体系架构hadoop介绍Hadoop生态系统主要组件HDFS(分布式文件系统)MapReduce(分布式计算框架)Spark(基于内存的分布式计算框架)Storm(实时的分布式计算框架)Flink(流式计算框架
凡眼观世界·2020-08-19 09:34

浅谈分布式计算的开发与实现（2）

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。
buaa_shang·2020-08-19 09:56

Spark-Streaming入门例子

需要说明的是，本文不会详细讲解代码，仅仅是带领大家先体验一把spark-streaming的流式计算功能。话不多说，开始动手…创建工程首先创建一个maven项目，项目pom中添加spark-st
winwill2012·2020-08-19 08:27

流式计算助力实时数据处理spark-streaming入门实战

导读：本次分享主题是《流式计算助力实时数据处理spark-streaming入门实战》，主要内容分为3部分：1.Spark基础2.Spark-streaming技术要点3.任务演示一.Spark基础Spark
不思明日·2020-08-19 06:00

Java8 Stream API 详细使用指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数据集。
BUG生产者·2020-08-19 05:23

Kafka Stream 微服务领域流处理

在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。
久七年·2020-08-18 13:45

解密SparkStreaming另类实验及SparkStreaming本质解析(第一篇)

SparkStreaming在线另类实验瞬间理解SparkStreaming运行本质SparkStreaming背景介绍当今社会处于一个大数据的时代，而SparkStreaming是SparkCode之上的一个流式计算子框架
xiaojun220·2020-08-18 12:45

Storm集群的搭建和使用入门

StormStorm是一个流式计算框架，数据源源不断的产生，源源不断的收集，源源不断的计算。（数据实时产生、实时传输、实时计算、实时展示）Storm只负责数据的计算，不负责数据的存储。
微信用户_43167990·2020-08-18 12:52

Linux环境Kafka安装配置

Linux环境Kafka安装配置1.认识Kafa(1)Kafa介绍开源消息系统官网：kafka.apache.org/用途：在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算
weixin_34320724·2020-08-18 12:33

Spark Streaming广播变量更新问题

最近在使用SparkStreaming进行流式计算过程中，遇到在过滤函数中需要用到外部过滤条件列表，且列表会随时更新，一开始只是在main函数中获取过滤条件列表，但是后来发现streaming程序每次触发并非重新执行一遍
张老七没脾气·2020-08-18 12:39

Spark Streaming（二）—— Spark Streaming基本数据源

文章目录基本数据源1.文件流（textFileStream）2.RDD队列流（queueStream，队列里是RDD）3.套接字流（socketTextStream）基本数据源SparkStreaming是一个流式计算引擎
AuroraDuring·2020-08-18 12:44

spark streaming流式计算---监听器

随着对spark的了解，有时会觉得spark就像一个宝盒一样时不时会出现一些难以置信的新功能。每一个新功能被挖掘，就可以使开发过程变得更加便利一点。甚至使很多不可能完成或者完成起来比较复杂的操作，变成简单起来。有些功能是框架专门开放给用户使用，有些则是框架内部使用但是又对外暴露了接口，用户也可以使用的功能。今天和大家分享的是两个监听器SparkListener和streamingListener，
sunkl_·2020-08-18 12:05

大数据开发必备技能

总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器学习算法大数据技术基础linux操作基础linux系统简介与安装linux常用命令–文件操作linux
大数据基础入门教程·2020-08-18 11:09

数据仓库系列（8）：实时数据开发

（三）流式技术架构目前流式计算框架相对成熟，以Storm、SparkStreaming为代表的开源组件也被广泛应用。
晓阳的数据小站·2020-08-18 11:01
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他