流式计算

分布式流式计算-Kafka部署

Kafka是一个高性能的流式消息队列，适用于大数据场景下的消息传输、消息处理和消息存储。在学习过程中，我们通常使用部署单节点，或通过Docker部署，生成环境一般使用多Broker组成的集群。1.单节点部署1.1二进制包部署首先，从官网下载http://kafka.apache.org/点击下载，选kafka_2.11-2.1.0.tgz下载到本地，然后解压。在启动kafka之前，需要首先启动zo
史圣杰·2020-08-22 13:34

使用Spark Streaming SQL基于时间窗口进行数据统计

1.背景介绍流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。
阿里云云栖号·2020-08-22 12:46

flink实战（一） flink-sql关联hbase维度数据处理

flink-sql是在flink流式计算的基础上进行了高度抽象，使开发过程更简单，更有效率，但要理解sql执行背后的
cuit_618·2020-08-21 07:25

Spark Streaming基础

SparkStreaming流式计算框架，类似于Storm常用的实时计算引擎（流式计算）1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算（实时计算
weixin_34061555·2020-08-21 06:02

kafka Streaming

KafkaStreams流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。
婲落ヽ紅顏誶·2020-08-21 05:02

【Flink流式计算框架】flink入门程序实现（单词计数）_实时统计_离线统计

003FlinkFlink程序步骤一：获取执行环境，获取的是程序入口步骤二：获取数据源步骤三：数据处理Out.collect(newTuple21.9.02.11.8org.apache.flinkflink-streaming-java_2.11${flink.version}实时代码开发（java）importorg.apache.flink.api.common.functions.Flat
Aponson·2020-08-21 04:54

Kuiper 0.9.0 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上
EMQX·2020-08-21 04:38

【译文】《Apache Flink官方文档》 Apache Flink介绍

下面是关于ApacheFlink（以下简称Filnk）框架和流式计算的概述。为了更专业、更技术化的介绍，在Flink文档中推荐了一些“概念性”的文章。
ifeves·2020-08-21 04:40

4.流式计算 - spark direct方式计算手动控制kafka偏移度[spark straming2.1 + kafka0.10.2.0]

流式计算，sparkstreaming之前有sparkcore开发的积累，直接使用sparkstreaming来进行流式计算开发是比较节省开发成本的。
feloxx·2020-08-21 03:00

JAVA流式计算

JAVA流式计算流的简单介绍Java8中，引入了流（Stream）的概念，利用提供的StreamAPI，我们可以方便的操作集合数据，这种方式很类似于使用SQL对数据库的操作。
sean·2020-08-21 02:09

Kuiper v0.2.1 正式发布 - 超轻量IoT边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了
EMQX·2020-08-21 00:40

Kuiper v0.2.1 正式发布 - 超轻量IoT边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了
EMQX·2020-08-21 00:40

发布说明 - Kuiper 0.1

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上述云端流
EMQX·2020-08-20 23:26

发布说明 - Kuiper 0.1

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考了上述云端流
EMQX·2020-08-20 23:26

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQX·2020-08-20 22:35

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-20 17:08

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-20 17:08

SparkStreaming scala Demo示例

1.流式计算是什么1.1.离线批处理（batchcalculation）所谓离线批处理，这里面有两个概念，一个是离线，还是一个是批处理。
moshang_3377·2020-08-20 17:58

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQX·2020-08-20 16:01

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQX·2020-08-20 16:01

Flink中的Window原理分析

在流式计算领域，Window概念具有通用性，并非是Flink特有的机制。
淡定一生2333·2020-08-20 09:53

Hadoop入门及常用组件介绍

文章目录大数据体系架构hadoop介绍Hadoop生态系统主要组件HDFS(分布式文件系统)MapReduce(分布式计算框架)Spark(基于内存的分布式计算框架)Storm(实时的分布式计算框架)Flink(流式计算框架
凡眼观世界·2020-08-19 09:34

浅谈分布式计算的开发与实现（2）

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。
buaa_shang·2020-08-19 09:56

Spark-Streaming入门例子

需要说明的是，本文不会详细讲解代码，仅仅是带领大家先体验一把spark-streaming的流式计算功能。话不多说，开始动手…创建工程首先创建一个maven项目，项目pom中添加spark-st
winwill2012·2020-08-19 08:27

流式计算助力实时数据处理spark-streaming入门实战

导读：本次分享主题是《流式计算助力实时数据处理spark-streaming入门实战》，主要内容分为3部分：1.Spark基础2.Spark-streaming技术要点3.任务演示一.Spark基础Spark
不思明日·2020-08-19 06:00

Java8 Stream API 详细使用指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数据集。
BUG生产者·2020-08-19 05:23

Kafka Stream 微服务领域流处理

在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。
久七年·2020-08-18 13:45

解密SparkStreaming另类实验及SparkStreaming本质解析(第一篇)

SparkStreaming在线另类实验瞬间理解SparkStreaming运行本质SparkStreaming背景介绍当今社会处于一个大数据的时代，而SparkStreaming是SparkCode之上的一个流式计算子框架
xiaojun220·2020-08-18 12:45

Storm集群的搭建和使用入门

StormStorm是一个流式计算框架，数据源源不断的产生，源源不断的收集，源源不断的计算。（数据实时产生、实时传输、实时计算、实时展示）Storm只负责数据的计算，不负责数据的存储。
微信用户_43167990·2020-08-18 12:52

Linux环境Kafka安装配置

Linux环境Kafka安装配置1.认识Kafa(1)Kafa介绍开源消息系统官网：kafka.apache.org/用途：在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算
weixin_34320724·2020-08-18 12:33

Spark Streaming广播变量更新问题

最近在使用SparkStreaming进行流式计算过程中，遇到在过滤函数中需要用到外部过滤条件列表，且列表会随时更新，一开始只是在main函数中获取过滤条件列表，但是后来发现streaming程序每次触发并非重新执行一遍
张老七没脾气·2020-08-18 12:39

Spark Streaming（二）—— Spark Streaming基本数据源

文章目录基本数据源1.文件流（textFileStream）2.RDD队列流（queueStream，队列里是RDD）3.套接字流（socketTextStream）基本数据源SparkStreaming是一个流式计算引擎
AuroraDuring·2020-08-18 12:44

spark streaming流式计算---监听器

随着对spark的了解，有时会觉得spark就像一个宝盒一样时不时会出现一些难以置信的新功能。每一个新功能被挖掘，就可以使开发过程变得更加便利一点。甚至使很多不可能完成或者完成起来比较复杂的操作，变成简单起来。有些功能是框架专门开放给用户使用，有些则是框架内部使用但是又对外暴露了接口，用户也可以使用的功能。今天和大家分享的是两个监听器SparkListener和streamingListener，
sunkl_·2020-08-18 12:05

大数据开发必备技能

总共分为五大部分，分别是：大数据技术基础离线计算Hadoop流式计算Storm内存计算Spark机器学习算法大数据技术基础linux操作基础linux系统简介与安装linux常用命令–文件操作linux
大数据基础入门教程·2020-08-18 11:09

数据仓库系列（8）：实时数据开发

（三）流式技术架构目前流式计算框架相对成熟，以Storm、SparkStreaming为代表的开源组件也被广泛应用。
晓阳的数据小站·2020-08-18 11:01

[spark streaming] DStream 和 DStreamGraph 解析

前言SparkStreaming是基于SparkCore将流式计算分解成一系列的小批处理任务来执行。
大写的UFO·2020-08-18 10:37

Spark学习笔记（三）：SparkStreaming实现对文件夹和socket的监听

SparkStreaming是Spark的一个流式计算框架，它支持对许多数据源进行实时监听，例如Kafka,Flume,Kinesis,TCPsockets，甚至文件夹，并实现实时计算的能力。
我就算饿死也不做程序员·2020-08-18 10:14

kafka学习默认端口号9092

一Kafka概述1.1Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
dci75702·2020-08-18 10:44

性能提升约 7 倍！Apache Flink 与 Apache Hive 的集成

导读：随着Flink在流式计算的应用场景逐渐成熟和流行，如果Flink能同时把批量计算的应用场景处理好，就能减少用户在使用Flink时开发和维护的成本,并且能够丰富Flink的生态。
Ververica·2020-08-16 16:33

大数据基础-Storm基础（一）

1、流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存
weixin_40657079·2020-08-16 03:48

流式计算Flink与其Exactly-Once语义实现

Flink及Storm、Spark主流流框架比较Flink作为近年新起的大数据流式处理框架，正逐渐被各大企业采用而变为主流。其常常被用来与Storm、Sparkstreaming和kafakstreaming等同类数据处理框架作对比，经大致总结，各框架性能对比如下表：框架StormSparkstreamingKafkastreamsFlink模型批处理微批处理流式处理流式处理处理语义At-Leas
笑矣乎·2020-08-15 11:06

Postgresql - PipelineDB - 初识Stream功能 - 流式计算

PipelineDB，有一个很好用的流式计算功能。将想要得到的结果逻辑，存储为表的雾化视图。
Chuck_Chen1222·2020-08-14 09:27

Java8 新特性

文章目录1.lambda表达式1.1lambda的基本语法1.2lambda四大内置函数式接口2.方法引用与构造器引用2.1方法引用2.2构造器引用2.3数组引用3.Stream流式计算3.1创建流的几种方式
小默学习笔记·2020-08-14 04:43

Flink05——一文了解Flink的Window和Time

前言窗口计算是流式计算中非常常用的数据计算方式之一，通过按照固定时间或长度将数据流切分成不同的窗口，然后对数据进行相应的聚合运算，从而得到一定时间范围内的统计结果。
提灯寻梦在南国·2020-08-13 21:39

Spark Streaming 检查点，何时启用检查点，如何配置检查点

元数据检查点-将定义流式计算的信息保存到容错存储（如HDFS）。这用于从运行流应用程序的驱动程序的节点的故障中恢复（稍后详
总角之宴·2020-08-12 14:26

Kafka-概述和集群部署

1、Kafka概述1.1、Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。
青岛欢迎您·2020-08-12 10:47

大数据技术Kafka--Kafka概述（一）

一、Kafka概述1.1kafka是什么在流式计算中，Kafka一般用于缓存数据，Storm通过消费Kafka的数据进行计算。
骑着自行车的羊·2020-08-12 10:11

kafka消息队列的概念理解

kafka可以进行流式计算，也可以做为日志系统，还可以用于消息队列。kafka作为消息队列的优点：分布式的系统高吞吐量。即使存储了许多TB的消息，它也保持稳定的性能。数据保留在磁盘上，因此它是持久的。
月疯·2020-08-12 10:01

用户画像理解

标签数据及相关脚本的开发是用户画像构建工作的重点:常见的统计类、规则类、挖掘类、流式计算类标签以及用户特征库等与用户相关的数据的开发，还
listwebit·2020-08-12 00:44

JUC(三)

目录同步队列池化技术和线程池的使用线程池的三大方法线程池的七大参数参数描述手动创建线程池四大拒绝策略CPU密集型和IO密集型(调优)四大函数式接口`Stream`流式计算ForkJoin详解`ForkJoin
weixin_42412601·2020-08-11 00:27
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他