E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
流式计算
分布式
流式计算
-Kafka部署
Kafka是一个高性能的流式消息队列,适用于大数据场景下的消息传输、消息处理和消息存储。在学习过程中,我们通常使用部署单节点,或通过Docker部署,生成环境一般使用多Broker组成的集群。1.单节点部署1.1二进制包部署首先,从官网下载http://kafka.apache.org/点击下载,选kafka_2.11-2.1.0.tgz下载到本地,然后解压。在启动kafka之前,需要首先启动zo
史圣杰
·
2020-08-22 13:34
使用Spark Streaming SQL基于时间窗口进行数据统计
1.背景介绍
流式计算
一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。
阿里云云栖号
·
2020-08-22 12:46
sql
日志
spark
streaming
数据统计
flink实战(一) flink-sql关联hbase维度数据处理
flink-sql是在flink
流式计算
的基础上进行了高度抽象,使开发过程更简单,更有效率,但要理解sql执行背后的
cuit_618
·
2020-08-21 07:25
flink学习笔记
Spark Streaming基础
SparkStreaming
流式计算
框架,类似于Storm常用的实时计算引擎(
流式计算
)1、ApacheStorm:真正的
流式计算
2、SparkStreaming:严格上来说,不是真正的
流式计算
(实时计算
weixin_34061555
·
2020-08-21 06:02
kafka Streaming
KafkaStreams流计算定义一般
流式计算
会与批量计算相比较。在
流式计算
模型中,输入是持续的,可以认为在时间上是无界的,也就意味着,永远拿不到全量数据去做计算。
婲落ヽ紅顏誶
·
2020-08-21 05:02
kafka
kafka
Streaming
【Flink
流式计算
框架】flink入门程序实现(单词计数)_实时统计_离线统计
003FlinkFlink程序步骤一:获取执行环境,获取的是程序入口步骤二:获取数据源步骤三:数据处理Out.collect(newTuple21.9.02.11.8org.apache.flinkflink-streaming-java_2.11${flink.version}实时代码开发(java)importorg.apache.flink.api.common.functions.Flat
Aponson
·
2020-08-21 04:54
flink
Kuiper 0.9.0 正式发布 - 超轻量 IoT 边缘流处理
Kuiper设计的一个主要目标就是将在云端运行的实时
流式计算
框架(比如ApacheSpark,ApacheStorm和ApacheFlink等)迁移到边缘端。Kuiper参考了上
EMQX
·
2020-08-21 04:38
物联网
iot
【译文】《Apache Flink官方文档》 Apache Flink介绍
下面是关于ApacheFlink(以下简称Filnk)框架和
流式计算
的概述。为了更专业、更技术化的介绍,在Flink文档中推荐了一些“概念性”的文章。
ifeves
·
2020-08-21 04:40
4.
流式计算
- spark direct方式计算手动控制kafka偏移度[spark straming2.1 + kafka0.10.2.0]
流式计算
,sparkstreaming之前有sparkcore开发的积累,直接使用sparkstreaming来进行
流式计算
开发是比较节省开发成本的。
feloxx
·
2020-08-21 03:00
spark
streaming
JAVA
流式计算
JAVA
流式计算
流的简单介绍Java8中,引入了流(Stream)的概念,利用提供的StreamAPI,我们可以方便的操作集合数据,这种方式很类似于使用SQL对数据库的操作。
sean
·
2020-08-21 02:09
java
stream
函数式编程
Kuiper v0.2.1 正式发布 - 超轻量IoT边缘流处理
Kuiper设计的一个主要目标就是将在云端运行的实时
流式计算
框架(比如ApacheSpark,ApacheStorm和ApacheFlink等)迁移到边缘端。Kuiper参考了
EMQX
·
2020-08-21 00:40
iot
golang
edge
Kuiper v0.2.1 正式发布 - 超轻量IoT边缘流处理
Kuiper设计的一个主要目标就是将在云端运行的实时
流式计算
框架(比如ApacheSpark,ApacheStorm和ApacheFlink等)迁移到边缘端。Kuiper参考了
EMQX
·
2020-08-21 00:40
iot
golang
edge
发布说明 - Kuiper 0.1
Kuiper设计的一个主要目标就是将在云端运行的实时
流式计算
框架(比如ApacheSpark,ApacheStorm和ApacheFlink等)迁移到边缘端。Kuiper参考了上述云端流
EMQX
·
2020-08-20 23:26
物联网
iot
emqtt
发布说明 - Kuiper 0.1
Kuiper设计的一个主要目标就是将在云端运行的实时
流式计算
框架(比如ApacheSpark,ApacheStorm和ApacheFlink等)迁移到边缘端。Kuiper参考了上述云端流
EMQX
·
2020-08-20 23:26
物联网
iot
emqtt
EMQ X 规则引擎系列(九)- 消息写入到 TDEngine
除核心的快10倍以上的时序数据库功能外,还提供缓存、数据订阅、
流式计算
等功能,最大程度减少研发和运维的复杂度。
EMQX
·
2020-08-20 22:35
mqtt
iot
emqtt
tdengine
透过窗口看无限数据流——Flink的Window全面解析
欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是
流式计算
中非常常用的算子之一,通过窗口可以将无限流切分成有限流,然后在每个窗口之上使用计算函数,可以实现非常灵活的操作。
西贝木土
·
2020-08-20 17:08
flink
透过窗口看无限数据流——Flink的Window全面解析
欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是
流式计算
中非常常用的算子之一,通过窗口可以将无限流切分成有限流,然后在每个窗口之上使用计算函数,可以实现非常灵活的操作。
西贝木土
·
2020-08-20 17:08
flink
SparkStreaming scala Demo示例
1.
流式计算
是什么1.1.离线批处理(batchcalculation)所谓离线批处理,这里面有两个概念,一个是离线,还是一个是批处理。
moshang_3377
·
2020-08-20 17:58
spark
EMQ X 规则引擎系列(九)- 消息写入到 TDEngine
除核心的快10倍以上的时序数据库功能外,还提供缓存、数据订阅、
流式计算
等功能,最大程度减少研发和运维的复杂度。
EMQX
·
2020-08-20 16:01
mqtt
iot
emqtt
tdengine
EMQ X 规则引擎系列(九)- 消息写入到 TDEngine
除核心的快10倍以上的时序数据库功能外,还提供缓存、数据订阅、
流式计算
等功能,最大程度减少研发和运维的复杂度。
EMQX
·
2020-08-20 16:01
mqtt
iot
emqtt
tdengine
Flink中的Window原理分析
在
流式计算
领域,Window概念具有通用性,并非是Flink特有的机制。
淡定一生2333
·
2020-08-20 09:53
Flink
Hadoop入门及常用组件介绍
文章目录大数据体系架构hadoop介绍Hadoop生态系统主要组件HDFS(分布式文件系统)MapReduce(分布式计算框架)Spark(基于内存的分布式计算框架)Storm(实时的分布式计算框架)Flink(
流式计算
框架
凡眼观世界
·
2020-08-19 09:34
Big
Data
浅谈分布式计算的开发与实现(2)
阅读目录:实时计算storm简介
流式计算
归纳总结高容错性实时计算接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。
buaa_shang
·
2020-08-19 09:56
2015
分布式计算
Spark-Streaming入门例子
需要说明的是,本文不会详细讲解代码,仅仅是带领大家先体验一把spark-streaming的
流式计算
功能。话不多说,开始动手…创建工程首先创建一个maven项目,项目pom中添加spark-st
winwill2012
·
2020-08-19 08:27
Spark
流式计算
助力实时数据处理spark-streaming入门实战
导读:本次分享主题是《
流式计算
助力实时数据处理spark-streaming入门实战》,主要内容分为3部分:1.Spark基础2.Spark-streaming技术要点3.任务演示一.Spark基础Spark
不思明日
·
2020-08-19 06:00
spark
Java8 Stream API 详细使用指南
Stream翻译过来是“流”,突然想到的是大数据处理有个
流式计算
的概念,数据通过管道经过一个个处理器(Handler)进行筛选,聚合,而且流都具有向量性,强调的是对数据的计算处理,而集合强调的是数据集。
BUG生产者
·
2020-08-19 05:23
Kafka Stream 微服务领域流处理
在
流式计算
模型中,输入是持续的,可以认为在时间上是无界的,也就意味着,永远拿不到全量数据去计算。同时,计算结果是持续输出的,也即计算结果在时间上也是无界的。
久七年
·
2020-08-18 13:45
笔记摘录
解密SparkStreaming另类实验及SparkStreaming本质解析(第一篇)
SparkStreaming在线另类实验瞬间理解SparkStreaming运行本质SparkStreaming背景介绍当今社会处于一个大数据的时代,而SparkStreaming是SparkCode之上的一个
流式计算
子框架
xiaojun220
·
2020-08-18 12:45
spark大数据
Storm集群的搭建和使用入门
StormStorm是一个
流式计算
框架,数据源源不断的产生,源源不断的收集,源源不断的计算。(数据实时产生、实时传输、实时计算、实时展示)Storm只负责数据的计算,不负责数据的存储。
微信用户_43167990
·
2020-08-18 12:52
Linux环境Kafka安装配置
Linux环境Kafka安装配置1.认识Kafa(1)Kafa介绍开源消息系统官网:kafka.apache.org/用途:在
流式计算
中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算
weixin_34320724
·
2020-08-18 12:33
Spark Streaming广播变量更新问题
最近在使用SparkStreaming进行
流式计算
过程中,遇到在过滤函数中需要用到外部过滤条件列表,且列表会随时更新,一开始只是在main函数中获取过滤条件列表,但是后来发现streaming程序每次触发并非重新执行一遍
张老七没脾气
·
2020-08-18 12:39
大数据
Spark Streaming(二)—— Spark Streaming基本数据源
文章目录基本数据源1.文件流(textFileStream)2.RDD队列流(queueStream,队列里是RDD)3.套接字流(socketTextStream)基本数据源SparkStreaming是一个
流式计算
引擎
AuroraDuring
·
2020-08-18 12:44
大数据
#
Spark
Streaming
spark streaming
流式计算
---监听器
随着对spark的了解,有时会觉得spark就像一个宝盒一样时不时会出现一些难以置信的新功能。每一个新功能被挖掘,就可以使开发过程变得更加便利一点。甚至使很多不可能完成或者完成起来比较复杂的操作,变成简单起来。有些功能是框架专门开放给用户使用,有些则是框架内部使用但是又对外暴露了接口,用户也可以使用的功能。今天和大家分享的是两个监听器SparkListener和streamingListener,
sunkl_
·
2020-08-18 12:05
大数据
监听器
spark
listener
streaming
大数据开发必备技能
总共分为五大部分,分别是:大数据技术基础离线计算Hadoop
流式计算
Storm内存计算Spark机器学习算法大数据技术基础linux操作基础linux系统简介与安装linux常用命令–文件操作linux
大数据基础入门教程
·
2020-08-18 11:09
大数据
编程语言
hadoop
spark
kafka
数据仓库系列(8):实时数据开发
(三)流式技术架构目前
流式计算
框架相对成熟,以Storm、SparkStreaming为代表的开源组件也被广泛应用。
晓阳的数据小站
·
2020-08-18 11:01
数据仓库
[spark streaming] DStream 和 DStreamGraph 解析
前言SparkStreaming是基于SparkCore将
流式计算
分解成一系列的小批处理任务来执行。
大写的UFO
·
2020-08-18 10:37
spark
Spark学习笔记(三):SparkStreaming实现对文件夹和socket的监听
SparkStreaming是Spark的一个
流式计算
框架,它支持对许多数据源进行实时监听,例如Kafka,Flume,Kinesis,TCPsockets,甚至文件夹,并实现实时计算的能力。
我就算饿死也不做程序员
·
2020-08-18 10:14
Spark
kafka学习默认端口号9092
一Kafka概述1.1Kafka是什么在
流式计算
中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。
dci75702
·
2020-08-18 10:44
性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成
导读:随着Flink在
流式计算
的应用场景逐渐成熟和流行,如果Flink能同时把批量计算的应用场景处理好,就能减少用户在使用Flink时开发和维护的成本,并且能够丰富Flink的生态。
Ververica
·
2020-08-16 16:33
大数据基础-Storm基础(一)
1、
流式计算
是什么
流式计算
:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存
weixin_40657079
·
2020-08-16 03:48
java
大数据
Storm
流式计算
Flink与其Exactly-Once语义实现
Flink及Storm、Spark主流流框架比较Flink作为近年新起的大数据流式处理框架,正逐渐被各大企业采用而变为主流。其常常被用来与Storm、Sparkstreaming和kafakstreaming等同类数据处理框架作对比,经大致总结,各框架性能对比如下表:框架StormSparkstreamingKafkastreamsFlink模型批处理微批处理流式处理流式处理处理语义At-Leas
笑矣乎
·
2020-08-15 11:06
Postgresql - PipelineDB - 初识Stream功能 -
流式计算
PipelineDB,有一个很好用的
流式计算
功能。将想要得到的结果逻辑,存储为表的雾化视图。
Chuck_Chen1222
·
2020-08-14 09:27
Postgresql
Java8 新特性
文章目录1.lambda表达式1.1lambda的基本语法1.2lambda四大内置函数式接口2.方法引用与构造器引用2.1方法引用2.2构造器引用2.3数组引用3.Stream
流式计算
3.1创建流的几种方式
小默学习笔记
·
2020-08-14 04:43
Flink05——一文了解Flink的Window和Time
前言窗口计算是
流式计算
中非常常用的数据计算方式之一,通过按照固定时间或长度将数据流切分成不同的窗口,然后对数据进行相应的聚合运算,从而得到一定时间范围内的统计结果。
提灯寻梦在南国
·
2020-08-13 21:39
大数据
Flink
Spark Streaming 检查点,何时启用检查点,如何配置检查点
元数据检查点-将定义
流式计算
的信息保存到容错存储(如HDFS)。这用于从运行流应用程序的驱动程序的节点的故障中恢复(稍后详
总角之宴
·
2020-08-12 14:26
大数据总结
Kafka-概述和集群部署
1、Kafka概述1.1、Kafka是什么在
流式计算
中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)ApacheKafka是一个开源消息系统,由Scala写成。
青岛欢迎您
·
2020-08-12 10:47
大数据
大数据技术Kafka--Kafka概述(一)
一、Kafka概述1.1kafka是什么在
流式计算
中,Kafka一般用于缓存数据,Storm通过消费Kafka的数据进行计算。
骑着自行车的羊
·
2020-08-12 10:11
Kafka
kafka消息队列的概念理解
kafka可以进行
流式计算
,也可以做为日志系统,还可以用于消息队列。kafka作为消息队列的优点:分布式的系统高吞吐量。即使存储了许多TB的消息,它也保持稳定的性能。数据保留在磁盘上,因此它是持久的。
月疯
·
2020-08-12 10:01
【kafka】
用户画像理解
标签数据及相关脚本的开发是用户画像构建工作的重点:常见的统计类、规则类、挖掘类、
流式计算
类标签以及用户特征库等与用户相关的数据的开发,还
listwebit
·
2020-08-12 00:44
数据挖掘
JUC(三)
目录同步队列池化技术和线程池的使用线程池的三大方法线程池的七大参数参数描述手动创建线程池四大拒绝策略CPU密集型和IO密集型(调优)四大函数式接口`Stream`
流式计算
ForkJoin详解`ForkJoin
weixin_42412601
·
2020-08-11 00:27
多线程
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他