E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
流式计算
实时
流式计算
是什么 实时
流式计算
运用领域
实时
流式计算
,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时
流式计算
。
小菜鸟工作室
·
2019-08-09 09:40
好文推荐
什么是实时
流式计算
?
实时
流式计算
,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时
流式计算
。
独孤风
·
2019-08-09 08:00
通过一个日志监控系统来了解
流式计算
之前一直在团队中接触监控平台,并没有做相关的业务项目,经过这一段时间以来,对
流式计算
有了一个大体的认识,之后的深入学习还要继续,今天算是系统的将这个项目整理了一遍。
ks宁
·
2019-08-06 09:57
TDengine物联网大数据平台_开源了
除核心的快10倍以上的时序数据库功能外,还提供缓存、数据订阅、
流式计算
等功能,最大程度减少研发和运维的工作量。
yfx000
·
2019-07-29 09:42
数据库
架构
Java 8 Stream api 入门
Stream翻译过来是“流”,突然想到的是大数据处理有个
流式计算
的概念,数据通过管道经过一个个处理器(Handler)进行筛选,聚合,而且流都具有向量性,强调的是对数据的计算处理,而集合强调的是数据集。
码农小胖哥
·
2019-07-25 21:00
小知识点
kafka详解
kafka总结主要应用场景为
流式计算
,提供发布订阅的流式平台自身不会产生数据只是平台kafka的优点吞吐量大延迟低topic(主题)含有kv时间戳key可以为空创建topic指定分区分区可以变多但不能变少
Alwaysdazz
·
2019-07-25 09:58
hadoop
Flink CookBook—
流式计算
介绍
在大数据时代,
流式计算
越来越发挥着巨大的商业价值:业务分析人员能够更及时洞察数据,辅助做出更有效的决策;在万物互联场景中,对海量无限数据集的处理成了常态化,使用流式系统更能满足现代数据的商业模型;在数据到达时就处理数据
data之道
·
2019-07-25 08:21
Flink 1.8.0中的状态生存时间特性:如何自动清理应用程序的状态
对于许多状态
流式计算
程序来说,一个常见的需求是自动清理应用程序的状态(state),以便有效地控制状态大小,或者控制程序访问状态的有效时间(例如受限于诸如GDPR等法律条规)。
阿里云云栖社区
·
2019-07-25 00:00
实时计算
flink
流计算-storm
数据处理
apache
TDengine专为物联网而生的大数据平台
除核心的快10倍以上的时序数据库功能外,还提供缓存、数据订阅、
流式计算
等功能,最大程度减少研发和运维的工作量。
子阳2328
·
2019-07-20 22:16
6 MapReduce的理解
GoogleMapReduce克隆版MapReduce特点易于编程良好的扩展性高容错性适合PB级以上海量数据的离线处理MapReduce不擅长的方面实时计算像MySQL一样,在毫秒级或者秒级内返回结果
流式计算
农夫三拳有點疼
·
2019-07-19 16:00
使用Spark Streaming SQL基于时间窗口进行数据统计
1.背景介绍
流式计算
一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。
阿里云云栖社区
·
2019-07-08 00:00
数据统计
streaming
spark
日志
sql
Structed Streaming
您将
流式计算
表示为静态表上
iware99
·
2019-07-03 23:38
TSDB
大数据
Spark每日半小时(29)——结构化流式编程:编程模型
我们将
流式计算
表示为静态表上的标准处理查询,Spark将其作为无界输入表上的增量查询运行。接下来我们更详细的去了解这个模型。基本概念将输入数据流视为“输入表”。
DK_ing
·
2019-06-28 09:55
#
大数据——Spark每日半小时
#
Spark每日半小时
Spark每日半小时(28)——结构化流式编程:概览、示例
我们可以像表达静态数据的批处理计算一样表达
流式计算
。SparkSQL引擎将负责逐步和连续地运行它,并在流数据持续到达时更新最终结果。
DK_ing
·
2019-06-27 17:29
#
大数据——Spark每日半小时
#
Spark每日半小时
后端架构师技术图谱(六)-基础架构
大数据
流式计算
Storm官方网站《最详细的Storm入门教程》Flink《Flink之一Flink基本原理介绍》KafkaStream《KafkaStream调研:一种轻量级流计算模式》应用场景例如:广告相关实时统计
咪雅先森
·
2019-06-26 10:40
奇点云数据中台技术汇(四)| DataSimba系列之
流式计算
你是否有过这样的念头:如果能立刻马上看到我想要的数据,我就能更好地决策?市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低。因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理。一:sparkSt
奇点云
·
2019-06-18 19:58
数据中台技术汇
奇点云数据中台技术汇(四)| DataSimba系列之
流式计算
你是否有过这样的念头:如果能立刻马上看到我想要的数据,我就能更好地决策?市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低。因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理。一:sparkSt
cuba7764
·
2019-06-18 19:52
数据中台技术汇 | DataSimba系列之
流式计算
你是否有过这样的念头:如果能立刻马上看到我想要的数据,我就能更好地决策?市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低。因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理。一:sparkSt
StartDT
·
2019-06-18 19:09
大数据
数据中台
流式计算
Flink
流式计算
StructuredStreamingAstreamisconvertedintoadynamictable.Acontinuousqueryisevaluatedonthedynamictableyieldinganewdynamictable.Theresultingdynamictableisconvertedbackintoastream.DefiningaTableonaStreamCo
killianxu
·
2019-06-15 10:00
【大数据】分布式计算
关于分布式计算更多详细内容:分布式计算入门(课程针对大数据分步式计算中的相关技术进行讲解,核心讲解
流式计算
和内存计算技术,阐述阿里云在处
开发者社区小百科
·
2019-06-14 14:29
阿里云大学
大数据
分布式计算
分布式计算
阿里云大学
Strom完整攻略(一)
Storm可靠性异常处理消息可靠性的保证机制ACKStrom和其他框架的对比1.Spark-Streaming微批处理框架秒级,不是纯
流式计算
框架和Spark核心之上的计算模型,和Spa
叫我不矜持
·
2019-06-03 10:00
Kafka概述
Kafka概述Kafka是什么在
流式计算
中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。ApacheKafka是一个开源消息系统,由Scala写成。
趣学程序
·
2019-05-29 15:00
OGG For Bigdata 12按操作类型同步Oracle数据到kafka不同topic
具体的实施文档已经在之前的文章中写了,这里只给出连接:OGG实时同步Oracle数据到Kafka实施文档(供flink
流式计算
)这篇文章主要介绍的是:Oracle如
赵延东的一亩三分地
·
2019-05-21 16:09
Hadoop
Oracle
GoldenGate
程序员笔记|探寻
流式计算
【技术沙龙002期】数据中台:宜信敏捷数据中台建设实践|宜信技术沙龙将于5月23日晚8点线上直播,点击报名一、静态数据和流数据静态数据:为了支持决策分析而构建的数据仓库系统,其中存放的大量历史数据就是静态数据。流数据:以大量、快速、时变的流形式持续到达的数据。(例如:实时产生的日志、用户实时交易信息)流数据具有以下特点:(1)、数据快速持续到达,潜在大小也许是无穷无尽的。(2)、数据来源众多,格式
宜信技术
·
2019-05-16 14:03
大数据
实时数据
storm
超越批处理的世界——
流式计算
(2)
超越批处理的世界——
流式计算
(2)本文来自我的个人博客https://www.zhangshenghai.com/posts/41373/作者:TylerAkidau译者:shenghaishxt原文:
shenghaishxt
·
2019-05-10 14:49
超越批处理的世界——
流式计算
(1)
超越批处理的世界——
流式计算
(1)本文来自我的个人博客https://www.zhangshenghai.com/posts/58781/作者:TylerAkidau译者:shenghaishxt原文:
shenghaishxt
·
2019-05-10 14:33
Spark学习之Spark Streaming
它允许用户使用一套和批处理非常接近的API来编写
流式计算
应用,这样就可以大量重用批处理应用的技术甚至代码。
|旧市拾荒|
·
2019-04-29 16:00
Storm快速入门与大数据架构之Storm集群的搭建部署教程
Storm快速入门与大数据架构之Storm集群的搭建部署教程Storm是一个
流式计算
框架,数据源源不断的产生,源源不断的收集,源源不断的计算。(数据实时产生、实时传输、实时计算、实时展示)。
fengliaoai
·
2019-04-23 08:31
大数据
【Spark】spark streaming
一、简介SparkStreaming是一种准实时的
流式计算
框架,它对数据处理的单位是一批而不是一条,在数累积到设置的时间间隔后,对数据进行统一的微批处理。
GG(❤ ω ❤)YY
·
2019-04-19 22:11
大数据
Spark
新手入门大数据,大数据的入门!!!认识大数据
一、数据采集与预处理FlumeNGNDCLogstashSqoop
流式计算
Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban
数据小二
·
2019-04-10 18:56
大数据
IT
人工智能
python
大数据入门
大数据
kafka基本概念
2,消息持久化,可以达到0(1)的访问速度,因为支持预读和后写功能3,kafka目标成为队列平台,strom则是
流式计算
框架4,kafka包含一些组件:Broker:每一台机器叫一个brokerProducer
000000_cy
·
2019-04-10 10:17
kafka
kafka
Kafka简介
Kafka是什么1、Kafka概述在
流式计算
中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。
灬十二
·
2019-04-04 20:00
kafka
大数据
SparkStream
流式计算
虚拟机中操作cd/opt/software/rpmnc-lk9999这里9999指对应的端口号defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName("my").setMaster("local[2]")//ssc微批框架每隔1秒中取一次数据核心对象valssc=newStreamingContext(conf,Sec
LMY____梦阳� � �
·
2019-03-29 08:35
SparkStreaming
OGG实时同步Oracle数据到Kafka实施文档(供flink
流式计算
)
GoldenGate12CForBigdata+Kafka:通过OGG将Oracle数据以Json格式同步到Kafka提供给flink
流式计算
注意:这篇文章告诉了大家怎么搭建OGGforbigdata做测试
赵延东的一亩三分地
·
2019-03-15 22:42
Hadoop
Oracle
架构师方向提升技术视野学习计划---广度部分
学习规划总共分为五大部分,分别是:大数据技术基础离线计算Hadoop
流式计算
Storm内存计算Spark机器学习算法大数据技术基础linux操作基础linux系统简介与安装linux常用命令–文件操作linux
自然鸟神
·
2019-03-14 16:47
JAVA进阶--基础查缺补漏
Flink和spark的对擂详解
流处理的几个流派在
流式计算
领域,同一套系统需要同时兼具容错和高性能其实非常难,同时它也是衡量和选择一个系统的标准。
大数据研习社
·
2019-03-14 14:12
Hadoop
Spark
Storm
开发工具
大数据舞台中的Flink
区别于Storm、SparkStreaming以及其他
流式计算
引擎的是:它不仅是一个高吞吐、低延迟的计算引擎,同时还提供
大数据研习社
·
2019-03-13 15:36
Hadoop
Spark
Storm
开发工具
Flink部署
Flink作为一个分布式
流式计算
引擎,需要计算资源才可以执行应用程序。Flink能够与目前所有通用的资源管理框架集成,比如HadoopYARN、ApacheMesos和Kubernetes。
零度沸腾_yjz
·
2019-03-11 17:46
Kafka之Producer API使用【java版本】
前段时间需要配合kylin的
流式计算
,所以用java写了一个producer的程序,每秒向topic中产生数据,kylin则作为Topic的Consumer。
夏天小厨
·
2019-03-08 14:24
大数据-KafKa
分布式系统面试 - 常见问题
,就是都没怎么搞过分布式系统,现在互联网公司,一般都是做分布式的系统,大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/spark、分布式
流式计算
系统
YumWisdom
·
2019-03-03 21:37
Unix&Unix-Like
Java
【华为网络技术大赛】大数据
大文件存储、流式数据访问不适合大量小文件处理、随机写入、低延迟读写MapReduce大规模数据集(大于1TB)的并行运算易于编程、良好的扩展性、高容错性,适合子任务相对独立不适合实时交互计算、子任务相互依赖、
流式计算
Mjolnir1107
·
2019-02-28 16:13
202、Spark 2.0之Structured Streaming:编程模型
这就产生了一种全新的
流式计算
模型,与离线计算模型是很类似的。你可以使用与在一个静态表中执行离线查询相同的方式来编写流式查询。spark会采用一种增量执行的方式来对表中源源不断的数据进行查询。
ZFH__ZJ
·
2019-02-12 16:15
200、Spark 2.0之Structured Streaming:深入浅出的介绍
流式计算
大多数的
流式计算
引擎(比如storm、sparkstreaming等)都仅仅关注流数据的计算方面:比如使用一个map函数对一个流中每条数据都进行转换,或者是用reduce函数对一批数据进行聚合。
ZFH__ZJ
·
2019-02-12 15:10
Spark学习笔记: Spark Streaming
流式计算
框架SparkStreaming是微批(微小批处理)
GaryBigPig
·
2019-01-24 23:02
Spark
Spark Streaming 架构与抽象
SparkStreaming使用“微批次”的架构,把
流式计算
当作一系列连续的小规模批处理来对待。SparkStreaming从各种输入源中读取数据,并把数据分组为小的批次。
似梦似意境
·
2019-01-11 13:57
Spark
kafka简单理解
1.Kafka是什么:在
流式计算
中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。
xiaoxin1024
·
2019-01-09 19:49
成功计划
Kafka
SparkStreaming基础理论
Hadoop的MapReduce及SparkSQL等只能进行离线计算,无法满足实时性要求较高的业务需求,例如实时推荐、实时网站性能分析等,
流式计算
可以解决这些问题。
原生zzy
·
2019-01-06 21:38
SparkStreaming
基础理论
spark
大数据分析的下一代架构--IOTA架构设计实践[下]
一条线是进入
流式计算
平台,去计算实时的一些指标;另一条线进入批量数据处理离线计算平台,去计算T+1的相关业务指标,这些指标需要隔日才
代立冬
·
2018-12-31 20:53
●Olap即时分析
●架构设计
大数据实战系列
2018年终总结
盘点整体而言,今年技术层面稍微有点拓宽,跨入了外表看上去高大上的
流式计算
领域,打开了另外一扇窗;而基于java的分布式/微服务领域,今年变化比较大,springcloudnetflix的部分组件宣布将要进入维护阶段
go4it
·
2018-12-31 16:23
2018年终总结
盘点整体而言,今年技术层面稍微有点拓宽,跨入了外表看上去高大上的
流式计算
领域,打开了另外一扇窗;而基于java的分布式/微服务领域,今年变化比较大,springcloudnetflix的部分组件宣布将要进入维护阶段
codecraft
·
2018-12-31 00:00
2018总结
summary
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他