E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
exactly-once
RabbitMQ 和 Kafka 的消息可靠性对比
两者都提供至少一次和至多一次的保证,另外,Kafka在某些限定情况下可以提供精确的一次(
exactly-once
)保证。
codehole_
·
2019-05-20 16:15
Flink入门
Flink特点现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型:流处理一般需要支持低延迟、
Exactly-once
保证,而批处理需要支持高吞吐、高效处理Flink是完全支持流处理,也就是说作为流处理看待时输入数据流是无界的
Perkinl
·
2019-04-10 00:00
Flink
使用Flink读取Kafka中的消息
Flink KafkaConsumer和Flink的Checkpint机制进行了整合,以此提供了
exactly-once
处理语义。
JavaGod
·
2019-01-28 00:00
Flink
Apache Flink特性、概念、组件栈、架构及原理分析
流处理一般需要支持低延迟、
Exactly-once
保证,而批处理需要支持高吞吐、高效处理。 Flink在实现流处理和批处理时
zero__007
·
2019-01-20 19:07
命名待定
《从0到1学习Flink》—— 介绍Flink中的Stream Windows
前言目前有许多数据分析的场景从批处理到流处理的演变,虽然可以将批处理作为流处理的特殊情况来处理,但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语(例如,“windowing(窗口化)”、“at-least-once(至少一次)”、“
exactly-once
zhisheng
·
2019-01-15 00:00
大数据
java
flink
《从0到1学习Flink》—— 介绍Flink中的Stream Windows | zhisheng的博客
前言目前有许多数据分析的场景从批处理到流处理的演变,虽然可以将批处理作为流处理的特殊情况来处理,但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语(例如,“windowing(窗口化)”、“at-least-once(至少一次)”、“
exactly-once
·
2018-12-24 08:00
Flink简单讲解
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟、
Exactly-once
保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分
Abandon_Sun
·
2018-12-19 10:48
Flink
flink开发实战三——flink原理解析
Storm实现了低延迟,但是目前还没有实现高吞吐,也不能在故障发生的时候准确的处理计算状态(将数据从一个事件保存到另一个事件的,这些保留下来的是数据较计算状态),同时也不能实现
exactly-once
。
阿华田512
·
2018-09-30 00:00
flink
端到端
exactly-once
(翻译官方)
1概述在Flink1.4.0中,发布了一个叫做TwoPhaseCommitSinkFunction的特性,该逻辑抽取两阶段提交协议常规逻辑,使得可以构建端到端的
exactly-once
语义,需要Kafka0.11
薛定谔的猫Plus
·
2018-09-26 15:54
Apache Flink 概览 - 有状态的流式计算
阅读更多Flink的主要特性如下:一、所有的流式使用用例事件驱动的应用流式&批量分析数据Pipelines&ETL二、保证正确性严格一次(
Exactly-once
)状态一致性基于消息时间(Event-time
商人shang
·
2018-07-03 15:00
flink
架构
平台搭建---Kafka使用---Kafka重复消费和丢失数据
来源1、Kafka保证数据不丢失的原理1.1、kafka消息的位置用好Kafka,维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的
Exactly-once
是至关重要的。
diggerTT
·
2018-06-27 10:53
系统平台搭建
Apache Flink-浅读
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟、
Exactly-once
保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分
生活的探路者
·
2018-06-01 08:20
Flink技术架构
Flink特点支持高吞吐、低延迟、高性能的流处理支持有状态计算的
Exactly-once
语义支持高度灵
believe2017slwx
·
2018-04-17 00:00
bigdata
Kafka 0.11新版本发布:主要的功能变更介绍:支持 EOS, 事务和幂等producer
这是一个里程碑式的大版本,特别是Kafka从这个版本开始支持“
exactly-once
”语义(下称EOS,exactly-oncesemantics)。本文简要介绍一下0.11版本主要的功能变更。
大树叶
·
2017-11-06 19:47
kafka
Exactly-once
Semantics are Possible: Here’s How Kafka Does it
按语:Kafka0.11增添了
Exactly-once
语义的实现,主要通过幂等和事务两种机制来实现,本文描述了Kafka的恰好一次语义实现机制。
aegeaner
·
2017-08-05 14:11
Kafka
Kafka 消息偏移量的维护
kafka消息的位置用好Kafka,维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的
Exactly-once
是至关重要的。
AlferWei
·
2017-08-02 17:02
Kafka
数据库&数据库中间件
Flink介绍和基本概念
由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同,流处理一般需要支持低延迟、
Exactly-once
保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分别给出两套实
stephen_k
·
2017-05-30 14:42
Flink架构、原理与部署测试
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreement)是完全不相同的:流处理一般需要支持低延迟、
Exactly-once
JdoOudDm7i
·
2017-03-14 00:00
Flink架构、原理与部署测试
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreement)是完全不相同的:流处理一般需要支持低延迟、
Exactly-once
ppf19159
·
2017-01-21 19:55
Flink架构、原理与部署测试
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreement)是完全不相同的:流处理一般需要支持低延迟、
Exactly-once
Florian
·
2017-01-18 19:00
【译】Apache Flink 容错机制
确保在发生故障时,程序的每条记录只会作用于状态一次(
exactly-once
),当然也可以降级为至少一次(at-least-once)。容错机制通过持续创建分布式数据流的快照来实现。
William_Sang
·
2017-01-16 00:00
data
streaming
flink
Flink流计算编程--在WindowedStream中体会EventTime与ProcessingTime
一、Flink流处理简介Flink流处理的API叫做DataStream,可以在保证
Exactly-Once
的前提下提供高吞吐、低延时的实时流处理。
lmalds李麦迪
·
2016-06-17 14:41
Flink
Scala
DataStream
流计算概述(一)
流计算还有个特性,就是增量性,数据源源不断的流入,对计算结果进行增量的更新,这给状态的容错带来了很大的复杂性(
Exactly-Once
)。La
JasonLeeLz
·
2016-05-14 10:58
流计算
Apache Flink:特性、概念、组件栈、架构及原理分析
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟、
Exactly-once
保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分
五柳-先生
·
2016-05-11 22:16
大数据-流式计算-Flink
Spark定制班第4课:Spark Streaming的
Exactly-Once
的事务处理和不重复输出彻底掌握
本期内容1Exactly-Once事务处理2输出不重复的解决办法1Exactly-Once事务处理1)什么是
Exactly-Once
事务?数据仅处理一次并且仅输出一次,这样才是完整的事务处理。
Pitt_Zhou
·
2016-05-08 16:49
大数据
Spark定制
第4课:Spark Streaming的
Exactly-Once
的事务处理和不重复输出彻底掌握
前置知识:1、事务的特征:1)、处理且仅被处理一次;2)、输出且只被输出一次2、SparkStreaming进行事务处理有没有可能处理完全失败? 这个可能性不大,因为Spark是批处理的方式来进行流处理,在SparkStreaming应用程序启动的时候,已经为应用程序分配了相关的资源,而且在调度的过程中可以动态的分配资源,所以除非整个集群所有的硬件都奔溃了,否则一般情况下都会被处理的。3、Spa
love205088
·
2016-05-07 17:59
spark
Streaming
EXACTLY
Apache Flink:特性、概念、组件栈、架构及原理分析
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟、
Exactly-once
保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分
Yanjun
·
2016-04-30 14:00
开源技术
Flink
Spark streaming的
Exactly-once
容错HA机制
Sparkstreaming1.2提供的基于WAL的容错机制(参考上一篇博文http://blog.csdn.net/yangbutao/article/details/44975627),可以保证数据的计算至少被执行一次,但是不能保证只执行一次,比如在kafkareceiver写数据到WAL中后,往zookeeper写offset失败,那么在driver失效恢复后,由于offset还是之前写过的
杨步涛的博客
·
2015-04-13 10:13
spark
twitter storm源码走读之7 -- trident topology可靠性分析
也就是做到事务性处理
exactly-once
,要么成功,
myrainblues
·
2014-06-11 16:00
twitter storm源码走读之7 -- trident topology可靠性分析
也就是做到事务性处理
exactly-once
,要么成功,要么失败。而一般的stormtopology是无法保证eactly-once的处理的,它
chris.hsu
·
2014-05-16 17:00
twitter
上一页
1
2
3
4
5
6
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他