exactly-once

Flink原理学习（五）状态

State是实现有状态的计算下Exactly-Once的基础。状态主要分为两种类型：OperatorStat
oahaijgnahz·2021-06-09 11:40

Flink 1.11 新特性：流批一体的 Hive 数仓

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。另外，Flink1.11完善了Flink自身的Filesystemconne
longLiveData·2021-04-18 01:54

[目录] 邓志豪的大数据探索文章目录

理论篇大数据理论篇No.1-浅谈Flink中的数据传输大数据理论篇No.2-聊聊Flink流计算中的Timestamp和Watermark大数据理论篇No.3-看看Flink如何实现端到端的Exactly-once
pezynd·2021-02-09 15:55

一文详解Flink Exactly-Once

前言Flink的”精确一次“处理语义是，Flink提供了一个强大的的语义保证，也就是说在任何情况下都能保证数据对应用的效果只有一次，不会多也不会少。那么Flink是如何实现”端到端的精确一次处理“语义的呢？其实做到端到端的精确一次处理主要考虑两个方面：怎么保证数据不丢失怎么保证数据不重复背景通常情况下，流式计算系统都会为用户提供数据处理的可靠模式功能，用来表明在实际生产运行中会对数据处理做哪些保障
·2021-02-05 16:38

八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）

Flink在Flink中需要端到端精准一次处理的位置有三个：Source端：数据从上一阶段进入到Flink时，需要保证消息精准一次消费。Flink内部端：这个我们已经了解，利用Checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性。不了解的小伙伴可以看下我之前的文章：Flink可靠性的基石-checkpoint机制详细解析Sink端：将处理完的数据发送到下一阶段时，需要
·2021-02-01 21:32

八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）

Flink在Flink中需要端到端精准一次处理的位置有三个：Source端：数据从上一阶段进入到Flink时，需要保证消息精准一次消费。Flink内部端：这个我们已经了解，利用Checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性。不了解的小伙伴可以看下我之前的文章：Flink可靠性的基石-checkpoint机制详细解析Sink端：将处理完的数据发送到下一阶段时，需要
·2021-02-01 21:14

八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）

Flink在Flink中需要端到端精准一次处理的位置有三个：Source端：数据从上一阶段进入到Flink时，需要保证消息精准一次消费。Flink内部端：这个我们已经了解，利用Checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性。不了解的小伙伴可以看下我之前的文章：Flink可靠性的基石-checkpoint机制详细解析Sink端：将处理完的数据发送到下一阶段时，需要
LLand520·2021-02-01 15:51

【Flink 精选】如何排查 Checkpoint 异常问题？

它的目的是容错和exactly-once语义功能。1.2Checkpoint设计和执行流程（1）Checkpoint的设计分布式系统实现一个全局状态保留的功能。①
熊本极客·2020-10-23 20:47

Flink从入门到放弃之入门篇(一)-Flink快速上手

是一个面向分布式数据流处理和批量数据处理的开源计算平台，可以对有限数据流和无限数据流进行有状态计算，即提供支持流处理和批处理两种类型的功能1.2Flink特点批流统一支持高吞吐、低延迟‘高性能的流处理支持有状态计算的Exactly-Once
进击吧大数据·2020-10-21 08:30

【Flink 精选】Checkpoint 机制如何保证 Exactly-Once 语义

问题1：阐述Flink提供的三种数据处理语义，解释Checkpoint机制如何保证Flink程序结果的Exactly-Once语义？
熊本极客·2020-10-15 00:32

Apache Flink on K8s：四种运行模式，我该选择哪种？

通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
腾讯云原生·2020-10-09 13:52

Apache Flink on K8s：四种运行模式，我该选择哪种？

通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
腾讯云原生·2020-09-29 16:01

Apache Flink on K8s：四种运行模式，我该选择哪种？

通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。
腾讯云原生·2020-09-21 11:00

七、Kafka offset概念及提交方式

由于消费者消费Kafka消息也与Offset和consumer的group.id有关，故此维护好消息的Offset对于避免消息的重复消费与遗漏消费，确保消息的Exactly-once是至关
wanting1024·2020-09-17 12:11

Flink的KafkaConnector使用简介

KafkaConnector使用方法引言Flink通过KafkaConnector提供从Kafka读取数据和向Kafka写入数据的功能，并通过Checkpoint机制实现了Exactly-Once的操作语义
李梓杨·2020-09-17 09:32

Spark vs Flink 核心技术点比较

目录SparkvsFlink概述编程模型流处理方面对比流处理机制状态管理时间语义Exactly-Once语义总结往期推荐SparkvsFlink概述ApacheSpark是一个统一的、快速的分布式计算引擎
大数据技术架构·2020-09-16 10:45

【Flink基础】-- 写入 Kafka 的两种方式

方式一：用Robin的方式写入Kafka1、实现exactly-once语义的kafkasink，用Robin的方式写入Kafka2、randomRobin:创建FlinkKafkaProducer时，
highfei2011·2020-09-15 22:47

Flink 的 StreamingFileSink

转载自https://blog.csdn.net/u013516966/article/details/104726234/转载目的只是为了记录防丢失和后续有补充直接扩充Flink目前对于外部Exactly-Once
a724952091·2020-09-15 14:37

kafka 事务

目录概述幂等事务2PC协议代码示例事务流程事务状态Server侧状态LSO概述kafka从0.11版本开始支持exactly-once语义。
IWBS·2020-09-15 10:58

Flink框架和工作流程简介

由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同，流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分别给出两套实现方
午后的红茶meton·2020-09-13 19:37

flink学习笔记-flink的DataStream集成kafka

flink消费kafka数据，并不是完全通过跟踪kafka消费组的offset来实现去保证exactly-once的语义，而是flink内部去跟踪offset和做checkpoint去实现ex
小猿学习笔记·2020-09-11 02:47

通过Flink+NBI可视化构建实时大数据分析系统

Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的
NBI大数据可视化分析·2020-09-06 14:05

APACHE KAFKA 0.10.0 CODE REVIEW

3.Kafka0.11.0.0版本是如何实现高效的Exactly-Once语义的?
hnail·2020-08-24 21:58

【译】Apache Flink 容错机制

确保在发生故障时，程序的每条记录只会作用于状态一次（exactly-once），当然也可以降级为至少一次（at-least-once）。容错机制通过持续创建分布式数据流的快照来实现。
William_Sang·2020-08-24 13:21

如何做到“恰好一次”地传递数十亿条消息

DeliveringBillionsofMessagesExactlyOnce作者：AmirAbuShareb翻译：雁惊寒译者注：在分布式领域中存在着三种类型的消息投递语义，分别是：最多一次（at-most-once）、至少一次（at-least-once）和恰好一次（exactly-once
钱曙光·2020-08-24 01:15

Flink学习--保证端到端exactly-once语义

TwoPhaseCommitSinkFunction就是把最后写入存储的逻辑分为两部提交，这样就有可能构建一个从数据源到数据输出的一个端到端的exactly-once语义的flink应用。当然
小明的数据脚印·2020-08-22 16:09

深度解读 Flink 1.11：流批一体 Hive 数仓

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。另外，Flink1.11完善
Ververica·2020-08-21 06:48

【笔记】Flink 官方教程 Section2 Learn Flink

pipelines）Flink如何管理状态以及为何需要管理状态如何使用事件时间（eventtime）来一致并准确地进行计算分析如何在源源不断的数据流上构建事件驱动的应用程序Flink如何提供具有精确一次（exactly-once
Little_Fall·2020-08-21 04:05

Flink学习--保证端到端exactly-once语义

TwoPhaseCommitSinkFunction就是把最后写入存储的逻辑分为两部提交，这样就有可能构建一个从数据源到数据输出的一个端到端的exactly-once语义的flink应用。当然
小明的数据脚印·2020-08-21 03:27

Flink作业问题分析和调优实践

对这3部分内容的熟悉是调优的前提，文章主要从以下几个部分分享：原理剖析性能定位经典场景调优内存调优Checkpoint机制1.什么是checkpoint简单地说就是Flink为了达到容错和exactly-once
ApacheFlink·2020-08-21 02:06

你真的了解Flink Kafka source吗？

FlinkKafkaConsumer集成了Flink的Checkpoint机制，可提供exactly-once的处理语义。
西贝木土·2020-08-20 17:06

你真的了解Flink Kafka source吗？

FlinkKafkaConsumer集成了Flink的Checkpoint机制，可提供exactly-once的处理语义。
西贝木土·2020-08-20 17:06

flink checkpoint 流程源码分析

在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once)(这里可以通过配置退化成
yuchuanchen·2020-08-18 12:14

sparkstreaming同时消费多个topic的数据实现exactly-once的语义

最近很多人问我,sparkstreaming怎么消费多个topic的数据,自己维护offest,其实这个跟消费一个topic是一样的,但还是有很多问我,今天就简单的写一个demo,供大家参考,直接上代码吧,已经测试过了.我把offest存到redis里了,当然也可以保存在zk,kafka,mysql,hbase中都可以,看自己的选择.(用了3个topic,每个topic5个partition.)p
JasonLee'blog·2020-08-18 12:41

flink 知识点总结

Flink能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供了丰富的时间类型和窗口计算、Exactly-once（就一次）语义支持，另外还可以进行状态管理，并提供了CEP（
秋雨ヾ·2020-08-18 12:13

Kafka: Exactly-once Semantics

https://www.confluent.io/blog/enabling-exactly-kafka-streams/https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+MessagingExactlyOnceDeliveryandTransacti
weixin_34336526·2020-08-18 12:03

Spark Streaming保证Exactly-Once语义

ApacheStorm、ApacheKafka(KafkaStreams)、ApacheSpark(SparkStreaming、SparkStructuredStreaming)、ApacheFlink中，经常提到Exactly-Once
wangpei1949·2020-08-18 12:58

Spark Structured Streaming 读写Kafka与Exactly-once语义

本文总结SparkStructuredStreaming读写Kafka与Exactly-once语义。
wangpei1949·2020-08-18 12:58

Kafka学习笔记 --- 如何实现Kafka消息的Exactly-Once

对于这个问题我们先来看一下一个笑话：可以这样的实现kafka设计思想：Kafka0.11.0版本之前并不能保证Exactly-once的语义，只能保证at-least-onceorat-most-once
杨鑫newlfe·2020-08-18 12:58

flink之进阶面试题

flinkCheckpoint的理解轻量级容错机制(全局异步，局部同步)保证exactly-once语义用于内部失败的恢复基本原理：通过往source注入barrier，barrier作为checkpoint
蒙奇.D.庆·2020-08-18 11:53

Kafka Exactly-Once 之事务性实现

作者|王蒙整理|无风我起浪这篇文章主要讲述Kafka事务性的实现，这部分的实现要比幂等性的实现复杂一些，幂等性实现是事务性实现的基础，幂等性提供了单会话单PartitionExactly-Once语义的实现，正是因为IdempotentProducer不提供跨多个Partition和跨会话场景下的保证，因此，我们是需要一种更强的事务保证，能够原子处理多个Partition的写入操作，数据要么全部写
大数据技术与架构·2020-08-18 10:20

第三天：Flink的State、CheckPoint、Window窗口

从容错和消息处理的语义（At-least-once和Exactly-once）上来说，Flink引入了S
SoWhat1412·2020-08-18 10:02

Apache Flink：特性、概念、组件栈、架构及原理分析

现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为他们它们所提供的SLA是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分
young-ming·2020-08-16 21:01

Flink 状态一致性

目录状态一致性一致性检查点(checkpoint)端到端(end-to-end)状态一致性端到端的精确一次(exactly-once)保证Flink+Kafka端到端状态一致性的保证状态一致性有状态的流处理
程序猿进阶·2020-08-16 10:42

flink入门

Flink优点支持高吞吐，低延迟，高性能的流处理支持高度灵活的窗口操作支持有状态计算的Exactly-once语义Flink是基于master-slave风格的架构Flink集群启动时，会启动一个JobManager
MineCodelife·2020-08-15 21:39

流式计算Flink与其Exactly-Once语义实现

Flink及Storm、Spark主流流框架比较Flink作为近年新起的大数据流式处理框架，正逐渐被各大企业采用而变为主流。其常常被用来与Storm、Sparkstreaming和kafakstreaming等同类数据处理框架作对比，经大致总结，各框架性能对比如下表：框架StormSparkstreamingKafkastreamsFlink模型批处理微批处理流式处理流式处理处理语义At-Leas
笑矣乎·2020-08-15 11:06

Flink架构、原理与部署测试

现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once
weixin_34388207·2020-08-12 00:08

flink知识总结

Flink能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供了丰富的时间类型和窗口计算、Exactly-once语义支持，另外还可以进行状态管理，并提供了CEP（复杂事件处理
蒙奇.D.庆·2020-08-11 22:22

StreamingFileSink压缩与合并小文件

Flink目前对于外部Exactly-Once写支持提供了两种的sink，一个是Kafka-Sink，另一个是Hdfs-Sink，这两种sink实现的Exactly-Once都是基于Flinkcheckpoint
赶路人儿·2020-08-11 21:35

你真的了解Flink Kafka source吗？

FlinkKafkaConsumer集成了Flink的Checkpoint机制，可提供exactly-once的处理语义。
西贝木土·2020-08-09 13:25
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他