exactly-once

源码分析 --- Kafka的幂等性机制和幂等性过程源码分析

Kafka这里的幂等性指的是一般Producer发送了多少消息，consumer就消费了多少消息，保证了消费的唯一性，也是符合exactly-once语义的操作；不会发生消息丢失或者消息重复的情况；二、
杨鑫newlfe·2020-08-08 22:53

你真的了解Flink Kafka source吗？

FlinkKafkaConsumer集成了Flink的Checkpoint机制，可提供exactly-once的处理语义。
西贝木土·2020-08-08 14:34

关于Kafka幂等性的原理及实践

02哪些因素影响幂等性使用Kafka时,需要保证exactly-once语义。要知道在分布式系统中，出现网络分区是不可避免的，如果kafkabroker在回复ack时，出现网络故障或者是
靳刚同学·2020-08-08 11:06

Kafka 幂等性（Exactly-Once处理数据丢失和数据重复）

Kafka幂等性在之前的旧版本中，Kafka只能支持两种语义：Atmostonce和Atleastonce。Atmostonce保证消息不会朝服，但是可能会丢失。在实践中，很有有业务会选择这种方式。Atleastonce保证消息不会丢失，但是可能会重复，业务在处理消息需要进行去重。 Kafka在0.11.0.0版本支持增加了对幂等的支持。幂等是针对生产者角度的特性。幂等可以保证上生产者发送的消息，
Aying_seeya·2020-08-08 10:16

Flink Sql教程（8）

Flink精准去重概述为啥需要去重在某些情况下，由于上游的作业不是端到端的exactly-once，在上游出现问题自动failover的时候，该任务的sink端很大可能出现重复数据；这些重复数据又会影响下游的聚合作业
Flink-狄杰·2020-08-06 10:29

Flink Kafka 端到端 Exactly-Once 分析

摘要：本文基于Flink1.9.0和Kafka2.3版本，对Flinkkafka端到端Exactly-Once进行分析及notifyCheckpointComplete顺序，主要内容分为以下两部分：1.
Ververica·2020-08-02 14:38

Flink 小贴士 (2)：Flink 如何管理 Kafka 消费位点

在本周的《FlinkFridayTip》中，我们将结合例子逐步讲解ApacheFlink是如何与ApacheKafka协同工作并确保来自Kafkatopic的消息以exactly-once的语义被处理。
李京京·2020-08-02 13:53

flink 消费kafka （exactly-once），动态感知topic,partition, 消费多个topic，区分数据来源 API

publicclassFlinkSourceFromKafka{publicstaticvoidmain(String[]args)throwsException{finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.getCheckpointConfig().setC
刘狗·2020-08-02 12:20

kafka 高级深入知识点总结

目录1.producer生产者原理2.kafka生产者如何实现exactly-once？
刘狗·2020-08-02 12:44

Flink on zeppelin第五弹设置checkpoint

概述Flink的exactly-once语义实现是需要依赖checkpoint的,对于一个有状态的Flink任务来说如果想要在任务发生failover,或者手动重启任务的时候任务的状态不丢失是必须要开启
JasonLee'blog·2020-07-30 18:51

Flink若干认识和基础功能

一、能力支持流批处理基于Event-Time事件处理的支持exactly-once一致性语义的保证高可用性支持多种资源管理框架：Yarn、Mesos、Kubernetes、Stand-alone运行应用的规模上来讲
初心江湖路·2020-07-30 18:22

Flink入门概述

Flink简介现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型：流处理一般需要支持低延迟（毫秒级的延迟）、Exactly-once保证（数据只消费一次），而批处理需要支持高吞吐、高效处理。
yongfxu·2020-07-30 16:57

【Big Data 每日一题20180922】sparkstreaming同时消费多个topic的数据实现exactly-once的语义

最近很多人问我,sparkstreaming怎么消费多个topic的数据,自己维护offest,其实这个跟消费一个topic是一样的,但还是有很多问我,今天就简单的写一个demo,供大家参考,直接上代码吧,已经测试过了.我把offest存到redis里了,当然也可以保存在zk,kafka,mysql,hbase中都可以,看自己的选择.(用了3个topic,每个topic5个partition.)p
天地不仁以万物为刍狗·2020-07-30 16:45

(第四弹)Flink——Flink 如何管理 Kafka 消费位点

Flink与SparkStreaming不同的之处，就是在于Flink是纯天然的支持Exactly-once模式，保证数据的不丢失。
spark大数据玩家·2020-07-16 05:04

Flink 学习（一）：容错机制

确保在发生故障时，程序恢复时，数据流的每一条记录只会被处理一次（exactly-once），当然也可以降级为至少处理一次（at-least-once）。容错机制通过持续创建分布式数据流的快照来实现。
jaslou·2020-07-16 00:36

大数据学习之Flink——12State管理与恢复

从容错和消息处理的语义（At-least-once和Exactly-once）上
Jiang锋时刻·2020-07-15 20:51

Flink——容错机制

当系统遇到故障时，比如（机器，网络，软件等），重启所有的算子，回退到checkpoint（检查点），确保程序的每一条记录只会作用准确一次(exactly-once)的语义，也可以选择配置成至少一次(at-least-once
老郑来了·2020-07-15 16:50

使用 Apache Flink 开发实时 ETL

它与Spark的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合Exactly-once语义的实时处理能力。
薄荷脑·2020-07-15 12:03

Flink 作业问题分析和调优实践

3部分内容的熟悉是调优的前提，文章主要从以下几个部分分享：1.原理剖析2.性能定位3.经典场景调优4.内存调优Checkpoint机制1.什么是checkpoint简单地说就是Flink为了达到容错和exactly-once
似梦似意境·2020-07-14 05:36

Apache Flink 端到端（end-to-end）Exactly-Once特性概览 （翻译）

2019独角兽企业重金招聘Python工程师标准>>>ApacheFlink端到端（end-to-end）Exactly-Once特性概览本文是flink博文的翻译，原文链接https://flink.apache.org
weixin_34391445·2020-07-12 10:03

谈谈流计算中的『Exactly Once』特性

主要内容如下：背景1.1.最多一次（At-most-once）1.2.至少一次（At-least-once）1.3.精确一次（Exactly-once）『精确一次』是真正的『精
weixin_33736832·2020-07-12 07:03

Flink面试题

4,flink如何实现端到端的exactly-once?5,谈谈你对flink状态的认识?6,怎么合理的配置flink任务的资源?7,flink的反压是怎么实现的?
忆山·2020-07-11 17:07

Flink作业问题分析和调优实践

对这3部分内容的熟悉是调优的前提，文章主要从以下几个部分分享：原理剖析性能定位经典场景调优内存调优Checkpoint机制1.什么是checkpoint简单地说就是Flink为了达到容错和exactly-once
阿里云云栖号·2020-07-10 03:04

分布式计算引擎 - Flink

Flink1Flink重要特点1.1事件驱动型(Event-driven)1.2流与批的世界观1.3分层api1.4支持有状态计算1.5支持exactly-once语义1.6支持事件时间（EventTime
极度丶浚爱·2020-07-08 02:19

大数据技术之flink（5）

9.2状态一致性9.2.1一致性级别9.2.2端到端（end-to-end）状态一致性9.3检查点（checkpoint）9.3.1Flink的检查点算法9.3.2Flink+Kafka如何实现端到端的exactly-once
E699A8·2020-07-06 21:55

通过Flink+NBI可视化构建实时大数据分析系统

Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的
qq_38461703·2020-07-05 06:17

kafka 顺序消费， spark streaming exactly-once以及零丢失的一些总结

Kafka:定义：消息中间件–>分布式流式平台生产者sourceBrokerchannel消费者sink正常部署的是：Broker进程（一个机器一个（分布式），一个机器多个（伪分布式））使用场景：Flume-->Kafka-->Sparkstreaming实时流式KafkaStreaming特点：发布/订阅实时app分布式副本数一个SCALA编写部署:kafka_2.11-0.10.0.0.tgz
holomain·2020-07-02 17:53

Flink（一）Flink基础

目录1、Flink是什么2、Flink的特性、优点2.1、流式模型，高吞吐、低延时2.2、丰富的时间语义，支持EventTime2.3、良好的乱序数据处理能力2.4、高度灵活的窗口2.5、exactly-once
herokang·2020-07-02 11:33

Flink 之 OperatorState的使用(已实现Exactly-Once)

文件：需求：并行读取数据；获取OperatorState状态+Checkpoint机制，保证Exactly-Once（已读数据在任务异常重启之后不会再次去读）；文件夹有多个.txt文件，根据subTaskIndex
扛麻袋的少年·2020-07-02 10:31

Flink 整合 Kafka(未实现Exactly-Once)

如果你需要里了解Flink整合Kafka实现Exactly-Once，请参考这篇博文：Flink整合Kafka(实现Exactly-Once)，这篇博文主要介绍Kafka如何来实现Exactly-Once
扛麻袋的少年·2020-07-02 10:59

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

http://lxw1234.com/archives/2018/02/901.htm在实时流式计算中，最重要的是在任何情况下，消息不重复、不丢失，即Exactly-once。
lin502·2020-07-02 08:40

Spark Streaming+Kafka提交offset实现有且仅有一次(exactly-once)

前言本文讲SparkStreamming使用Direct方式读取Kafka，并在输出（存储）操作之后提交offset到Kafka里实现程序读写操作有且仅有一次，即程序重启之后之前消费并且输出过的数据不再重复消费，接着上次消费的位置继续消费Kafka里的数据。SparkStreamming+Kafka官方文档：http://spark.apache.org/docs/latest/streaming
李京京·2020-07-02 08:34

Flink框架的介绍和实现原理(一)

二.Flink特点现在的开源方案,会把流处理和批处理作为两种不同的应用类型:流处理一般需要支持低延迟,Exactly-once保证,而批处理需要支持高吞吐,高效处理.Flink是完全支持流处理,也就是说作为流处理看待时输入数据流是无界的
飞翔的小宇宙·2020-07-02 08:13

Flink HDFS Sink 如何保证 exactly-once 语义

本文将从源码层面来分析在Flink中是如何保证sink数据到HDFS的exactly-once语义的。Flink中sink数据到HDFS是由BucketingSink来完成。
kisimple·2020-07-02 06:48

你真的了解Flink Kafka source吗？

FlinkKafkaConsumer集成了Flink的Checkpoint机制，可提供exactly-once的处理语义。
jmx_bigdata·2020-07-02 06:33

Flink保证端到端exactly-once语义(也适用于kafka)

作者：Moon_Storm链接：https://www.jianshu.com/p/9d875f6e54f2英文链接：https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html来源：简书2017年12月，apacheflink1.4.0发布。其中有一个里程碑式的功能：两部提交的sink
小晨说数据·2020-07-02 03:02

[Flink基础]-- 一致性的3个级别

3、exactly-once这是指系统保证在故障发生后得到的计数结果与正确值一致。保证exactly-once不易
highfei2011·2020-07-02 02:44

apache flink 保证端到端exactly-once语义的简介（同样适用于kafka！）- 翻译自官网

这篇文章翻译自flink官网博客(AnOverviewofEnd-to-EndExactly-OnceProcessinginApacheFlink(withApacheKafka,too!)).翻译加上了点自己的理解，也省略了一些原文的表述，若有错误和并准确的地方请指出，还是推荐看一下原汁原味英文版哈。正文开始：2017年12月，apacheflink1.4.0发布。其中有一个里程碑式的功能：两
吃鱼的羊·2020-07-02 02:46

Flink Exactly-Once 投递实现浅析

E5%AE%9E%E7%8E%B0%E6%B5%85%E6%9E%90/随着近来越来越多的业务迁移到Flink上，对Flink作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证exactly-once
大数据技术实战·2020-07-01 07:07

sparkStreaming实现exactly-once，使用redis保存offset

本文主要记录使用SparkStreaming从Kafka里读取数据，并使用Redis保存Offset。1.RedisPoolobjectInternalRedisClientextendsSerializable{@transientprivatevarpool:JedisPool=nulldefmakePool(redisHost:String,redisPort:Int,redisTimeou
xuehuagongzi000·2020-07-01 07:07

sparkstreaming整合kafka实现exactly-once语义

1,sparkstreaming消费kafka有两种方法,这里我就不介绍了,网上关于这方面的资料很多,我就简单说一下两者的区别吧,(1)基于receiver的方式，是使用Kafka的高阶API来在ZooKeeper中保存消费过的offset的。这是消费Kafka数据的传统方式。这种方式配合着WAL机制可以保证数据零丢失的高可靠性，但是却无法保证数据被处理一次且仅一次，可能会处理两次。因为Spark
JasonLee'blog·2020-07-01 06:38

Flink是如何实现exactly-once语义的

Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置(即是偏移量),并保存offest,这时offest也可以理解为是一种状态.Flink是怎么保证容错
JasonLee'blog·2020-07-01 06:38

Apache Flink结合Kafka构建端到端的Exactly-Once处理

目录：1.ApacheFlink应用程序中的Exactly-Once语义2.Flink应用程序端到端的Exactly-Onc
weixin_34315665·2020-07-01 06:12

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录：ApacheFlink应用程序中的Exactly-Once语义Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator
weixin_34221112·2020-07-01 06:25

【Kafka】Kafka 实现 Exactly-once

本篇结构：Kafka三种语义Kafka故障保证Exactly-once参考博客一、Kafka三种语义在分布式系统中，构成系统的任何节点都是被定义为可以彼此独立失败的。
w1992wishes·2020-07-01 05:37

流式处理 术语解释 Exactly-once与Effectively-once

处理语义是围绕SPE最受关注，讨论最多的话题之一，其中“严格一次（Exactly-once）”是很多引擎追求的目标之一，很多SPE均宣称可提供“
纸绘·2020-07-01 05:36

Flink如何解决端到端Exactly-Once的一致性

故障恢复与一致性保障某条数据投递到某个流处理系统后，该系统对这条数据只处理一次，提供Exactly-Once的保障是一种理想的情况。如果系统不出任何故障，那简直堪称完美。
皮皮鲁同学·2020-07-01 04:17

Stream Processing: Apache Kafka的Exactly-once的定义 原理和实现

2018年，ApacheKafka以一种特殊的设计和方法实现了强语义的exactly-once和事务性。热泪盈眶啊！
蜗牛爱上星星·2020-07-01 02:53

Kafka 0.11.0.0 是如何实现 Exactly-once 语义的

Kafka0.11.0.0是如何实现Exactly-once语义的大数据之心关注2017.08.0514:42*字数5195阅读442评论0喜欢2原文地址：https://www.confluent.io
大数据技术实战·2020-07-01 00:22

Flink Kafka读取数据并写入Redis实现Exactly-Once

pom.xml4.0.0org.myorg.quickstartquickstart0.1jarFlinkQuickstartJobhttp://www.myorganization.orgUTF-81.9.11.82.11${java.version}${java.version}apache.snapshotsApacheDevelopmentSnapshotRepositoryhttps:/
大数据私房菜·2020-06-30 19:47
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他