exactly-once

Streaming+Kafka消费偏移量的维护

如何管理kafka消费偏移量：一、kafka消息的位置至关重要，维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的Exactly-once。
MrGrant·2020-06-30 05:06

Flink作业问题分析和调优实践

文章主要从以下几个部分分享：原理剖析性能定位经典场景调优内存调优Tips：后台回复关键字「调优」即可下载作者分享的PPT～Checkpoint机制1.什么是checkpoint简单地说就是Flink为了达到容错和exactly-once
Ververica·2020-06-29 14:50

Apache Flink：特性、概念、组件栈、架构及原理分析

现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为他们它们所提供的SLA是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批
weixin_33790053·2020-06-28 05:18

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

ApacheFlink应用程序中的Exactly-Once语义Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator总结ApacheFlink
JNSimba·2020-06-27 09:12

项目小结：基于 flink-connector-kafka-0.8_2.11 实现 exactly-once 语义

Flink作为新一代的流式计算框架，提供了exactly-once语义，但是其仅仅支持Flink内部数据流转的exactly-once语义，如需保证整条数据链路（即上下游交互）的完整exactly-once
super_man_0820·2020-06-26 16:16

Flink面试手册 - 核心概念和基础篇

根据官网的介绍，Flink的特性包含：支持高吞吐、低延迟、高性能的流处理支持有状态计算的Exactly-once语义支持带有事件时间的窗口 （Window） 操作支持基于轻量级分布式快照（Snapshot
qianshanding0708·2020-06-24 21:09

Flink 整合 Kafka (实现 Exactly-Once)

本文仅用来介绍Flink整合Kafka实现Exactly-Once。1.什么是Exactly-Once恰好处理一次的意思。不管在处理的时候是否有异常发生，计算的结果都一样。
扛麻袋的少年·2020-06-24 11:52

Flink 数据 保存 Redis(自定义Redis Sink)

所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现exactly-once。1.代码部分1.1config.properties配置文件bootstrap.ser
扛麻袋的少年·2020-06-24 11:52

解决Flink消费Kafka信息，结果存储在Mysql的重复消费问题

看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决重复消费的问题的文章，于是在flink官网中搜索此类场景的处理方式，发现官网也没有实现flink到mysql的Exactly-Once
卢子墨·2020-06-24 09:04

Apache Flink：特性、概念、组件栈、架构及原理分析

现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为他们它们所提供的SLA是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分
五柳-先生·2020-06-24 04:27

艾编程视频教程：海量数据场景下的kafka实时数仓解决方案

学完本节课你将掌握哪些点】1.实时数仓的架构设计(实时落地数据到HDFS的解决方案);2.Kafka在众多MQ的定位；3.生产级别Kafka集群搭建；4.在Kafka中严格控制消息顺序；5.在Kafka中做到exactly-once
icodingedu·2020-06-23 17:19

2020年最新大数据面试题，你都会吗？

2.阐述流处理引擎提供的三种数据处理语义，解释FlinkCheckpoint机制如何保证Flink程序结果的Exactly-Once语义，描述如何通过两阶段提交协议提供端到端的Exactly-Once保证
小晨说数据·2020-06-23 16:01

Flink之CheckPoint 构建 真正的End-to-End Exactly-Once

本博客内容主要讲解:Flink消费Kafka数据写入MySQL模拟Flink端到端精准一次消费1.模拟kafka数据没1s产生一条,产生60条;2.Flink消费Kafka,每10一次检查点;3.消费到第15条(前面产生一个检查点,不一定是在消费到第10条,因为第一个10s开始时间不一定是从第一条开始算)设置异常数据,数据不会插入4.修正异常数据,重启应用程序,Flink重新消费Kafka,数据全
huo_火力全开·2020-06-23 16:24

Flink作业问题分析和调优实践

对这3部分内容的熟悉是调优的前提，文章主要从以下几个部分分享：原理剖析性能定位经典场景调优内存调优Checkpoint机制1.什么是checkpoint简单地说就是Flink为了达到容错和exactly-once
ApacheFlink·2020-06-21 03:09

通过Flink+NBI可视化构建实时大数据分析系统

Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的
wx5d37d5fd4aa62·2020-06-11 14:36

Kafka的Exactly-once语义与事务机制

Kafka0.11.x版本（对应ConfluentPlatform3.3），该版本引入了exactly-once语义。
阿凡卢·2020-06-05 11:00

深度解读 Flink 1.11：流批一体 Hive 数仓

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。
ApacheFlink·2020-06-04 01:33

Flink的Apache Kafka连接器

Flink提供了特殊的KafkaConnectors来从Kafkatopic中读取数据或者将数据写入到Kafkatopic中，Flink的KafkaConsumer与Flink的检查点机制相结合，提供exactly-once
写Bug的张小天·2020-03-28 01:08

FlinkKafkaConsumer官网文档翻译

FlinkKafka消费者与Flink的检查点机制集成可以保证下游的exactly-once语义。
香山上的麻雀·2020-03-24 23:13

Apache Flink：特性、概念、组件栈、架构及原理分析

现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为他们它们所提供的SLA是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分
LeiLv·2020-03-24 23:28

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录：ApacheFlink应用程序中的Exactly-Once语义Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator
Flink中文社区·2020-03-11 15:47

流处理技术的演变

其中的一个原因是，Storm不支持exactly-once语义，因此不能保证状态数据的正确性，另外它也不支持基于事件时间的处理。有以上需求的用户不得不在自己的应用程序代码中
Lemo_wd·2020-03-09 19:00

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录：ApacheFlink应用程序中的Exactly-Once语义Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator
阿里云云栖号·2020-03-06 02:23

Flink exactly-once 实战笔记

Flink-Kafka众所周知，Flink在很早的时候就通过Checkpointing提供了exactly-once的semantic，不过仅限于自身或者是从KafkaConsumer中消费数据。
Snak1enn·2020-02-22 10:11

我应该选择哪种Kafka？

物联网云平台开发武器库https://www.yuque.com/shizhiy...我们谈了Kafka当前的定位问题，Kafka不再是一个单纯的消息引擎系统，而是能够实现精确一次（Exactly-once
石志远·2020-02-13 00:04

1.1 初步认识Apache Flink

Storm提供了低延迟的流处理，但是它为实时性付出了一些代价：很难实现高吞吐，并且其正确性没能达到通常所需的水平，换句话说，它并不能保证exactly-once，即便是它能够保证的正确性级别，其开销也相当大
一角钱_hui·2020-02-05 01:05

Flink架构、原理与部署测试

现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once
生活的探路者·2020-01-08 00:03

《从0到1学习Flink》—— 介绍Flink中的Stream Windows

前言目前有许多数据分析的场景从批处理到流处理的演变，虽然可以将批处理作为流处理的特殊情况来处理，但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语（例如，“windowing（窗口化）”、“at-least-once（至少一次）”、“exactly-once
zhisheng_blog·2020-01-05 05:18

好强大的flink

提供一个Exactly-once的一致性语义，保证了数据的正确性；使得flink大数据引擎可以提供金融级的数据处理能力。
つ〆以往的誓言゛·2020-01-02 16:00

apache flink 保证端到端exactly-once语义的简介（同样适用于kafka！）- 翻译自官网

这篇文章翻译自flink官网博客(AnOverviewofEnd-to-EndExactly-OnceProcessinginApacheFlink(withApacheKafka,too!)).翻译加上了点自己的理解，也省略了一些原文的表述，若有错误和并准确的地方请指出，还是推荐看一下原汁原味英文版哈。正文开始：2017年12月，apacheflink1.4.0发布。其中有一个里程碑式的功能：两
Moon_Storm·2019-12-26 13:29

Kafka 0.11.0.0 是如何实现 Exactly-once 语义的

原文地址：https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/笔者做了翻译和整理，有误之处请指正。很高兴地告诉大家，具备新的里程碑意义的功能的Kafka0.11.x版本（对应ConfluentPlatform3.3）已经release，该版本引入了exact
大数据之心·2019-12-18 18:58

7.8 Structured Streaming

三、为什么设计StructuredStreaming1.重新抽象了流失计算（基于DataFrame的数据抽象）2.易于实现数据的exactly-once（保证数据至少处理一次，而且只处理
nxf_rabbit75·2019-12-14 21:00

Flink入门介绍

支持多种时间窗口，如事件时间窗口、处理时间窗口支持exactly-once语义具有轻量级容错机制同时支持批处理和流处理在JVM层实现内存优化与管理支持
DB乐之者·2019-11-18 16:00

Flink kafka端到端Exactly-Once源码分析

FlinkKafkaProducer实现了TwoPhaseCommitSinkFunction，也就是两阶段提交。关于两阶段提交的原理，可以参见《AnOverviewofEnd-to-EndExactly-OnceProcessinginApacheFlink》，本文不再赘述两阶段提交的原理，但是会分析FlinkKafkaProducer源码中是如何实现两阶段提交的，并保证了在结合kafka的时候
Woople·2019-11-17 21:47

流处理Flink知否

现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once
kang少年·2019-11-06 10:06

Flink StreamingFileSink源码解析

主要区别在StreamingFileSink可以用于故障恢复，保证exactly-once，但是要求hadoop版本必须在2.7以上，因为用到了hdfs的truncate方法。
lvwenyuan_1·2019-10-17 12:19

Apache Flink基础

1.Flink优势现有的开源计算方案中，会把流处理和批处理作为两种不同的应用类型处理：流处理一般需要低延迟（ms）、Exactly-Once保证（确保数据只消费一次），批处理需要支持高吞吐、高效处
github_zwl·2019-09-30 11:48

Spark-读写HBase

xianpanjia4616Spark-读写HBase1.sparkstreaming实时写入Hbase(saveAsNewAPIHadoopDataset方法)2.sparkstreaming整合kafka实现exactly-once
爱是与世界平行·2019-09-07 16:26

Flink总结

3、一致性：exactly-once系统保证在发生故障后得到的计数结果与正确值一致。（StormTrident和SparkStreaming）在性能和表现力这两个方面付出了很大的代价。
石头dhf·2019-08-25 22:31

大厂面试Kafka，一定会问到的幂等性

02哪些因素影响幂等性使用Kafka时,需要保证exactly-once语义。要知道在分布式系统中，出现网络分区是不可避免的，如果kafkabroker在回复ack时，出现网络故障或者是
靳刚同学·2019-08-10 02:00

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录：ApacheFlink应用程序中的Exactly-Once语义Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator
阿里云云栖社区·2019-06-21 00:00

二十三、Apache Flink常见问题汇总

4.flink为何可以做到exactly-once?5.如何实现flink到kafka或mysql的exactly-once?6.怎么优化flinksq
灰二和杉菜·2019-06-12 00:00

Flink实现Kafka到Mysql的Exactly-Once

Flink实现Kafka到Mysql的Exactly-Once背景最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka
it_zzy·2019-06-03 23:19

Flink实现Kafka到Mysql的Exactly-Once

Flink实现Kafka到Mysql的Exactly-Once背景最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka
it_zzy·2019-06-03 23:19

谈谈流计算中的『Exactly Once』特性

主要内容如下：背景1.1.最多一次（At-most-once）1.2.至少一次（At-least-once）1.3.精确一次（Exactly-once）『精确一次』是真正的『精
Ververica·2019-05-31 17:37

谈谈流计算中的『Exactly Once』特性

主要内容如下：背景1.1.最多一次（At-most-once）1.2.至少一次（At-least-once）1.3.精确一次（Exactly-once）『精确一次』是真正的『精
ApacheFlink·2019-05-31 00:00

Apache Flink结合Kafka构建端到端的Exactly-Once处理

目录：1.ApacheFlink应用程序中的Exactly-Once语义2.Flink应用程序端到端的Exactly-Onc
Ververica·2019-05-29 16:35

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录：ApacheFlink应用程序中的Exactly-Once语义Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator
ApacheFlink·2019-05-29 00:00

Flink实现Kafka到Mysql的Exactly-Once

看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决重复消费的问题的文章，于是在flink官网中搜索此类场景的处理方式，发现官网也没有实现flink到mysql的Exactly-Once
兴趣e族·2019-05-28 15:26

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录：1.ApacheFlink应用程序中的Exactly-Once语义2.Flink应用程序端到端的Exactly-Once语义3.示例Flink应用程序启动预提交阶段4.在Flink中实现两阶段提交
兴趣e族·2019-05-28 14:01
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他