Kafka专题学习

SpringCloud源码探析（十二）-基于SpringBoot开发自定义中间件

1.概述中间件是一种介于操作系统和应用软件之间，为应用软件提供服务功能的软件，按功能划分有消息中间件（Kafka、RocketMQ）、通信中间件（RPC通信中间件，dubbo等），应用服务器等。
程可爱·2023-12-20 22:21

kafka如何避免消息重复消费

Kafka避免消息重复消费通常依赖于以下策略和机制：1.ConsumerGroupIDKafka使用ConsumerGroupID来跟踪每个消费者所读取的消息。
Memory_2020·2023-12-20 22:47

线上环境CPU使用率飙升6000%问题排查复盘

现象我们在页面上关闭告警时，不会立马进行查库把数据发送到上游系统，而是先将关闭的告警id推送的kafka的一个topic上做缓冲，应用程序监听这个toppic慢慢消费处理。
Memory_2020·2023-12-20 22:46

Kafka为什么能高效读写数据

1）Kafka本身是分布式集群，可以采用分区技术，并行度高（生产消费方并行度高）；2）读数据采用稀疏索引，可以快速定位要消费的数据；3）顺序写磁盘；Kafka的producer生产数据，要写入到log文件中
zmx_messi·2023-12-20 22:12

Kafka消费者组

消费者总体工作流程ConsumerGroup（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。•消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。•消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。消费者组初始化流程1、coordinator：辅助实现消费者组的初始化和分区的分配
zmx_messi·2023-12-20 22:12

kafka文件存储机制

Topic分为好几个partition分区，每个分区对应于一个log文件，log文件其实是虚的，Kafka采取了分片和索引机制，将每个partition分为多个segment（大小为1G）。
zmx_messi·2023-12-20 22:39

2021-10-20 甘井子区海北路小学举行习近平总书记“ 七一”讲话精神专题学习

2021年10月20日下午，甘井子区海北路小学举办学习习近平总书记“七一”重要讲话精神专题宣讲会。学校党支部书记李信德同志作题为《迈进新征程的政治宣言扎实开展学校管理的行动纲领》的专题辅导报告。海北路小学全体教师人参加。宣讲会上，李信德书记围绕“讲话的重大意义”“讲话的主要内容”“讲话的学习贯彻“”三个方面，深刻生动地归纳梳理和介绍了七一讲话内容亮点。他指出，习近平总书记在庆祝中国共产党成立100
锦山阁·2023-12-20 20:30

从 MySQL 到 DolphinDB，Debezium + Kafka 数据同步实战

本文中我们将采用Debezium与Kafka组合的方式来实现从MySQL到DolphinDB的数据同步。Kafka+Debezium的数据同步方案需要部署4个服务，如下所示ZooKeepe
DolphinDB智臾科技·2023-12-20 20:27

KSQL是什么

KSQL是一个能够方便地对Kafka中的流数据进行实时处理和分析的SQL引擎，使用标准的SQL语法，可以快速地实现对流数据的查询、过滤、聚合和连接等操作.KSQL是一种基于流式处理的SQL引擎，它是由Confluent
摇响檐下风铃·2023-12-20 19:35

ClickHouse初级 - 第八章 用户行为分析实际案例

上图中的行为数据一般是来自于埋点平台通过Kafka集成到ClickHouse的。标签和人群数据一般是来自我们的标签
懒惰的小白521·2023-12-20 18:02

Kafka核心参数(带完善)

客户端apiKafka提供了以下两套客户端APIHighLevel(重点)LowLevelHighLevelAPI封装了kafka的运行细节，使用起来比较简单，是企业开发过程中最常用的客户端API。
kk_0910·2023-12-20 17:19

Flink系列之：Apache Kafka SQL 连接器

Flink系列之：ApacheKafkaSQL连接器一、ApacheKafkaSQL连接器二、依赖三、创建Kafka表四、可用的元数据五、连接器参数六、特性七、Topic和Partition的探测八、起始消费位点九
最笨的羊羊·2023-12-20 17:19

Flink系列之：Upsert Kafka SQL 连接器

Flink系列之：UpsertKafkaSQL连接器一、UpsertKafkaSQL连接器二、依赖三、完整示例四、可用元数据五、键和值格式六、主键约束七、一致性保证八、为每个分区生成相应的watermark
最笨的羊羊·2023-12-20 17:19

Kafka基本原理及使用

目录基本概念单机版环境准备基本命令使用集群版消息模型成员组成1.Topic（主题）：2.Partition（分区）：3.Producer（生产者）：4.Consumer（消费者）：5.Broker（代理服务器）：6.Zookeeper：成员关系基本概念Kafka
kk_0910·2023-12-20 17:47

Flink SQL填坑记2：Flink和MySQL的Bigdata类型不同导致ClassCastException报错

最近在开发FlinkSQL的时候，需要关联Kafka事实表和MySQL维表，得到的数据写入Phoenix表中，但是其中有个字段，Kafka表、MySQL表和Phoenix表都是BigData类型，但是在实现的时候却报
IT源哥·2023-12-20 17:17

KafKa手动提交问题描述

KafKa手动提交offset问题描述在分布式架构，我在XXJOB来进行调用接口产生数据，将数据提交KafKa进行存储；然后将KafKa中数据拿出来消费，在处理KafKa出来的数据时，调用另外一个服务时
一只爱好编程的程序猿·2023-12-20 17:04

Kafka快速实战以及基本原理详解

文章目录一、Kafka介绍为什么要用Kafka二、Kafka快速上手实验环境单机服务体验三、理解Kakfa的消息传递机制四、Kafka集群服务五、理解服务端的Topic、Partition和Broker
小超同学卷起来·2023-12-20 16:28

elk环境搭建

二、组件filebeatkafkazookeeperelasticsearchkibana三、参考链接：#1json在线解析https://www.json.cn/#2grokdebughttp://grokdebug.herokuapp.com
fengzhihai·2023-12-20 15:35

向本地maven中加载依赖

3、使用maven命令在jar所在文件加内cmd运行注意修改参数-DgroupId：表示jar对应的groupIdio.confluent-DartifactId:表示jar对应的artifactIdkafka-schema-re
Mr_Huang_1·2023-12-20 14:20

读取文件内容并写到kafka

/usr/bin/envpython2#-*-coding:utf-8-*-fromkafka.producerimportKafkaProducerimportsysimportloggingimportosimportdatetimeimportrandomimportthreadingimporttimeparentPath
davidic·2023-12-20 12:28

消息队列选型：Kafka 如何实现高性能？

在分布式消息模块中，我将对消息队列中应用最广泛的Kafka和RocketMQ进行梳理，以便于你在应用中可以更好地进行消息队列选型。另外，这两款消息队列也是面试的高频考点。
小小哭包·2023-12-20 12:21

Flink和Kafka连接时的精确一次保证

（2）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset）。所以我们可以在Source任务（FlinkKafkaConsumer）中将当前读取的偏移量保存为算子状态
Stephen6Yang·2023-12-20 11:09

flink kafka

Mac下Kafka安装与启动https://www.jianshu.com/p/a581372f07b4https://github.com/wangzhiwubigdata/God-Of-BigData
夏天_edbf·2023-12-20 11:15

Docker 快速部署Kafka

network=host-d-eALLOW_ANONYMOUS_LOGIN=yes--namezookeeperbitnami/zookeeper:latest2、部署kakfadockerrun-d--namekafka-server
再ZzZ·2023-12-20 10:59

【kafka实践】12｜如何实现exactly once

前面的章节中我们聊到如何避免保证消息丢失，没有印象的同学可以再看看，本节我们将展开如何实现kafka的一次精确。
叁戒·2023-12-20 09:06

掌握实时数据流：使用Apache Flink消费Kafka数据

导读：使用Flink实时消费Kafka数据的案例是探索实时数据处理领域的绝佳方式。不仅非常实用，而且对于理解现代数据架构和流处理技术具有重要意义。
昊昊该干饭了·2023-12-20 08:14

Kafka使用总结

1、Kafka是何如做到高性能的？a、消息批处理减少网络通信开销，提升系统吞吐能力（先攒一波，消息以“批”为单位进行处理）生产端：无论是同步发送还是异步发送，Kafka都不会立即就把这条消息发送出去。
J_HelloWorld·2023-12-20 08:06

2023_Spark_实验三十：测试Flume到Kafka

实验目的：测试Flume采集数据发送到Kafka实验方法：通过centos7集群测试，将flume采集的数据放到kafka中实验步骤：一、kafka可视化工具介绍KafkaTool是一个用于管理和使用ApacheKafka
pblh123·2023-12-20 08:23

《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-20 06:47

kafka设置消费者组

安装部署后consumer.propertiesgroup.id=test-group单机测试，自己开俩窗口，一个测试消费者，一个测试生产者（创建消息那步）创建主题bin/kafka-topics.sh
看完能不能点赞？·2023-12-20 05:09

KAFKA

KAFKAkafka入门什么是kafaka应该如何理解?
MapSet·2023-12-19 23:02

在Python中使用Kafka帮助我们处理数据

Kafka是一个分布式的流数据平台，它可以快速地处理大量的实时数据。Python是一种广泛使用的编程语言，它具有易学易用、高效、灵活等特点。
测试萧十一郎·2023-12-19 22:47

Kafka 基础架构

从宏观角度上讲，Kafka大体分为三个角色：生产者，Kafka集群，消费者。
zmx_messi·2023-12-19 18:48

Kafka 数据乱序

原因说明：因为在kafka1.x以后，启用幂等后，kafka服务端会缓存producer发来的最近5个request的元数据，故无论如何，都可以保证
zmx_messi·2023-12-19 18:48

Kafka Broker总体工作流程

上面是Zookeeper集群，下面是Kafka集群，两个集群通信：1）每台KafkaBroker节点启动之后，都会向Zookeeper进行注册，告诉他，我开启了。
zmx_messi·2023-12-19 18:48

@KafkaListener 注解配置多个 topic

见如下示例主要见@KafkaListener中topics属性的配置其中${xxxx.topic1}为从springBoot配置文件中读取的属性值@KafkaListener(topics={"${xxxx.topic1
极光雨雨·2023-12-19 18:18

Kafka中Ack应答级别和数据去重

在Kafka中，保证数据安全可靠的条件是：数据完全可靠条件=ACK级别设置为-1+分区副本大于等于2+ISR里应答的最小副本数量大于等于2；Ack应答级别可靠性总结：acks=0，生产者发送过来数据就不管了
zmx_messi·2023-12-19 18:17

Kafka消息延迟和时序性详解（文末送书）

目录一、概括1.1介绍Kafka消息延迟和时序性1.1.1什么是Kafka消息延迟？1.1.2为什么消息延迟很重要？1.1.3什么是Kafka消息时序性？
哪 吒·2023-12-19 17:15

Kafka 分级存储在腾讯云的实践与演进

导语腾讯云消息队列Kafka内核负责人鲁仕林为大家带来了《Kafka分级存储在腾讯云的实践与演进》的精彩分享，从Kafka架构遇到的问题与挑战、Kafka弹性架构方案类比、Kafka分级存储架构及原理以及腾讯云的落地与实践四个方面详细分享了
腾讯云中间件·2023-12-19 13:34

Kafka 安装与部署

目录Kafka下载（1）将kafka_2.11-2.4.1.tgz上传至/opt/software/（2）解压安装包至/opt/module/[huwei@hadoop101~]$cd/opt/software
夏木夕·2023-12-19 12:05

消息队列kafka详解：Kafka原理分析总结

目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与Kafka集成。
码农小旋风·2023-12-19 11:43

Kafka--从Zookeeper数据理解Kafka集群工作机制

从Zookeeper数据理解Kafka集群工作机制这一部分主要是理解Kafka的服务端重要原理。但是Kafka为了保证高吞吐，高性能，高可扩展的三高架构，很多具体设计都是相当复杂的。
长情知热爱·2023-12-19 09:43

【ranger】CDP环境 更新 ranger 权限策略会发生低概率丢失权限策略的解决方法

一、问题描述：我们的kafka服务在更新（添加）ranger权限时，会有极低的概率导致MM2同步服务报错，报错内容NotAuthorized。
kiraraLou·2023-12-19 08:32

Elasticsearch集群部署 head监控插件 Kibana部署 Nginx反向代理 Logstash部署

一、组件介绍1、Elasticsearch：2、Logstash3、Kibana4、Kafka：5、Filebeat:二、Elasticsearch集群部署服务器创建用户安装ES修改配置文件创建数据和日志目录设置
火腿炒馕·2023-12-19 07:59

一场研讨会的筹备工作

问：单位要在内部开展优化营商环境的专题学习研讨活动，领导让你负责此次活动的筹备工作，请问你会怎么筹备？答：能得领导如此器重，不才愿竭驽力。
月城闲客·2023-12-19 07:17

手动配置 kafka 用户密码，认证方式等的方式

场景部分场景会指定使用某一kafka来提高安全性，这里就不得不使用用户密码认证方式等来控制方法示例//手动加载配置信息privateMapconsumerConfigs(){Mapprops=newHashMap
极光雨雨·2023-12-19 06:48

win环境下启动kafka Port already in use: 6688； nested exception is

背景zk启动成功后，接下来启动kafka，再启动kafka后一直说端口被占用。
小赖同学啊·2023-12-19 06:23

2023_Spark_实验二十六：编写Shell模拟生成点击实时数据

实验步骤：1、选择集群中的一台虚拟机，最好和flume/kafka等在同一台，在该虚拟机的合适
pblh123·2023-12-19 05:29

2023_Spark_实验二十九：Flume配置KafkaSink

实验目的：掌握Flume采集数据发送到Kafka的方法实验方法：通过配置Flume的KafkaSink采集数据到Kafka中实验步骤：一、明确日志采集方式一般Flume采集日志source有两种方式：1
pblh123·2023-12-19 05:54

【Python系列】Python函数

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-19 04:33
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他