分布式消息系统kafka

Kafka--Kafka日志索引详解以及生产常见问题分析与总结

一、Kafka的Log日志梳理这一部分数据主要包含当前Broker节点的消息数据(在Kafka中称为Log日志)。这是一部分无状态的数据，也就是说每个Kafka的Broker节点都是以相同的逻辑运行。
长情知热爱·2023-12-21 10:03

Kafka 基础快速入门

1、生产者1、生产者发送消息流程配置生产者参数属性和创建生产者对象构建消息：ProducerRecord发送消息：Send关闭生产者2、消费者1、消费者接受消息流程配置消费者参数属性和创建消费者对象订阅主题拉取消息并进行消费处理提交消费偏移量，关闭消费者2、消费者和消费组每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者。消费者和消费组与分区的关系如上
顾十方·2023-12-21 09:32

【Kafka每日一问】kafka中partition 的多个节点是分布在不同的broker上面吗

kafka中partition的多个节点是分布在不同的broker上面吗是的，Kafka中的partition(分区)会被复制到不同的broker上。
jianjun_fei·2023-12-21 09:31

Kafka消息队列设计 - Topic、Partition、Offset分析，并整合Spring Boot项目

引言Kafka是一个强大的分布式消息队列系统，广泛应用于各种实时数据处理和事件驱动的场景。
程序员王也·2023-12-21 09:26

【实习记录】第2周 2023.07.03-2023.07.07

实习记录：1.Kafka【入门】就这一篇！Kafka【入门】就这一篇！
叁 石·2023-12-21 08:13

关于MQ，你了解多少？（干货分享之二）

导语本文梳理笔者MQ知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件
腾讯云中间件·2023-12-21 08:09

关于MQ，你了解多少？（干货分享之一）

导语本文梳理笔者MQ知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件
腾讯云中间件·2023-12-21 08:39

Kafka [Kraft模式]教程（一）

Kafka[Kraft模式]教程（一）说明Kafka版本：3.3.1Kraft模式！准备三台服务器我是通过vagrant搭配virtualbox创建的虚拟机。
超哥聊编程·2023-12-21 07:34

【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

【Flink-Kafka-To-Hive】使用Flink实现Kafka数据写入Hive1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-21 07:51

Flink（十）【处理函数】

学完再好好回顾回顾，最后就是把剩余的一些框架（Kafka、Flume等）补齐
让线程再跑一会·2023-12-21 07:30

黑马头条--day06文章上下架--kafka消息队列

目录一.自媒体文章上下架二.kafka概述1.消息中间件对比2.kafka介绍3.kafka安装配置三.kafaka入门（1）创建kafka-demo项目，导入依赖（2）生产者发送消息（3）消费者接收消息总结
可爱的鸡仔·2023-12-21 07:00

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink SQL流表与维表join实践

流表就是像kafka这种消息队列中的数据。维表是像MySQL中的静态数据。想要使用FlinkSQL的方式join两张表，静态维表的作用类似一张字典表。
iFence·2023-12-21 06:37

Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例

下面代码的数据来自metricbeat，本机启动metricbeat将数据接入kafka，flink消费kafka中
iFence·2023-12-21 06:37

Flink利用process算子进行分流操作

需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。
iFence·2023-12-21 06:36

flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1

阅读此文默认读者对docker、docker-compose有一定了解。环境docker-compose运行了一个jobmanager、一个taskmanager和一个sql-client。如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081:80
iFence·2023-12-21 06:33

2023_Spark_实验三十二：消费Kafka数据并保存到MySQL中

实验目的：掌握Scala开发工具消费Kafka数据，并将结果保存到关系型数据库中实验方法：消费Kafka数据保存到MySQL中实验步骤：一、创建Job_ClickData_Process代码如下：packageexamsimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.TopicP
pblh123·2023-12-21 06:46

Debezium发布历史06

Debezium0.2.3发布七月26,2016作者：RandallHauch发布mysqldocker欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.我很高兴地宣布Debezium0.2.3现已可与KafkaConnect0.9.0.1
大大蚊子·2023-12-21 02:04

Debezium发布历史03

DebeziumonKubernetesMay31,2016byChristianPosta发布mysqldocker更新（2019年10月11日）：在Kubernetes上运行Debezium（以及一般的ApacheKafka
大大蚊子·2023-12-21 01:34

「Java工具类」BeanCopyUtil对象复制工具类

通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka
程序员阿宁·2023-12-21 01:37

SpringCloud源码探析（十二）-基于SpringBoot开发自定义中间件

1.概述中间件是一种介于操作系统和应用软件之间，为应用软件提供服务功能的软件，按功能划分有消息中间件（Kafka、RocketMQ）、通信中间件（RPC通信中间件，dubbo等），应用服务器等。
程可爱·2023-12-20 22:21

kafka如何避免消息重复消费

Kafka避免消息重复消费通常依赖于以下策略和机制：1.ConsumerGroupIDKafka使用ConsumerGroupID来跟踪每个消费者所读取的消息。
Memory_2020·2023-12-20 22:47

线上环境CPU使用率飙升6000%问题排查复盘

现象我们在页面上关闭告警时，不会立马进行查库把数据发送到上游系统，而是先将关闭的告警id推送的kafka的一个topic上做缓冲，应用程序监听这个toppic慢慢消费处理。
Memory_2020·2023-12-20 22:46

Kafka为什么能高效读写数据

1）Kafka本身是分布式集群，可以采用分区技术，并行度高（生产消费方并行度高）；2）读数据采用稀疏索引，可以快速定位要消费的数据；3）顺序写磁盘；Kafka的producer生产数据，要写入到log文件中
zmx_messi·2023-12-20 22:12

Kafka消费者组

消费者总体工作流程ConsumerGroup（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。•消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。•消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。消费者组初始化流程1、coordinator：辅助实现消费者组的初始化和分区的分配
zmx_messi·2023-12-20 22:12

kafka文件存储机制

Topic分为好几个partition分区，每个分区对应于一个log文件，log文件其实是虚的，Kafka采取了分片和索引机制，将每个partition分为多个segment（大小为1G）。
zmx_messi·2023-12-20 22:39

从 MySQL 到 DolphinDB，Debezium + Kafka 数据同步实战

本文中我们将采用Debezium与Kafka组合的方式来实现从MySQL到DolphinDB的数据同步。Kafka+Debezium的数据同步方案需要部署4个服务，如下所示ZooKeepe
DolphinDB智臾科技·2023-12-20 20:27

KSQL是什么

KSQL是一个能够方便地对Kafka中的流数据进行实时处理和分析的SQL引擎，使用标准的SQL语法，可以快速地实现对流数据的查询、过滤、聚合和连接等操作.KSQL是一种基于流式处理的SQL引擎，它是由Confluent
摇响檐下风铃·2023-12-20 19:35

ClickHouse初级 - 第八章 用户行为分析实际案例

上图中的行为数据一般是来自于埋点平台通过Kafka集成到ClickHouse的。标签和人群数据一般是来自我们的标签
懒惰的小白521·2023-12-20 18:02

Kafka核心参数(带完善)

客户端apiKafka提供了以下两套客户端APIHighLevel(重点)LowLevelHighLevelAPI封装了kafka的运行细节，使用起来比较简单，是企业开发过程中最常用的客户端API。
kk_0910·2023-12-20 17:19

Flink系列之：Apache Kafka SQL 连接器

Flink系列之：ApacheKafkaSQL连接器一、ApacheKafkaSQL连接器二、依赖三、创建Kafka表四、可用的元数据五、连接器参数六、特性七、Topic和Partition的探测八、起始消费位点九
最笨的羊羊·2023-12-20 17:19

Flink系列之：Upsert Kafka SQL 连接器

Flink系列之：UpsertKafkaSQL连接器一、UpsertKafkaSQL连接器二、依赖三、完整示例四、可用元数据五、键和值格式六、主键约束七、一致性保证八、为每个分区生成相应的watermark
最笨的羊羊·2023-12-20 17:19

Kafka基本原理及使用

目录基本概念单机版环境准备基本命令使用集群版消息模型成员组成1.Topic（主题）：2.Partition（分区）：3.Producer（生产者）：4.Consumer（消费者）：5.Broker（代理服务器）：6.Zookeeper：成员关系基本概念Kafka
kk_0910·2023-12-20 17:47

Flink SQL填坑记2：Flink和MySQL的Bigdata类型不同导致ClassCastException报错

最近在开发FlinkSQL的时候，需要关联Kafka事实表和MySQL维表，得到的数据写入Phoenix表中，但是其中有个字段，Kafka表、MySQL表和Phoenix表都是BigData类型，但是在实现的时候却报
IT源哥·2023-12-20 17:17

KafKa手动提交问题描述

KafKa手动提交offset问题描述在分布式架构，我在XXJOB来进行调用接口产生数据，将数据提交KafKa进行存储；然后将KafKa中数据拿出来消费，在处理KafKa出来的数据时，调用另外一个服务时
一只爱好编程的程序猿·2023-12-20 17:04

Kafka快速实战以及基本原理详解

文章目录一、Kafka介绍为什么要用Kafka二、Kafka快速上手实验环境单机服务体验三、理解Kakfa的消息传递机制四、Kafka集群服务五、理解服务端的Topic、Partition和Broker
小超同学卷起来·2023-12-20 16:28

elk环境搭建

二、组件filebeatkafkazookeeperelasticsearchkibana三、参考链接：#1json在线解析https://www.json.cn/#2grokdebughttp://grokdebug.herokuapp.com
fengzhihai·2023-12-20 15:35

向本地maven中加载依赖

3、使用maven命令在jar所在文件加内cmd运行注意修改参数-DgroupId：表示jar对应的groupIdio.confluent-DartifactId:表示jar对应的artifactIdkafka-schema-re
Mr_Huang_1·2023-12-20 14:20

读取文件内容并写到kafka

/usr/bin/envpython2#-*-coding:utf-8-*-fromkafka.producerimportKafkaProducerimportsysimportloggingimportosimportdatetimeimportrandomimportthreadingimporttimeparentPath
davidic·2023-12-20 12:28

消息队列选型：Kafka 如何实现高性能？

在分布式消息模块中，我将对消息队列中应用最广泛的Kafka和RocketMQ进行梳理，以便于你在应用中可以更好地进行消息队列选型。另外，这两款消息队列也是面试的高频考点。
小小哭包·2023-12-20 12:21

Flink和Kafka连接时的精确一次保证

（2）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset）。所以我们可以在Source任务（FlinkKafkaConsumer）中将当前读取的偏移量保存为算子状态
Stephen6Yang·2023-12-20 11:09

flink kafka

Mac下Kafka安装与启动https://www.jianshu.com/p/a581372f07b4https://github.com/wangzhiwubigdata/God-Of-BigData
夏天_edbf·2023-12-20 11:15

Docker 快速部署Kafka

network=host-d-eALLOW_ANONYMOUS_LOGIN=yes--namezookeeperbitnami/zookeeper:latest2、部署kakfadockerrun-d--namekafka-server
再ZzZ·2023-12-20 10:59

【kafka实践】12｜如何实现exactly once

前面的章节中我们聊到如何避免保证消息丢失，没有印象的同学可以再看看，本节我们将展开如何实现kafka的一次精确。
叁戒·2023-12-20 09:06

掌握实时数据流：使用Apache Flink消费Kafka数据

导读：使用Flink实时消费Kafka数据的案例是探索实时数据处理领域的绝佳方式。不仅非常实用，而且对于理解现代数据架构和流处理技术具有重要意义。
昊昊该干饭了·2023-12-20 08:14

Kafka使用总结

1、Kafka是何如做到高性能的？a、消息批处理减少网络通信开销，提升系统吞吐能力（先攒一波，消息以“批”为单位进行处理）生产端：无论是同步发送还是异步发送，Kafka都不会立即就把这条消息发送出去。
J_HelloWorld·2023-12-20 08:06

2023_Spark_实验三十：测试Flume到Kafka

实验目的：测试Flume采集数据发送到Kafka实验方法：通过centos7集群测试，将flume采集的数据放到kafka中实验步骤：一、kafka可视化工具介绍KafkaTool是一个用于管理和使用ApacheKafka
pblh123·2023-12-20 08:23

《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-20 06:47

kafka设置消费者组

安装部署后consumer.propertiesgroup.id=test-group单机测试，自己开俩窗口，一个测试消费者，一个测试生产者（创建消息那步）创建主题bin/kafka-topics.sh
看完能不能点赞？·2023-12-20 05:09

KAFKA

KAFKAkafka入门什么是kafaka应该如何理解?
MapSet·2023-12-19 23:02
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他