kafka-

Kafka-集群架构设计

Kafka的Zookeeper元数据梳理zookeeper整体数据Kafka将状态信息保存在Zookeeper中，这些状态信息记录了每个Kafka的Broker服务与另外的Broker服务有什么不同。通过这些差异化的功能，共同体现出集群化的业务能力。这些数据，需要在集群中各个Broker之间达成共识，因此，需要存储在一个所有集群都能共同访问的第三方存储中。Kafka的整体集群结构：Kafka的集群
有梦想的年轻人6174·2023-12-15 06:41

Kafka-快速实战

Kafka介绍ChatGPT对于ApacheKafka的介绍：ApacheKafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据
有梦想的年轻人6174·2023-12-14 20:21

windows安装kafka-单机版

文章目录windows安装kafka准备工作1.安装jdk2.安装zookeeper3.安装kafkakafka运行和测试1.启动kafka2.创建主题3.创建生产者4.创建消费者5.生产数据并消费windows安装kafka准备工作1.安装jdk具体步骤自行百度2.安装zookeeperzookeeper下载地址下载完成后,解压至本地进入目录D:\apache-zookeeper-3.6.3-b
焱鋮·2023-12-14 20:06

【bug排查解决】现象级延迟8-10s

首先一个数据采集场景，plc采集数据全链路：kepServer（kepserverIOTgateway）->emqx（查看日志）->iot服务->业务处理发送Kafka->flink消费->websocket
不进大厂不改名二号·2023-12-05 06:08

Kafka - 新消费者

Kafka-新消费者一、数据来源数据使用上一个博文所配置的Flume，将文本数据写入到Kafka中。不过这次有所改变，数据的监控目录有所改变，写入的Kafka的主题名也变更为A25。
寒沧·2023-12-02 15:37

educoder中kafka-入门篇

第1关：kafka-初体验#!
小施没烦恼·2023-11-25 17:41

Kafka-安装和使用

一、下载安装包1、选择所需版本下载[root@ywxtdbopt]#wgethttps://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz2、解压安装包[root@ywxtdbopt]#tar-xvfkafka_2.12-2.1.0.tgz二、修改配置[root@ywxtdbconfig]#vi/opt/kafka_2.12-2.1
蚂蚁兄弟·2023-11-24 16:10

大数据-数仓-数据采集-业务数据（三）：增量同步采集【MySQL-(Maxwell)-＞Kafka-(Flume)-＞HDFS】【每日增量：每天只将业务数据中新增及变化的数据同步到数据仓库】

增量同步策略解释：每日增量，就是每天只将业务数据中的新增及变化的数据同步到数据仓库中，适用：表数据量大，且每天只会有新的数据插入的场景，特点：采用每日增量的表，通常会在首日先进行一个全量同步。例如：退单表、订单状态表、支付流水表、订单详情表、活动与订单关联表、商品评论表Maxwell的实现原理很简单，就是将自己伪装成Slave，并遵循Mysql主从复制的协议，从master中同步数据。Maxwel
u013250861·2023-11-23 18:41

flink kafka flume 从开发到部署遇到的问题及解决方案

最近遇到了比较多的中间件的环境问题整理了些注意事项启动顺序zookeeper->kafka->flink->flink提交的job->flumekafka的快照保存时间的设置log.retention.hours
Nryana0·2023-11-20 18:38

kafka-应用场景

kafka-应用场景(Usecases)这是对ApacheKafka®的一些流行用例的描述。有关这些领域的概述，请参阅此博客文章。消息传递(Messaging)Kafka可以很好地替代传统邮件代理。
huryer·2023-11-16 22:37

Flink和Kafka连接时的精确一次保证

Flink写入Kafka两阶段提交端到端的exactly-once（精准一次）kafka->Flink->kafka1）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset
不进大厂不改名二号·2023-11-16 05:29

k8s kafka集群 连接不上_k8s部署Kafka集群

首先通过nfs创建三个共享目录mkdir-p/data/share/pv/{kafka01,kafka02,kafka03}分别对应三节点zk集群中的三个pod的持久化目录，创建好目录之后编写yaml创建kafka
codingdie·2023-11-11 07:31

【Kafka】Kafka-副本-分区设置-性能调优

Kafka-副本-分区设置-性能调优SparkKafkaDemo-Executorskafkareplication负载均衡_百度搜索Kafka高性能吞吐揭秘-友盟博客-SegmentFaultKafka
weixin_34198762·2023-11-08 17:44

k8s部署Kafka集群

首先通过nfs创建三个共享目录mkdir-p/data/share/pv/{kafka01,kafka02,kafka03}分别对应三节点zk集群中的三个pod的持久化目录，创建好目录之后编写yaml创建kafka
余空啊·2023-11-05 08:19

Kafka-入门及简单示例

启动与简单示例#命令行1#开启ZookeeperE:\>cdE:\kafka_2.13-3.6.0E:\kafka_2.13-3.6.0>bin\windows\zookeeper-server-start.batconfig\zookeeper.properties#命令行2#开启KafkaE:\>cdE:\kafka_2.13-3.6.0E:\kafka_2.13-3.6.0>bin\wind
没脑袋的喵·2023-11-03 17:08

kafka-生产者源码解析

kafka分享生产者配置属性介绍配置参数配置参数释义默认值bootstrap.servers指定Kafka集群所需的broker地址清单“”metadata.max.age.ms强制刷新元数据时间，毫秒默认300000，5分钟batch.size指定ProducerBatch内存区域的大小默认16kbacks指定分区中必须有多少个副本收到这条消息，才算消息发送成功默认值1，字符串类型linger.
SnaiI·2023-11-02 16:31

Kafka设计原理详解

当使用kafka-
孤单品尝寂寞·2023-10-30 18:56

Springboot整合Kafka-自动，手动提交偏移量

写在前面：各位看到此博客的小伙伴，如有不对的地方请及时通过私信我或者评论此博客的方式指出，以免误人子弟。多谢！本篇记录一下消息的提交方式，默认的消费位移提交的方式是自动提交的，这个由消费者客户端参数enable.auto.commit控制，默认为true,默认的自动提交不是每消费一条消息就提交一次，而是定期的提交，这个定期的周期时间由客户端参数auto.commit.interval.ms配置，默
卡_卡_西·2023-10-30 10:47

flinksql kafka到mysql累计指标练习

flinksql累计指标练习数据流向：kafka->kafka->mysql模拟写数据到kafkatopic：wxt中importcom.alibaba.fastjson.JSONObject;importorg.apache.kafka.clients.producer.KafkaProducer
小涛手记·2023-10-27 08:29

jmeter集成kafka测试

/kafka-
小赖同学啊·2023-10-20 11:43

Kafka SASL认证授权（五）ACL源码解析

官网地址：https://kafka.apache.org/一、ACL检查流程解析一起看一下kafkaserver的启动与监听流程：Kafka->KafkaServer->SocketServer、KafkaRequestHandler
代码讲故事·2023-10-14 15:46

3. kafka开启JMX

事实上这两种配置方式背后的原理是一样的，我们看一下kafka的启动脚本kafka-
阿飞的博客·2023-10-11 14:25

Idea本地跑flink任务时，总是重复消费kafka的数据（kafka-＞mysql）

11111111111111111111111111111111111Idea中执行任务时，没法看到JobManager的错误，以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中，增加日志，发现jdbc连接被关闭了。重新消费，jdbc连接又启动了。注意，在Flink的函数中，open和close方法只在任务启动和结束的时候执行一次。反之，可以推理出，如果close方法被执行了，那
Better~Me·2023-10-09 18:38

kafka运行机制

kafka学习入门什么是kafka-简书1.什么是kafkakafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。
qq_43519025·2023-10-09 16:47

kafka-消息格式

消息消息包含一个可变长度的header,一个可变长度不透明的字节数组key,一个可变长度不透明的字节数组value,消息中header的格式会在下一节描述.保持消息中的key和value不透明(二进制格式)是正确的决定:目前构建序列化库取得很大的进展,而且任何单一的序列化方式都不能满足所有的用途.毋庸置疑,使用kafka的特定应用程序可能会要求特定的序列化类型作为自己使用的一部分.RecordBa
m0_45987292·2023-09-29 09:44

从0到一搭建Kafka-单机版-通过单机版zookeeper配置

教程https://www.bilibili.com/video/BV1t34y1G7NW/一、安装软件首先得找到一些基本概念：1、类比Java的文件执行过程：Java程序从源代码到运行主要有三步：编译：将我们的代码（.java）编译成虚拟机可以识别理解的字节码(.class)解释：虚拟机执行Java字节码，将字节码翻译成机器能识别的机器码执行：对应的机器执行二进制机器码参考林小鹿大佬机器码机器码
xin麒·2023-09-28 14:43

离线数仓的概述

2、数仓的架构日志数据->日志服务器本地磁盘[多台]->flume->kafka->flume->HDFS->HIVE[ODS/DWD/DIM/DWS/ADS]->DATAX->MYSQL->可视化->
m0_37759590·2023-09-25 20:05

Golang使用Kafka-自动刷新主题

在公司业务中有场景需要实时订阅Topic，也就是当有新的Topic出现时，需要自动发现、监听、消费诸多比较之后选择了用户群体最多的sarama，但是遇到了一个问题，这个包并没有实现像Java的一样的正则匹配策略，不要说正则，连实时刷新机制都没有，所以需要我们自己来实现Java客户端subscribe(Pattern)的通配符模式，废话不多说，直接上代码：packagemainimport("con
·2023-09-19 22:23

Kafka-消费者

《Kafka权威指南》学习笔记Kafka-消费者一一从Kafka读取数据应用程序使用KafkaConsumer向Kafka订阅主题，并从订阅的主题上接收消息。
伊布拉西莫·2023-09-11 00:15

Golang使用Kafka-自动刷新主题

在公司业务中有场景需要实时订阅Topic，也就是当有新的Topic出现时，需要自动发现、监听、消费诸多比较之后选择了用户群体最多的sarama，但是遇到了一个问题，这个包并没有实现像Java的一样的正则匹配策略，不要说正则，连实时刷新机制都没有，所以需要我们自己来实现Java客户端subscribe(Pattern)的通配符模式，废话不多说，直接上代码：packagemainimport("con
·2023-09-01 19:36

go如何操作kafka-直接上代码

1、kafka的配置项//KafkaConfigkafka配置typeKafkaConfigstruct{DisableConsumerbool`mapstructure:"disableConsumer"`Debugbool`mapstructure:"debug"`Addressstring`mapstructure:"address"`ReadTimeoutint64`mapstructur
走，我们去吹风·2023-08-30 14:13

springboot整合kafka-笔记

springboot整合kafka-笔记配置pom.xml这里我的springboot版本是2.3.8.RELEASE，使用的kafka-mq的版本是2.12org.springframework.bootspring-boot-dependencies2.3.8
Inspire2023·2023-08-17 08:04

kafka-保证数据不重复-生产者开启幂等性和事务的作用？

1.生产者开启幂等性为什么能去重？1.1场景适用于消息在写入到服务器日志后，由于网络故障，生产者没有及时收到服务端的ACK消息，生产者误以为消息没有持久化到服务端，导致生产者重复发送该消息，造成了消息的重复现象，而幂等性就是为了解决该问题。1.2去重原理通过3个值的唯一性去重：PID：生产者ID分区号seq：单调递增2.生产者开启事务为什么能去重？2.1场景当数据发送到broker时，失败了，导致
青云游子·2023-08-05 19:39

kafka-事务

1.事务的5个API//1初始化事务voidinitTransactions();//2开启事务voidbeginTransaction()throwsProducerFencedException;//3在事务内提交已经消费的偏移量（主要用于消费者）voidsendOffsetsToTransaction(Mapoffsets,StringconsumerGroupId)throwsProduc
青云游子·2023-08-05 19:39

Kafka-副本数量设置

1.ISR副本数量设置指的是存活的副本数量ISR机制的另外一个相关参数是min.insync.replicas,可以在broker或者主题级别进行配置，代表ISR列表中至少要有几个可用副本。这里假设设置为2，那么当可用副本数量小于该值时，就认为整个分区处于不可用状态。此时客户端再向分区写入数据时候就会抛出异常。org.apache.kafka.common.errors.NotEnoughRepl
青云游子·2023-08-05 19:09

Kafka-消费者组消费流程

消费者向kafka集群发送消费请求，消费者客户端默认每次从kafka集群拉取50M数据，放到缓冲队列中，消费者从缓冲队列中每次拉取500条数据进行消费。
青云游子·2023-08-02 17:32

Kafka-配置Kerberos安全认证(JDK8、JDK11)

一、相关配置1、JAAS配置文件KafkaClient{com.sun.security.auth.module.Krb5LoginModulerequireduseKeyTab=truestoreKey=trueserviceName="kafka"keyTab="D:/code/demo/conf/kafka.service.keytab"principal="kafka/hdp-1";};2
W_Meng_H·2023-07-25 16:10

kafka可视化管理工具环境搭建windows+linux【EFAK v3.0.1】

bin下载Kafkaeagle这两个都可以，一个是官网下载，一个是GitHub下载http://download.kafka-eagle.org/https://github.com/smartloli/kafka
Fat春·2023-07-25 01:29

5-kafka(分布式消息队列)

Kafka-分布式发布-订阅消息系统，最初是由LinkedIn公司所开发，Scala语言编写，之后加入Apache旗下，成为了Apache的子项目。
小帅明3号·2023-07-20 17:40

Hadoop基本信息

Kafka-大数据消息队列。Oozie
枫叶梨花·2023-07-19 18:29

kafka-生产者使用

生产者流程发送流程创建ProducerRecord对象，包含主题和发送内容，可选指定键和分区键值对象序列化成字节数组数据发送给分区器，没有指定分区情况下，根据键选择一个分区分区选择完毕，这条消息添加到一个批次当中，这个批次的所有记录归属于相同主题和分区独立线程将记录批次发送到相应的broker上broker返回响应消息写入broker成功，返回RecordMetaData对象，包含主题和分区，以及
AlfredNing·2023-07-19 06:16

ELK-日志服务【kafka-配置使用】

kafka-0110.0.0.21kafka-0210.0.0.22kafka-0310.0.0.23【1】安装zk集群、配置[root@es-01~]#yum-yinstalljavamaven[root@es-01~]#tarxfapache-zookeeper-3.5.9-bin.tar.gz-C/opt/[root@es-01~]#cd/opt/apache-zookeeper-3.5.9
梦有一把琐·2023-07-15 09:42

kafka-副本扩容

kafka-副本扩容创建主题.
iiaythi·2023-07-14 15:27

消息队列之kafka-高级应用

1、幂等与事务所谓的幂等，简单地说就是对接口的多次调用所产生的结果和调用一次是一致的。生产者在进行重试的时候有可能会重复写入消息，而使用Kafka的幕等性功能之后可以避免这种情况。开启幕等性功能的方式很简单，只需要显式地将生产者客户端参数enable.idempotence设置为true即可(这个参数的默认值为false)。为了实现生产者的幕等性，Kafka为此引入了producerid(PID)
冰河winner·2023-06-17 15:53

kafka 的内部结构和 kafka 的工作原理

bin/zookeeper-server-start.shconfig/zookeeper.properties#openanotherterminalsessionandstartkafka$bin/kafka
youtian.L·2023-06-07 10:24

Flume系列：Flume常用采集通道案例

目录ApacheHadoop生态-目录汇总-持续更新1:文件->flume->kafka2:kafka->flume->hdfs(方案一)3:kafka->flume->hdfs(方案二)ApacheHadoop
iwester·2023-06-07 03:41

【Kafka-分区增加副本】Kafka分区增加副本

【Kafka-分区增加副本】Kafka分区增加副本1）前言2）创建测试topic3）增加副本4）附录1）前言Kafka中topic的每个分区可以设置多个副本。
bmyyyyyy·2023-04-21 01:25

kafka-面试题

Kafka的用途有哪些？使用场景如何？异步解耦削峰降流流式数据源Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么概念是在分区的副本里面，一个分区有leader副本，和其他多个副本。leader副本与其他副本之间需要同步，这个过程会有同步完成和未同步完成2个状态。AR-代表所有的副本集。ISR：代表已同步的副本集。当一个follow副本与leader副本同步滞后或者失效是，会从ISR副本集
红色的飞猪·2023-04-16 22:14

【Kafka-架构及基本原理】Kafka生产者、消费者、Broker原理解析 & Kafka原理流程图

【Kafka-架构及基本原理】Kafka生产者、消费者、Broker原理解析&Kafka原理流程图1）Kafka原理1.1.生产者流程细节1.2.Broker的存储流程细节1.3.消费者流程细节2）Kafka
bmyyyyyy·2023-04-16 07:10

Logstash错误排查之-`Don't know how to handle Java::JavaLang::NullPointerException for LogStash::Pipeli...

现象今天写好logstash后（kafka-》logstash-》kafka），本地测试OK后，上线后，疯狂重启，错误日志如下(没有什么用)：Anexceptionhappenedwhenconvergingconfiguration
slowrabbit·2023-04-15 18:34
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他