Kafka权威指南第64页

Linux系统上搭建高可用Kafka集群（使用自带的zookeeper）

本次在CentOS7.6上搭建Kafka集群ApacheKafka是一个高吞吐量的分布式消息系统，被广泛应用于大规模数据处理和实时数据管道中。

不掉头发的阿水·2023-11-12 10:27

CVE-2023-25194 Kafka JNDI 注入分析

ApacheKafkaClientsJndiInjection漏洞描述ApacheKafka是一个分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。

合天网安实验室·2023-11-12 09:20

看完就会的Flink基础API

ExecutionEnvironment）1、创建执行环境2、执行模式(ExecutionMode)3、触发程序执行二、源算子（Source）1、数据源类准备2、从集合中读取数据3、从文件中读取数据4、从Socket中读取数据5、从Kafka

ha_lydms·2023-11-12 08:50

真实线上OOM溢出借助MAT工具排查（原创）

结论先说结论，后端服务消费到了kafka的超大消息，导致解析Json消息时OOM内存溢出了。背景有天，快下班时用户反馈说系统不可用了，加班排查了一晚上给解决了。

吴free·2023-11-12 05:58

@KafkaListener注解详解（一）| 常用参数详解

@KafkaListener注解提供了许多可配置的参数，以便更灵活地定制Kafka消息监听器的行为。topics：描述：指定监听的Kafka主题，可以是一个字符串数组。

鲨鱼辣椒不吃辣c·2023-11-12 05:50

资料免费领取-Flink/Spark/Java/Python/Redis/Kafka/CK/ZK/ES/Flume

首先这是一篇资源福利篇，相信会有很多读者和笔者一样，学习一门技术，至少会有20%的时候来寻找好的学习文章或者书籍。之前在后台提供了相关技术的书籍和视频，但经常有读者后台私信反馈链接失效的问题。由于笔者所有的资源均在某网盘中存放，迁移成本较大，所有这里对获取方式进行了改变，流程可能会有所繁琐，但尽可能节省大家的时间，如还是遇到失效问题，请后台私信进行处理解决。这里先给大家汇总下相关资料，如感兴趣，请

进击吧大数据·2023-11-12 04:13

消息队列简介及选型对比

消息队列的好处业务解耦最终一致性广播错峰与流控顺序保证消息队列的坏处可用性降低复杂度变高一致性消息队列核心概念消息模式PTP点对点Pub/Sub发布订阅推和拉的区别常用消息队列介绍RabbitMQActiveMQRocketMQ选择Rabbitmq的原因Rocketmq为什么性能高Kafka

xushiyu1996818·2023-11-12 03:39

消息队列简介-原理和应用

目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ典型的：Kafka==》发布订阅系统参考：kafka基础知识梳理-kafka是一种高吞吐量的分布式发布订阅消息系统二

Firm陈·2023-11-12 03:38

大数据工具-kafkaUi-lite

1、kafkaUI-litev1.0已经发布，此版本更新内容包括：可以实现kafak/zookooper/redis的界面化操作kafka:多环境管理、生产消息、消费消息、创建topic、删除topiczookeeper

人猿宇宙·2023-11-12 02:44

大数据-玩转数据-Flume

Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。

人猿宇宙·2023-11-12 02:41

大数据博文列表

文章目录说明分享大数据简述搭建hadoop平台单机版集群版安装优化组件hadoophdfsyarnflinkHbaseElasticsearchkafkasparkhiveoozie其他vmwaredocker

羽落风起·2023-11-12 01:05

Flink SQL -- 命令行的使用

此处选择是时session的模式：yarn-session.sh-d在启动FlinkSQL的client：sql-client.sh2、kafkaSQL连接器在使用kafka作为数据源的时候需要上传jar

新手小农·2023-11-12 00:54

【Git系列】Github指令搜索

檀越剑指大厂·2023-11-11 23:21

flink-sql所有表格式format-1.15

Flink支持以下格式：格式连接器CSVApacheKafka,UpsertKafka,AmazonKinesisDataStreams,FilesystemJSONApa

第一片心意·2023-11-11 21:17

flink-sql所有表格式format-1.14

Flink支持以下格式：格式连接器CSVApacheKafka,UpsertKafka,AmazonKinesisDataStreams,FilesystemJSONApa

第一片心意·2023-11-11 21:17

Flink基础系列30-Table API和Flink SQL之API调用

文章目录一.基本程序结构二.创建表环境三.在Catalog中注册表3.1表（Table）的概念3.2连接到文件系统（Csv格式）3.3连接到Kafka四.表的查询4.1TableAPI的调用4.2SQL

只是甲·2023-11-11 21:07

Flink Table API & SQL 编程

目录Maven依赖DEMO1消费Kafka主题数据，生产主题数据DEMO2Table与DataStream的互相转换DEMO3时间窗口sql-client的使用执行建表语句filesystem数据源kafka

柏舟飞流·2023-11-11 20:01

Java工程师必备-一些资料的整理

Springboot、SpringCloud、Mybatis、多线程并发、netty、MySQL、MongoDB、Elasticsearch、Redis、HBASE、RabbitMQ、RocketMQ、Pulsar、Kafka

敲代码的小小芮·2023-11-11 18:25

Linux 定时删除7天前的文件

/bin/bashfind/home/kafka/logs-mtime+10-name"*.

SmallFatMan·2023-11-11 17:58

RabbitMQ实现消息的延迟推送或延迟发送

常见的消息队列有：RabbitMQ、Kafka和ActiveMQ2.RabbitMQ的优点RabbitMQ最初起源于金融系统，用于不同模块之间的消息通讯。优点：可靠性：可持久化，消息传输和发布确认。

闻道☞·2023-11-11 15:36

Java编写程序将数据存入Kafka中

Java编写程序将数据存入Kafka中Kafka是一个类似于RabbitMQ的消息系统，它的主要功能是消息的发布和订阅、处理和存储。1.它类似于一个消息系统，读写流式的数据。

无恋-zx·2023-11-11 15:35

docker-compose安装kafka集群并解决docker内kafka外界无法访问问题

本文更好的观看体验在博主的个人博客上：点我访问利用Docker安装之前我说过，我希望能够快速开始实践，所以选择了利用docker来安装组件，docker-compose来解决通信问题，这次也一样，先用docker安装一个kafka

theonly_df·2023-11-11 15:25

Docker快速安装kafka

创建zkdockerrun-d--namezookeeper-server\-eALLOW_ANONYMOUS_LOGIN=yes\bitnami/zookeeper:latest创建kafkadockerrun-d

喝酸奶要舔盖儿·2023-11-11 15:44

Docker搭建kafka

docker简易搭建kafka在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：想分析一下用户行为，一遍我能设计出更好的广告位，相对用户的搜索关键字尽心统计，分析出前卫的流行趋势

马丁de早晨·2023-11-11 15:13

Kafka

目录1.Kafka简介2.安装Kafka2.1安装JDK2.2下载、解压Kafka2.3启动Kafka1.Zookeeper模式启动2.KRaft模式启动3.Kafka常用命令3.1Kafka服务命令1

m0_37559973·2023-11-11 14:39

消息队列系列

这里填写标题1.消息队列系列1.1.如何选型1.1.1.消息队列模式1.1.1.1.点对点模式1.1.1.2.发布/订阅模式1.1.2.衡量标准1.1.3.消息队列比较1.1.4.优缺点1.1.4.1.Kafka1.1.4.2

云满笔记·2023-11-11 14:17

kafka的Consumer 消费者(六)

Kafka的消费方式消息队列主要有两个消费方式：pull(拉)模式和push(推)模式 pull(拉)模式consumer采用从broker中主动拉取数据，push(推)模式broker决定消息发送速率

華小灼·2023-11-11 13:16

Kafka Consumer

目录消费者分区分配策略range（默认）roundrobinStickyAssignor分配策略0.11以后新加什么时候触发分区分配策略：offset提交手动提交消费者导致的数据漏消费(数据丢失)消费者导致的数据重复消费问题自动提交offset消费者三中语义At-most-onceat-least-onceExactly-once使用subscribe实现Exactly-once使用assign实

这个程序猿可太秀了·2023-11-11 13:45

【Kafka源码分析】三、消费者Consumer

Kafka采用pull（拉）模式！！！基本设计：消费者组内每个消费者负责消费不同分区

wanger61·2023-11-11 13:15

【Kafka】KafkaConsumer消费者客户端实现原理

目录一、消费者和消费组二、消息投递模式三、消费者客户端1.订阅主题与分区2.消息消费四、消费端位移五、消费再均衡、再均衡监听器六、消费者拦截器七、多线程实现1.每个线程实例化一个KafkaConsumer

sun_tantan·2023-11-11 13:14

Kafka Consumer 消费多线程vs多实例

KafkaConsumer消费性能提升针对一下两种方案进行对比，并通过代码检验。基于Kafka2.2.1版本1.方案一在同一个ConsumerGroup中，创建多个Consumer，增加消费者性能。

腹黑客·2023-11-11 13:43

KafkaConsumer Api

KafkaConsumer消费者组和Topic订阅GroupsandTopicSubscriptionsKafkausestheconceptofconsumergroupstoallowapoolofprocessestodividetheworkofconsumingandprocessingrecords.Theseprocessescaneitherberunningonthesamema

lanicc·2023-11-11 13:12

【Apache Kafka3.2】KafkaConsumer源码分析

这里写目录标题KafkaConsumer分析方法概述字段概述ConsumerNetworkClientpoll流程回调对象——RequestFutureCompletionHandlerRequestFutureRequestFuture.composeRequestFuture.chain

Mrkang1314·2023-11-11 13:12

Kafka Consumer多线程消费

01概述关于KafkaJavaConsumer多线程消费的实现，多个线程可能拿到相同分区的数据，而消费的顺序会破坏消息本身在分区中的顺序，因而扰乱位移的提交。

meavoChen·2023-11-11 13:11

kafkaConsumer的分区分配策略-实测说话

kafka的消费者分区分配策略_一念花开_的博客-CSDN博客_kafka分区分配策略刚接触kafka的小伙伴其实一直忽略了一个事。

cclovezbf·2023-11-11 13:10

源码分析之Kafka Consumer消费消息的过程

KafkaConsumer源码中给出的代码示例上述示例主要流程订阅主题的过程是如何实现的？经典思路：主动检测不支持的情况并抛出异常，避免系统产生不可预期的行为有关元数据更新拉取消息的过程是如何实现的？

evasnowind·2023-11-11 13:10

KafkaConsumer 消费逻辑

版本：kafka-clients-2.0.1.jar之前想写个插件修改kafkaConsumer消费者的逻辑，根据header过滤一些消息。

不如敲代码·2023-11-11 13:05

c语言的字符串api,C语言实现GET请求调用API

python可以很容易地实现简单的HTTP请求，因为系统库封装了构建HTTP请求报文的底层操作，面向用户的是简单地函数调用，而通过C语言实现HTTP请求必须了解HTTP协议的原理，这里推荐经典的《HTTP权威指南

苏额·2023-11-11 12:38

CSDN超级实习生 | 寒假之前，收藏好这份大厂2022年实习生招聘计划

对技术有热情，对于大数据处理，并发系统，性能优化等有强烈的兴趣；4、熟悉软件工程领域相关知识；5、熟悉大数据领域相关知识，Hadoop、Spark、Kafka等。后

实训001·2023-11-11 10:16

kafa简介及基本原理

kafa简介及基本原理kafa简介概述kafka，ActiveMQ,RabbitMQ是当今最流行的分布式消息中间件，其中kafka在性能及吞吐量方面是三者中的佼佼者，不过最近查阅官网时，官方与它的定义为一个分布式流媒体平台

卷不动的打工仔·2023-11-11 09:13

K8S上部署的kafka集群没法被外网访问

场景：在K8S集群内的机器上访问kafka服务可以成功访问到在非该集群内机器访问kafka服务无法访问并报错如下Errorconnectingtonode***java.net.UnknownHostException

笃行_·2023-11-11 07:02

k8s 中部署kafka集群

由于开发过程中使用到了kafka，又不想自己部署kafka，索性采用k8s部署kafka集群，以求做到随时插拔。

会飞的尼古拉斯·2023-11-11 07:02

在k8s上怎么部署Kafka集群

在Kubernetes上部署Kafka集群的步骤如下:准备好Kubernetes集群并安装kubectl工具。

美丽回忆一瞬间·2023-11-11 07:32

k8s kafka集群连接不上_在K8s下部署Kafka集群

说明今天来记录一下在K8s下部署Kafka集群，本以为K8s发展到今天已经有很多人踩过坑了，安装个Kafka问题也不大，可自己还是遇到了坑o(╥﹏╥)o，由于我的K8s集群是1master多worker

熊凌云·2023-11-11 07:31

k8s kafka集群连接不上_k8s部署Kafka集群

前言本次的目的是通过使用k8s搭建一个三节点的kafka集群，因为kafka集群需要用到存储，所以我们需要准备三个持久卷(PersistentVolume)简称就是PV。

codingdie·2023-11-11 07:31

外部访问K8S集群内部的kafka集群服务 —— 筑梦之路

外部访问k8s中的kafka集群如果直接在云厂商提供的实例上搭建kafka集群可以说很简单，一般不会有什么困难。

筑梦之路·2023-11-11 07:58

k8s集群创建kafka集群暴露外部使用

直接上yaml资源文件创建zookeeper集群资源文件，kubectlapply-fzk-sts.yaml-nnamespaceapiVersion:v1kind:Servicemetadata:name:zookeeper-hslabels:app:zookeeperspec:ports:-port:2888name:server-port:3888name:leader-electioncl

奔跑的窝窝牛·2023-11-11 07:57

外部访问K8S集群内部的kafka集群服务

不许转载kafka部署把kafka部署到k8s后，我们肯定是通过service从k8s外部访问kafaka。这里的service要么是NodePort，要么是LoadBalancer类型。

Michaelwubo·2023-11-11 07:53

消息中间件，RabbitMQ，kafka常见面试题

消息中间件，RabbitMQ，kafka常见面试题文章目录消息中间件，RabbitMQ，kafka常见面试题RabbitMQ，kafkaRabbitMQ和Kafka的相同点有以下几个：消息中间件面试题-

晓的阳·2023-11-11 06:16

Windows 安装 Zookeeper+Kafka（详细）

下载地址https://kafka.apache.org/downloads下载编译好的包，有新版本的话可以下载新版本（按需下载）解压下载后解压（解压到没有空格和特殊符号的目录，否则启动会报错）启动zookeeper

乾坤鸟·2023-11-11 05:11

推荐频道

Kafka权威指南