【面试专栏】Kafka

KAFKA

【KAFKA】名词解释（1）Producer：消息生产者，就是向Kafkabroker发消息的客户端。（2）Consumer：消息消费者，向Kafkabroker取消息的客户端。
信仰啊QAQ·2023-12-27 07:30

kafka推送消息失败的问题

项目用的kafka集群由3台机器ABC组成生产者使用的是kafka-client:1.0.0topic没有事先创建，直接使用生产者推送生成，默认创建的topic是1个replication和3个partition
weixin_39694116·2023-12-27 07:00

Kafka+zookeeper安装及sasl认证（二）

kafka安全认证sasl一、环境kafka_2.13-2.8.0，zookeeper-3.6.3（这里不是用kafka自带的zookeeper）二、修改配置文件1、zookeeper配置（三台操作一样
Dylan_666888·2023-12-27 07:29

springboot+kafka消费

监听器importorg.springframework.kafka.annotation.KafkaListener;importorg.springframework.kafka.core.KafkaTemplate
mumuran93·2023-12-27 07:28

Kafka生产者的一个Bug会导致部分消息一直无法发送

最近在看Kafka生产者源码的时候,感觉有个地方可以改进一下,具体的问题和解决方案都在下面。
「已注销」·2023-12-27 07:26

Kafka消息发送失败解决方案

防火墙设置防火墙会屏蔽掉Kafka的访问，如果在内网限制很强的情况下，只能是逐个端口用telnet排查Kafka用到哪些端口，用lsof-i:排查对应进程。
huyl08·2023-12-27 07:55

Kafka高级(5) -- Kafka中数据清理（Log Deletion）

Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。
erainm·2023-12-27 07:55

SpringBoot整合kafka实现批量消费功能

在springboot中通过简单配置可以实现对kafka数据的批量拉取和消费功能，首先需要修改yarn配置文件，我测试服务的配置信息如下：spring:kafka:bootstrap-servers:192.168.1.101
腊笔不小新xingo·2023-12-27 07:54

kafka 延时消息处理

作为一款优秀的消息处理服务，kafka具有完善的事务管理，状态管理和灾难恢复功能
HOLD ON!·2023-12-27 07:23

深入理解Kafka的原理

Kafka是一个高性能、分布式的消息队列系统，被广泛应用于大规模数据流处理的场景中。本文将深入探讨Kafka的原理，包括其核心概念、架构设计以及关键的消息处理流程。
WdzDevops·2023-12-27 07:53

清空kafka数据

一清空kafka数据1关闭kafka2删除kafka存储目录（1）查询server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”（2）删除目录3删除zookeeper
XHW___001·2023-12-27 07:53

Java实现Kafka生产者和消费者的示例

Kafka是一种高性能、分布式的流处理平台，广泛应用于实时数据流处理和消息队列系统。在本文中，我们将介绍如何使用Java语言实现Kafka生产者和消费者，并提供相应的源代码示例。
WdzDevops·2023-12-27 07:23

Kafka 单节点安装和测试

Kafka是一个分布式流处理平台，它具有高吞吐量、可靠性和可扩展性的特点。在本文中，我们将介绍如何在单节点上安装和测试Kafka。我们将涵盖Kafka的安装过程以及如何通过示例代码进行测试。
WdzDevops·2023-12-27 07:23

解决 “kafka-run-class.sh: line : exec: not found“ 问题

当在运行Kafka时遇到“kafka-run-class.sh:line:exec:notfound”错误时，这通常表示脚本无法找到执行命令。这个错误可能是由于路径配置问题或者缺少必要的依赖项引起的。
WdzDevops·2023-12-27 07:23

Zookeeper（Kafka内置）单独添加SASL认证及ACL

这里写自定义目录标题前言Zookeeper（Kafka内置）单独添加SASL认证及ACL创建zk.jaas文件修改zookeeper.properties修改kafka-run-class.sh修改server.properties
Sayai·2023-12-27 07:52

Flume中的Kafka Source：实现数据流的高效采集

其中，Flume中的KafkaSource是一种用于从ApacheKafka中抓取数据的组件，本文将详细介绍如何使用KafkaSource实现数据流的高效采集。
WdzDevops·2023-12-27 07:52

Kafka消费者构建失败的解决方法

在使用Kafka时，有时候我们可能会遇到"FailedtoconstructKafkaconsumer"（无法构建Kafka消费者）的错误。这个错误通常意味着在构建Kafka消费者时出现了问题。
WdzDevops·2023-12-27 07:52

Kafka的分区数设置

Kafka是一个高吞吐量、可持久化、分布式发布订阅消息系统，广泛应用于大规模数据处理和实时流处理场景。在Kafka中，分区是实现消息并行处理和提供高可用性的关键概念之一。
WdzDevops·2023-12-27 07:52

[Kafka集群] 配置支持Brokers内部SSL认证\外部客户端支持SASL_SSL认证并集成spring-cloud-starter-bus-kafka

目录Kafka集群配置准备配置流程Jaas(JavaAuthenticationandAuthorizationService)文件zookeeper配置文件SSL自签名启动zookeeper集群启动kafka
Feeling Fine·2023-12-27 07:22

Kafka SASL安全认证机制与ACL用户权限控制

目录概述说明一、认证二、信道加密三、授权环境搭建（Kafka安全认证SASL/PLAINTEXT）一、Zookeeper集群配置SASL二、Kafka集群配置SASL认证使用一、客户端调用认证二、Kafka
happyterry·2023-12-27 07:22

kafka删除topic消息的三种方式

kafka删除topic消息的三种方式方法一：快速配置删除法（确保topic数据不要了）1.kafka启动之前，在server.properties配置delete.topic.enable=true2
爱折腾的小土豆·2023-12-27 07:22

Kafka消息发送失败的常见原因及解决方案

一、Kafka消息发送失败的常见原因及解决方案1.1、网络故障网络故障是Kafka消息发送失败的最常见原因之一。当网络出现故障时，Kafka就无法将消息发送到目标主题或分区。
qq_44912620·2023-12-27 07:50

Kafka数据清理指南

在本文中，我们将介绍如何使用Kafka进行数据清理。Kafka是一个高性能、分布式的流数据平台，常用于构建实时数据流应用程序。
WdzDevops·2023-12-27 07:19

Spring Boot 整合kafka消费模式AckMode以及手动消费

依赖管理在pom.xml文件中导入依赖org.springframework.kafkaspring-kafka2.5.5.RELEASE配置文件修改需要自己配置AckMode时候的配置spring:application
angelasp·2023-12-27 07:49

Kafka日志

kafka是怎么通过偏移量找到对应的消息？
HannahLi_9f1c·2023-12-27 05:45

【Linux系统基础】（5）在Linux上集群化环境前置准备及部署Zookeeper、Kafka软件详细教程

集群化环境前置准备介绍在前面，我们所学习安装的软件，都是以单机模式运行的。后续，我们将要学习大数据相关的软件部署，所以后续我们所安装的软件服务，大多数都是以集群化（多台服务器共同工作）模式运行的。所以，在当前小节，我们需要完成集群化环境的前置准备，包括创建多台虚拟机，配置主机名映射，SSH免密登录等等。部署配置多台Linux虚拟机安装集群化软件，首要条件就是要有多台Linux服务器可用。我们可以使
老牛源码·2023-12-27 02:49

内网离线搭建之----kafka集群

zookeeper：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gzkafka
落世繁华·2023-12-27 01:02

Apache Kafka CVE-2023-25194（metasploit版）

Step1：用docker搭建环境Step2：docker查看映射端口Step3：访问特定端口，然后靶标应用。Step4：用metasploit进行攻击：首先，打开metasploit，然后查询需要攻击的板块，利用板块。进入到板块以后，我们需要查看配置信息，并且对端口，host，ssl，版本，payload等进行更改。然后修改完成以后，进行攻击。得到shell以后，验证成功。这个漏洞的payloa
22的卡卡·2023-12-27 01:14

docker-compose部署kafka

docker-compose.yml配置version:"3"services:kafka:image:'bitnami/kafka:latest'ports:-'7050:7050'environment
坚持学习永不言弃·2023-12-26 23:36

Kafka概念与基本架构

1.Kafka介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx
左师兄zuosx·2023-12-26 21:01

大数据实战项目 -- 实时数仓

文章目录一、实时数据1.1日志采集器1.1日志生成器1.3日志分发器1.4采集流脚本二、实时采集2.1项目搭建2.2Kafka数据获取2.3Redis数据去重2.4ES数据存储2.5精准一次性消费2.6Kibana
L小Ray想有腮·2023-12-26 18:53

【Java】SpringBoot快速整合Kafka

目录1.什么是Kafka？主要特点和概念：主要组成部分：2.Kafka可以用来做什么？
MXin5·2023-12-26 18:32

【Flink-Kafka-To-Mongo】使用 Flink 实现 Kafka 数据写入 Mongo（根据对应操作类型进行增、删、改操作，写入时对时间类型字段进行单独处理）

【Flink-Kafka-To-Mongo】使用Flink实现Kafka数据写入Mongo（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:15

【Flink-Kafka-To-Mysql】使用 Flink 实现 Kafka 数据写入 Mysql（根据对应操作类型进行增、删、改操作）

【Flink-Kafka-To-Mysql】使用Flink实现Kafka数据写入Mysql（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:08

kafka发送大消息

1kafka消息压缩kafka关于消息压缩的定义（来源于官网）：此为Kafka中端到端的块压缩功能。如果启用，数据将由producer压缩，以压缩格式写入服务器，并由consumer解压缩。
SeaDhdhdhdhdh·2023-12-26 16:54

常见的锁和zookeeper

以后，本来想入门一下Kafka的(装一下环境、看看Kafka一些概念啥的)。后来发现Kafka用到了ZooKeeper，而我又对ZooK
99WOODYXIN·2023-12-26 14:14

kafka安装部署

1、Kafka概述1.1.Kafka简介ApacheKafka是一个开源消息系统、一个开源分布式流平台，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
Guff_hys·2023-12-26 14:00

Kafka Consumer

1.消费者和消费组消费者（Consumer）负责订阅Kafka中的主题（Topic），并且从订阅的主题上拉取消息。消费者并非逻辑上的概念，它是实际的应用实例，它可以是一个钱程，也可以是一个进程。
向梦而来·2023-12-26 14:59

Kafka到底会不会丢消息

目录1、kafka是什么一种高吞吐量的分布式、发布订阅消息系统，它可以处理消费者规模的，网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力……以时间复杂度为O(1)的方式提供消息持久化能力
_心碎乌托邦_·2023-12-26 11:47

kafka 面试

1kafka可以脱离zookeeper单独使用吗？为什么？Kafka从版本0.10.1.0开始支持在某些场景下脱离对Zookeeper的依赖，引入了基于Raft协议的KafkaController。
shumeigang·2023-12-26 10:58

【Flink-Kafka-To-Kafka】使用 Flink 实现 Kafka 数据写入 Kafka

【Flink-Kafka-To-Kafka】使用Flink实现Kafka数据写入Kafka1）导入依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-26 07:59

Flink电商实时数仓（六）

交易域支付成功事务事实表从topic_db业务数据中筛选支付成功的数据从dwd_trade_order_detail主题中读取订单事实数据、LookUp字典表关联三张表形成支付成功宽表写入Kafka支付成功主题执行步骤设置
十七✧ᐦ̤·2023-12-26 07:25

Windows下安装单机Kafka环境及配置SASL身份认证

0安装JDKzookeeper和kafka都是java开发的，所以安装前先安装1.8版本以上的jdk，并设置环境变量JAVA_HOME=d:\env\Java\jdk1.8.0_141安装Zookeeper1.1ApacheZooKeeper
qq_34324703·2023-12-26 05:18

【Kafka】Kafka客户端认证失败：Cluster authorization failed.

背景kafka客户端是公司内部基于spring-kafka封装的spring-boot版本：3.xspring-kafka版本：2.1.11.RELEASE集群认证方式：SASL_PLAINTEXT/SCRAM-SHA
喝不完一杯咖啡·2023-12-26 03:24

Kafka基础—4、Kafka Streams & Kafka Connect

Kafka知识库-索引目录一、KafkaStreams1、KafkaStreams简介KafkaStreams是ApacheKafka提供的一个用于处理实时数据流的库。
风不归Alkaid·2023-12-26 02:29

KafkaLog4jAppender

KafkaLog4jAppender是Log4j的一个扩展，它可以将日志信息发送到ApacheKafka。
cong_han·2023-12-26 02:11

DelayQueue和时间轮

www.jianshu.com/p/e0bcc9eae0aehttps://blog.csdn.net/dkfajsldfsdfsd/article/details/88966814时间轮，基于槽的DelayQueue；kafka
NazgulSun·2023-12-26 00:04

Kafka日志文件存储

日志文件kafka在server.properties配置文件中通过log.dir属性指定了Kafka的日志存储路径核心文件1.log文件实际存储消息的日志文件,大小固定1G(参数log.segment.bytes
kk_0910·2023-12-25 23:09

阿里资深架构师整理春招最新面试题汇总：208页核心体系

、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka
写代码的珏秒秒·2023-12-25 23:34

rocketmq

Kafka、RabbitMQ以及RocketMQ的调研对
我的心上人骑着七彩祥云会掉·2023-12-25 23:19
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他