kafka消息中间件

centos7安装kafka2.2.0

1.安装zookeeper下载地址:https://zookeeper.apache.org/releases.html解压tar-zxvfapache-zookeeper-3.5.10-bin.tar.gz#复制到/usr/localcp-rapache-zookeeper-3.5.10-bin/usr/local/修改配置文件conf/zoo.cfg:cd/usr/local/apache-z
TanYYF·2023-12-27 08:51

CentOS7 安装kafka教程及启动

介绍Kafka是分布式发布-订阅消息系统，最初由LinkedIn公司开发，之后成为之后成为Apache基金会的一部分，由Scala和Java编写。
sunboychenll·2023-12-27 08:51

Centos7安装Kafka2.13-3.0.0

安装前准备二、开始安装一、安装前准备1.安装JDK2.安装Zookeeper：https://blog.csdn.net/qq_42357846/article/details/1208359513.下载Kafka
海螺i·2023-12-27 08:20

centos7安装kafka

安装JDK#查看是否安装了java,如果没有需要先安装javajava-version#安装javayuminstall-yjava-1.8.0-openjdk.x86_64kafka下载地址https
陌北v1·2023-12-27 08:20

初试Kafka

Kafka是一个分布式流处理平台，通常用作消息中间件，它可以处理大规模的实时数据流。
老攀呀·2023-12-27 08:19

CentOs7安装 Kafka

在CentOS7上安装Kafka可以按照以下步骤进行。这里假设您已经在CentOS7系统上安装了Java。如果没有安装Java，请先安装Java。
老攀呀·2023-12-27 08:18

SpringBoot3 整合Kafka

官网：https://kafka.apache.org/documentation/消息队列-场景1.异步2.解耦3.削峰4.缓冲消息队列-Kafka1.消息模式消息发布订阅模式，MessageQueue
Please Sit Down·2023-12-27 08:30

【Redis】一文掌握Redis原理及常见问题

Redis是基于内存数据库，操作效率高，提供丰富的数据结构（Redis底层对数据结构还做了优化），可用作数据库，缓存，消息中间件等。
Henry游戏开发·2023-12-27 08:24

kafka全部数据清空与某一topic数据清空一过期数据清理

1.Kafka全部数据清空kafka全部数据清空的步骤为：停止每台机器上的kafka；删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs
wrr-cat·2023-12-27 07:31

Kafka中的生产者如何处理消息发送失败的情况？

在Kafka中，生产者可以通过以下方式处理消息发送失败的情况：同步发送模式（SyncMode）：在同步发送模式下，生产者发送消息后会阻塞等待服务器的响应。
wzxue1984·2023-12-27 07:31

基于Springboot实现Kafka消费数据

本文介绍使用Kafka监听和订阅两种不同方式进行数据消费1、配置文件spring:kafka:bootstrap-servers:192.168.1.16:9092#消费者consumer:group-id
斌果^O^·2023-12-27 07:31

Kafka

文章目录一、什么是kafka？
·田同学··2023-12-27 07:30

KAFKA

【KAFKA】名词解释（1）Producer：消息生产者，就是向Kafkabroker发消息的客户端。（2）Consumer：消息消费者，向Kafkabroker取消息的客户端。
信仰啊QAQ·2023-12-27 07:30

kafka推送消息失败的问题

项目用的kafka集群由3台机器ABC组成生产者使用的是kafka-client:1.0.0topic没有事先创建，直接使用生产者推送生成，默认创建的topic是1个replication和3个partition
weixin_39694116·2023-12-27 07:00

Kafka+zookeeper安装及sasl认证（二）

kafka安全认证sasl一、环境kafka_2.13-2.8.0，zookeeper-3.6.3（这里不是用kafka自带的zookeeper）二、修改配置文件1、zookeeper配置（三台操作一样
Dylan_666888·2023-12-27 07:29

springboot+kafka消费

监听器importorg.springframework.kafka.annotation.KafkaListener;importorg.springframework.kafka.core.KafkaTemplate
mumuran93·2023-12-27 07:28

Kafka生产者的一个Bug会导致部分消息一直无法发送

最近在看Kafka生产者源码的时候,感觉有个地方可以改进一下,具体的问题和解决方案都在下面。
「已注销」·2023-12-27 07:26

Kafka消息发送失败解决方案

防火墙设置防火墙会屏蔽掉Kafka的访问，如果在内网限制很强的情况下，只能是逐个端口用telnet排查Kafka用到哪些端口，用lsof-i:排查对应进程。
huyl08·2023-12-27 07:55

Kafka高级(5) -- Kafka中数据清理（Log Deletion）

Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。
erainm·2023-12-27 07:55

SpringBoot整合kafka实现批量消费功能

在springboot中通过简单配置可以实现对kafka数据的批量拉取和消费功能，首先需要修改yarn配置文件，我测试服务的配置信息如下：spring:kafka:bootstrap-servers:192.168.1.101
腊笔不小新xingo·2023-12-27 07:54

kafka 延时消息处理

作为一款优秀的消息处理服务，kafka具有完善的事务管理，状态管理和灾难恢复功能
HOLD ON!·2023-12-27 07:23

深入理解Kafka的原理

Kafka是一个高性能、分布式的消息队列系统，被广泛应用于大规模数据流处理的场景中。本文将深入探讨Kafka的原理，包括其核心概念、架构设计以及关键的消息处理流程。
WdzDevops·2023-12-27 07:53

清空kafka数据

一清空kafka数据1关闭kafka2删除kafka存储目录（1）查询server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”（2）删除目录3删除zookeeper
XHW___001·2023-12-27 07:53

Java实现Kafka生产者和消费者的示例

Kafka是一种高性能、分布式的流处理平台，广泛应用于实时数据流处理和消息队列系统。在本文中，我们将介绍如何使用Java语言实现Kafka生产者和消费者，并提供相应的源代码示例。
WdzDevops·2023-12-27 07:23

Kafka 单节点安装和测试

Kafka是一个分布式流处理平台，它具有高吞吐量、可靠性和可扩展性的特点。在本文中，我们将介绍如何在单节点上安装和测试Kafka。我们将涵盖Kafka的安装过程以及如何通过示例代码进行测试。
WdzDevops·2023-12-27 07:23

解决 “kafka-run-class.sh: line : exec: not found“ 问题

当在运行Kafka时遇到“kafka-run-class.sh:line:exec:notfound”错误时，这通常表示脚本无法找到执行命令。这个错误可能是由于路径配置问题或者缺少必要的依赖项引起的。
WdzDevops·2023-12-27 07:23

Zookeeper（Kafka内置）单独添加SASL认证及ACL

这里写自定义目录标题前言Zookeeper（Kafka内置）单独添加SASL认证及ACL创建zk.jaas文件修改zookeeper.properties修改kafka-run-class.sh修改server.properties
Sayai·2023-12-27 07:52

Flume中的Kafka Source：实现数据流的高效采集

其中，Flume中的KafkaSource是一种用于从ApacheKafka中抓取数据的组件，本文将详细介绍如何使用KafkaSource实现数据流的高效采集。
WdzDevops·2023-12-27 07:52

Kafka消费者构建失败的解决方法

在使用Kafka时，有时候我们可能会遇到"FailedtoconstructKafkaconsumer"（无法构建Kafka消费者）的错误。这个错误通常意味着在构建Kafka消费者时出现了问题。
WdzDevops·2023-12-27 07:52

Kafka的分区数设置

Kafka是一个高吞吐量、可持久化、分布式发布订阅消息系统，广泛应用于大规模数据处理和实时流处理场景。在Kafka中，分区是实现消息并行处理和提供高可用性的关键概念之一。
WdzDevops·2023-12-27 07:52

[Kafka集群] 配置支持Brokers内部SSL认证\外部客户端支持SASL_SSL认证并集成spring-cloud-starter-bus-kafka

目录Kafka集群配置准备配置流程Jaas(JavaAuthenticationandAuthorizationService)文件zookeeper配置文件SSL自签名启动zookeeper集群启动kafka
Feeling Fine·2023-12-27 07:22

Kafka SASL安全认证机制与ACL用户权限控制

目录概述说明一、认证二、信道加密三、授权环境搭建（Kafka安全认证SASL/PLAINTEXT）一、Zookeeper集群配置SASL二、Kafka集群配置SASL认证使用一、客户端调用认证二、Kafka
happyterry·2023-12-27 07:22

kafka删除topic消息的三种方式

kafka删除topic消息的三种方式方法一：快速配置删除法（确保topic数据不要了）1.kafka启动之前，在server.properties配置delete.topic.enable=true2
爱折腾的小土豆·2023-12-27 07:22

Kafka消息发送失败的常见原因及解决方案

一、Kafka消息发送失败的常见原因及解决方案1.1、网络故障网络故障是Kafka消息发送失败的最常见原因之一。当网络出现故障时，Kafka就无法将消息发送到目标主题或分区。
qq_44912620·2023-12-27 07:50

Kafka数据清理指南

在本文中，我们将介绍如何使用Kafka进行数据清理。Kafka是一个高性能、分布式的流数据平台，常用于构建实时数据流应用程序。
WdzDevops·2023-12-27 07:19

Spring Boot 整合kafka消费模式AckMode以及手动消费

依赖管理在pom.xml文件中导入依赖org.springframework.kafkaspring-kafka2.5.5.RELEASE配置文件修改需要自己配置AckMode时候的配置spring:application
angelasp·2023-12-27 07:49

Kafka日志

kafka是怎么通过偏移量找到对应的消息？
HannahLi_9f1c·2023-12-27 05:45

【Linux系统基础】（5）在Linux上集群化环境前置准备及部署Zookeeper、Kafka软件详细教程

集群化环境前置准备介绍在前面，我们所学习安装的软件，都是以单机模式运行的。后续，我们将要学习大数据相关的软件部署，所以后续我们所安装的软件服务，大多数都是以集群化（多台服务器共同工作）模式运行的。所以，在当前小节，我们需要完成集群化环境的前置准备，包括创建多台虚拟机，配置主机名映射，SSH免密登录等等。部署配置多台Linux虚拟机安装集群化软件，首要条件就是要有多台Linux服务器可用。我们可以使
老牛源码·2023-12-27 02:49

内网离线搭建之----kafka集群

zookeeper：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gzkafka
落世繁华·2023-12-27 01:02

Apache Kafka CVE-2023-25194（metasploit版）

Step1：用docker搭建环境Step2：docker查看映射端口Step3：访问特定端口，然后靶标应用。Step4：用metasploit进行攻击：首先，打开metasploit，然后查询需要攻击的板块，利用板块。进入到板块以后，我们需要查看配置信息，并且对端口，host，ssl，版本，payload等进行更改。然后修改完成以后，进行攻击。得到shell以后，验证成功。这个漏洞的payloa
22的卡卡·2023-12-27 01:14

docker-compose部署kafka

docker-compose.yml配置version:"3"services:kafka:image:'bitnami/kafka:latest'ports:-'7050:7050'environment
坚持学习永不言弃·2023-12-26 23:36

Kafka概念与基本架构

1.Kafka介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx
左师兄zuosx·2023-12-26 21:01

大数据实战项目 -- 实时数仓

文章目录一、实时数据1.1日志采集器1.1日志生成器1.3日志分发器1.4采集流脚本二、实时采集2.1项目搭建2.2Kafka数据获取2.3Redis数据去重2.4ES数据存储2.5精准一次性消费2.6Kibana
L小Ray想有腮·2023-12-26 18:53

【Java】SpringBoot快速整合Kafka

目录1.什么是Kafka？主要特点和概念：主要组成部分：2.Kafka可以用来做什么？
MXin5·2023-12-26 18:32

【Flink-Kafka-To-Mongo】使用 Flink 实现 Kafka 数据写入 Mongo（根据对应操作类型进行增、删、改操作，写入时对时间类型字段进行单独处理）

【Flink-Kafka-To-Mongo】使用Flink实现Kafka数据写入Mongo（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:15

【Flink-Kafka-To-Mysql】使用 Flink 实现 Kafka 数据写入 Mysql（根据对应操作类型进行增、删、改操作）

【Flink-Kafka-To-Mysql】使用Flink实现Kafka数据写入Mysql（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:08

kafka发送大消息

1kafka消息压缩kafka关于消息压缩的定义（来源于官网）：此为Kafka中端到端的块压缩功能。如果启用，数据将由producer压缩，以压缩格式写入服务器，并由consumer解压缩。
SeaDhdhdhdhdh·2023-12-26 16:54

常见的锁和zookeeper

以后，本来想入门一下Kafka的(装一下环境、看看Kafka一些概念啥的)。后来发现Kafka用到了ZooKeeper，而我又对ZooK
99WOODYXIN·2023-12-26 14:14

kafka安装部署

1、Kafka概述1.1.Kafka简介ApacheKafka是一个开源消息系统、一个开源分布式流平台，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
Guff_hys·2023-12-26 14:00

Kafka Consumer

1.消费者和消费组消费者（Consumer）负责订阅Kafka中的主题（Topic），并且从订阅的主题上拉取消息。消费者并非逻辑上的概念，它是实际的应用实例，它可以是一个钱程，也可以是一个进程。
向梦而来·2023-12-26 14:59
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他