分布式消息系统kafka 第42页

开源的数据流技术，该选择Redpanda还是Apache Kafka？

本文将比较ApacheKafka和Redpanda两种开源的数据流技术，在云原生实时处理能力上的不同，以及如何在项目中做出选择。

c++服务器开发·2023-12-14 20:56

51.Go操作kafka示例（kafka-go库）

文章目录一、简介二、生产者三、消费者代码地址：https://gitee.com/lymgoforIT/golang-trick/tree/master/31-kafka-go一、简介之前已经介绍过一个操作

百里守约学编程·2023-12-14 20:25

【毕业设计】大数据淘宝用户行为数据分析与可视化 - flink

文章目录0前言1、环境准备1.1flink下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、flink-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计：每小时成交量

caxiou·2023-12-14 19:08

Kafka集群调优+能力探底

一、前言我们需要对4个规格的kafka能力进行探底，即其可以承载的最大吞吐；4个规格对应的单节点的配置如下：标准版：2C4G铂金版：4C8G专业版：8C16G企业版：16C32G另外，一般来讲，在同配置下

快乐非自愿·2023-12-14 19:44

SpringBoot集成系列--Kakfa

文章目录一、代码1、添加依赖2、配置kafka3、创建生产者4、创建消费者5、测试二、遇到问题1、couldnotbeestablished.Brokermaynotbeavailable2、Errorwhilefetchingmetadatawithcorrelationidxxx

程序员Forlan·2023-12-14 19:16

Springboot整合Redis实现消息发布订阅

一、前言有时候在实际项目中，某些业务场景下我们需要使用消息的发布订阅功能，以实现某些特殊的需求，那么我们实际上可以有多种选择，比如使用常见的消息中间件Rabbitmq，Kafka，Activemq等，但这几个都算是重量级的消息队列

夜空下的星·2023-12-14 17:25

【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建

文章目录一.kafkakraft集群介绍1.KRaft架构2.Controller服务器3.ProcessRoles4.QuorumVoters5.kraft的工作原理ing二.集群安装1.安装1.1.

roman_日积跬步-终至千里·2023-12-14 13:33

kafka中消息key作用与分区规则关系

在kafka2.0.0的javasdk中org.apache.kafkakafka_2.122.0.0ProducerRecord中类注释如下Akey/valuepairtobesenttoKafka.Thisconsistsofatopicnametowhichtherecordisbeingsent

zlpzlpzyd·2023-12-14 12:48

Kafka -- 初识

目录kafka是什么TopicPartitionBrokerCousumerCousumerGroupOffsetreblancebroker消息存储Isrkafka是什么Kafka是一个分布式的消息引擎

十&年·2023-12-14 12:17

Kafka集成springboot

安装kafka，直接到官网下载bin文件，本文使用windows进行使用kafka。下载之后，第一步，启动zookeeper：zookeeper-server-start.bat..\..

沙糖桔45·2023-12-14 12:46

kafka

KafkaTemplate是SpringKafka中用于发送和接收Kafka消息的类。它提供了多种方法，其中一些常用的方法及其作用如下：send()方法：用于发送消息到Kafka集群中。

啧啧only·2023-12-14 12:41

Kafka Streams：深度探索实时流处理应用程序

ApacheKafkaStreams是一款强大的实时流处理库，为构建实时数据处理应用提供了灵活且高性能的解决方案。

晓之以理的喵~~·2023-12-14 12:41

Kafka 最佳实践：构建可靠、高性能的分布式消息系统

ApacheKafka是一个强大的分布式消息系统，被广泛应用于实时数据流处理和事件驱动架构。为了充分发挥Kafka的优势，需要遵循一些最佳实践，确保系统在高负载下稳定运行，数据可靠传递。

晓之以理的喵~~·2023-12-14 12:41

《Kafka权威指南》读书笔记

《Kafka权威指南》第一、三、四、六章，是重点。可以多看看。一、Kafka的组成kafka是一个发布与订阅消息系统消息：kafka的数据单元称为"消息"。可以把消息看成是数据库中的一个"数据行"。

乐之者v·2023-12-14 12:39

已解决：java.net.ConnectException: Call From XXXXX to XXXXX :8020 failed on connection Exception: 拒绝连接；

整个业务集群呢是在阿里云上搭建的，十几台服务器，在跑flume脚本的时候，发现了一个很奇怪的现象，正常的跑flume的测试脚本，采用loggersink呢，是OK的，但是使用HDFSsink呢，就挂壁了，我又让同事试了下Kafkasink

想做CTO的任同学...·2023-12-14 12:04

kafka学习

一、kafka概念是一种高吞吐量、分布式、基于发布/订阅的消息系统。

CopyLower·2023-12-14 12:55

jdk+zookeeper+kafka 搭建kafka集群

环境准备环境资源包：jdk-8u341-linux-x64.tar.gzkafka_2.12-2.2.0.tgzzookeeper-3.4.14.tar.gzserver-idip状态server110.206.120.10leaderserver210.206.120.2followerserver310.206.120.3follower

givenchy_yzl·2023-12-14 12:21

kafka 详细介绍

目录前言分布式架构：消息发布-订阅模型：持久性存储：分区和副本：水平扩展：高性能：生态系统：我的其他博客前言Kafka是由Apache软件基金会开发的一种开源流处理平台，最初是由LinkedIn公司开发的

不想步入秃头的年龄·2023-12-14 12:37

jmeter简单压测kafka

前言这也是一个笔记，就是计划用jmeter做性能测试，但是这里是只要将数据放到kafka的topic里，后面查看下游业务处理能力。一、方案因为只要实现数据放到kafka，参考了下博友的方案，可行。

肥仔哥哥1930·2023-12-14 12:03

深入浅出分析kafka客户端程序设计 ----- 消费者篇----万字总结

1.Kafka消费者的逻辑配置消费者客户端参数。创建相应的消费者实例。订阅主题。

乖的小肥羊·2023-12-14 12:01

Flume+Kafka双剑合璧玩转大数据平台日志采集

概述大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。一般而言，这些系统需要具有以下特征：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。为此建议将日志采集分析系统分为如下几个模块：数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来

java菜·2023-12-07 00:17

KRaft使用SASL_PLAINTEXT进行认证

可参阅之前学习记录Kafka一、配置首先需要了解SASL的含义，SASL全称为SimpleAuthenticationandSecurityLayer，它主要是用于在客户端和服务器之间提供安全的身份验证机制

言成言成啊·2023-12-06 21:02

service层报错：Invalid bound statement (not found)

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式

飞乐鸟·2023-12-06 21:12

Logstash的使用方法

它可以将来自不同数据源的数据收集、过滤并统一输出到指定的目的地，如Elasticsearch、Kafka等。

跃跃欲试-迪之·2023-12-06 21:58

Kafka Broker 端重要参数

Broker是需要配置存储信息的，即Broker使用哪些磁盘。那么针对存储信息的重要参数有以下这么几个：log.dirslog.dirs：这是非常重要的参数，指定了Broker需要使用的若干个文件目录路径。要知道这个参数是没有默认值的，这说明什么？这说明它必须由你亲自指定。log.dir：注意这是dir，结尾没有s，说明它只能表示单个路径，它是补充上一个参数用的。这两个参数应该怎么设置呢？很简单，

taj3991·2023-12-06 20:21

kafka集群搭建

https://blog.csdn.net/weixin_50642075/article/details/109613621?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1-109613621-blog-124907414.pc

c_gentle·2023-12-06 20:37

Guff_hys·2023-12-06 20:28

Kafka安装与配置-shell脚本一键安装配置（单机版）

文章目录前言使用shell脚本一键安装1.复制脚本2.增加执行权限3.执行脚本4.加载用户环境变量5.启动/停止Kafka内置zookeeper6.启动/停止Kafka单机版总结前言本文介绍了使用Shell

大数据魔法师·2023-12-06 20:21

当Elasticsearch遇见Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，是一种常见的数据源，也是Logstash支持的众多输入输出

程序员日常填坑·2023-12-06 17:29

实时流式计算 kafkaStream

文章目录实时流式计算KafkaStreamKafkaStreams的关键概念KStreamKafkaStream入门案例编写SpringBoot集成KafkaStream实时流式计算一般流式计算会与批量计算相比较流式计算就相当于上图的右侧扶梯

sweetheart7-7·2023-12-06 15:18

flume和kafka整合——采集实时日志落地到hdfs

flume和kafka整合——采集实时日志落地到hdfs一、采用架构二、前期准备2.1虚拟机配置2.2启动hadoop集群2.3启动zookeeper集群，kafka集群三、编写配置文件3.1slave1

奋斗的IT小白菜·2023-12-06 12:39

Kafka consumer的offset的提交方式

Kafkaconsumer的offset提交机制有以下两种手动提交同步提交consumer.commitSync()方式提交异步提交consumer.commitAsync(callback)方式提交自动提交

zy_think123·2023-12-06 12:19

Kafka -基础篇

Kafka初识Kafka是什么Kafka是最初由LinkedIn公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。

~AC~·2023-12-06 11:49

深入理解Spring Kafka中@KafkaListener注解的参数与使用方式

ApacheKafka作为一个强大的消息代理系统，与Spring框架的集成使得在分布式应用中处理消息变得更加简单和灵活。

lizz666·2023-12-06 11:19

windows下安装配置kafka

一、安装zookeeper在使用Kafka之前，通常需要先安装和配置ZooKeeper。ZooKeeper是Kafka的依赖项之一，它用于协调和管理Kafka集群的状态。

熊出没·2023-12-06 11:39

大数据开发：Kafka 异步发送消息可靠性策略

Kafka作为分布式消息队列，对于消息传送有实时传送和异步发送的区别，而异步发送消息，就会涉及到一个很关键的问题，如何保证消息发送的准确性和可靠性。

成都加米谷大数据·2023-12-06 09:59

Docker安装中间件

Docker安装中间件文章目录Docker安装中间件一、准备工作二、安装Mysql-5.6三、安装postgres四、安装Redis五、安装Zookeeper六、安装kafka一、准备工作安装Docker

冬小弟·2023-12-06 08:08

Flink流批一体计算（23）：Flink SQL之多流kafka写入多个mysql sink

目录1.准备工作生成数据创建数据表2.创建数据表创建数据源表创建数据目标表3.计算WITH子句1.准备工作生成数据sourcekafkajson数据格式：topiccase_kafka_mysql：{"

victory0508·2023-12-06 07:55

kafka配置外网访问

为了本地调试方便需要把测试服务器的kafka开放外网连接,本以为很简单的事情卡了好几个小时,主要还是对kafka不了解导致的,特此记录.核心就是两个配置:listeners和advertised.listeners

三川三一宁·2023-12-06 07:46

消息中间件之间的区别

一.单机吞吐量ActiveMQ：万级，吞吐量比RocketMQ和Kafka要低了一个数量级RabbitMQ：万级，吞吐量比RocketMQ和Kafka要低了一个数量级RocketMQ：10万级，RocketMQ

xmh-sxh-1314·2023-12-06 07:25

Springboot：kafka运行成功，报错InvalidTopicException

官方说法：Theclienthasattemptedtoperformanoperationonaninvalidtopic.Forexamplethetopicnameistoolong,containsinvalidcharactersetc.Thisexceptionisnotretriablebecausetheoperationwon'tsuddenlybecomevalid.主题名称太

椰壳子·2023-12-06 06:35

使用 Apache Kafka 进行实时流处理

ApacheKafka是一个开源分布式流处理平台，最初由LinkedIn开发，后来于2011年捐赠给Apache。我们可以将Kafka描述为一个文件集合，其中充满了分布在多台机器上的消息。

wouderw·2023-12-06 05:37

kafka入门(三)：kafka多线程消费

kafka消费积压如果生产者发送消息的速度过快，或者是消费者处理消息的速度太慢，那么就会有越来越多的消息无法及时消费，也就是消费积压。消费积压时，可以使用多线程消费，提高消费速度。

乐之者v·2023-12-06 05:15

学习kafka

一个存放消息的组件生产者，消费者，broker三部分消息队列的两种模式*生产者和消费者（消费者主动拉取信息，然后删除）*发布订阅（）kafka基础架构*一个topic有多个partition（副本（信息非全量

程序猿小蝌蚪黄小帅·2023-12-06 05:42

Python (一) 操作Mysql