消息系统kafka

kafka学习笔记（一）--脑裂

我知道你想裂，但你先别裂目录脑裂Kafka脑裂实验Kafka如何防止脑裂--LeaderEpochepoch的局限性ISR列表ISR列表的伸缩机制脑裂用集群部署的大多数的分布式系统无可避免会面临脑裂问题
exp1997·2023-11-27 17:25

filebeat报错dropping too large message of size

filebeat报错：droppingtoolargemessageofsize1714620.原因：kafka对每一条消息的大小进行了限制。
小韩加油呀·2023-11-27 17:23

JVM-排查工具

ps-eLf|greppid查看进程的所有线程jps-l11839kafka.Kafka54578kafka.Kafka99593--processinformationunavailable11417org.tanukisoftware.wrapper.WrapperSimpleApp67658
沉淀_0x0·2023-11-27 16:26

【docker系列】docker高阶篇

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-11-27 15:09

记一次处理大数据而导致的内存溢出问题

问题订单服务通过MQ进行订单同步时，刚启动可以正常消费，但是跑一会就会卡住，每次都是第8个kafka分区不行再进行消费，其他分区消费的很慢。
小豆瓣的靳先生·2023-11-27 15:37

ELK+kafka+filebeat企业内部日志分析系统

1、组件介绍1、Elasticsearch：  是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。2、Logstash:
小李不怕黑·2023-11-27 14:47

kafka kraft 集群搭建保姆级教学 包含几个踩坑点

一.为啥弃用zookeeperkafka弃用ZooKeeper而采用KRaft的主要原因是为了改进Kafka集群的可靠性和可管理性。
我才是真的封不觉·2023-11-27 14:16

Kafka 设计原理

文章目录1、Kafka使用场景2、Kafka架构2.1、工作流程2.2、副本机制2.3、生产者2.3.1、生产方式2.3.2、分区策略Round-robinRandomnessKey-ordering2.4
摸鱼呀·2023-11-27 10:20

spring boot整合kafka以及kafka设计原理详解

springboot整合kafka以及kafka设计原理详解Java客户端访问KafkaSpringBoot整合KafkaKafka设计原理详解Kafka核心总控制器ControllerController
yemuxiaweiliang·2023-11-27 10:19

Kafka分布式设计原理

Kafka是啥Kafka是一个由Scala语言开发的，多分区，多副本，可扩展，分布式流式平台。
夜晚在编程·2023-11-27 10:16

Kafka基本原理详解

一、概念理解Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景
昙花逐月·2023-11-27 10:46

kafka基本操作以及kafka-topics.sh 使用方式

文章目录1kafka的基本操作1.1创建topic1.2查看topic1.3查看topic属性1.4发送消息1.5消费消息2kafka-topics.sh使用方式2.1查看帮助2.2副本数量规则2.3创建主题
路飞H·2023-11-27 10:44

kafka开发环境搭建

文章目录1安装java环境1.1下载linux下的安装包1.2解压缩安装包1.3解压后的文件移到/usr/lib目录下1.4配置java环境变量2kafka的安装部署2.1下载安装kafka2.2配置和启动
路飞H·2023-11-27 10:14

深入kafka设计原理-为什么选择kafka

kafka基础概念-为什么选择kafkakafka应用场景kafka是LinkedIn最初设计并开源出来的分布式事件流平台,它主要支持发布和订阅消息、持久存储消息以及追溯事件流等.kafka生态非常的成熟
EinarZhang·2023-11-27 10:12

kafka的设计原理

文章目录1Kafka简介2Kafka的架构2.1Kafka一些重要概念2.2工作流程2.3副本原理2.4分区和主题的关系2.5生产者2.5.1分区可以水平扩展2.5.2分区策略2.6消费者2.6.1消费方式
路飞H·2023-11-27 10:09

【docker系列】docker命令篇

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-11-27 09:57

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

一、Kafka是什么？有人说世界上有三个伟大的发明：火，轮子，以及Kafka。
Java李太白·2023-11-27 08:07

go-zero微服务到k8s部署应有尽有系列（八）消息、延迟、定时队列

八、消息、延迟、定时队列本项目地址:https://github.com/Mikaelemmmm/go-zero-looklook1、概述消息队列有很多种，有rabbitmq、rocketmq、kafka
Mikaelemmmm·2023-11-27 07:49

面试为啥都问Kafka？赶紧补一下

目录一、理解Kafka集成模式1.1什么是Kafka？1.2以下是Kafka的关键概念：二、为什么需要批处理和流处理？
哪 吒·2023-11-27 07:42

MQ黄金三剑客：RabbitMQ、RocketMQ和Kafka深入解密常见问题及功能对比指南

1、消息丢失问题RabbitMQ解决消息丢失的问题：RabbitMQ通过消息持久化和消息确认机制来确保消息的可靠传递。生产者可以选择将消息标记为持久化，使得即使在消息队列服务器故障后，消息也能被保存并传递给消费者。RabbitMQ还提供了多种消息确认机制，如发布确认（PublishConfirm）和事务机制（Transaction），生产者可以通过这些机制获取消息是否成功被RabbitMQ接收和处
玄明Hanko·2023-11-27 07:41

消息队列中数一数二的“运动健将”Kafka，解密Kafka高性能背后的秘密

介绍说起Kafka很多同学都知道，即使你没有用过也知道，它是消息队列中数一数二的运动健将，他可以承载每秒钟上百万此的数据处理，但问什么Kafka可以这么快呢？
-JAVA高级架构·2023-11-27 07:10

解密Kafka主题的分区策略：提升实时数据处理的关键

目录一、Kafka主题的分区策略概述1.1什么是Kafka主题的分区策略？1.2为什么分区策略重要？
哪 吒·2023-11-27 07:09

上传在线图片到阿里云oss(使用亚马逊的SDK)

先将获取到的图片上传到oss，然后再将图片地址写入到kafka中。上次我们在这一篇上传在线图片到阿里云oss(使用阿里云的SDK)中有说过，可能会切换成亚马逊的SDK。
一枚开发小咸鱼·2023-11-27 06:06

Golang使用RabbitMQ的四种工作模式

Golang使用RabbitMQ1、RabbitMQ简介1.1、RabbitMQ介绍RabbitMQ2007年发布，是一个在AMQP(高级消息队列协议)基础上完成的，可复用的企业消息系统，是当前最主流的消息中间件之一
明明就他比较温柔·2023-11-27 06:41

kafka2.x常用命令：创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费

原创/朱季谦接触kafka开发已经两年多，也看过关于kafka的一些书，但一直没有怎么对它做总结，借着最近正好在看《ApacheKafka实战》一书，同时自己又搭建了三台kafka服务器，正好可以做一些总结记录
朱季谦·2023-11-27 06:01

走近科学之《apache kafka 的秘密》

Approachingscience《thesecretofapachekafka》简介、架构设计、broker、producer、consumer、配置参数、调优1、kafka简介1.1、kafka定义
红衣女妖仙·2023-11-27 03:44

【数据中台】开源项目（2）-Dbus系统架构

大体来说，Dbus支持两类数据源：RDBMS数据源日志类数据源1RMDBMS类数据源的实现以mysql为例子.分为三个部分：日志抽取模块(最新版DBus已经废弃该模块，使用canal直接输出到kafka
码农丁丁·2023-11-27 00:07

【Kafka从入门到放弃系列 一】Kafka概述及基本架构

从今天开始更新一些业务常用到的中间件的学习，Redis已经进行了几篇了Kafka也开个头吧，计划总共用五篇博客来学习和了解这个消息框架，当然一开始不会花太多的精力去深入探究，自己整理了一个学习路线大纲，
南国_之恋·2023-11-27 00:49

真不愧是阿里技术专家，kafka解析的太透彻了，这份笔记简直太香了！

而Kafka是一个分布式的基于发布订阅的消息队列，目前它的魅力是无穷的，对于Kafka的奥秘，还需要我们细细去探寻。
互联网架构小马·2023-11-27 00:48

深入理解Kafka核心设计与实战原理 笔记

kafka主要参考《深入理解Kafka核心设计与实战原理》、网络课程、kafka源码和本地调试书中源码地址https://github.com/hiddenzzh/kafka_book_demo1.思维导图
tcoding·2023-11-27 00:10

【微服务消息中间件】Kafka概述与原理

一、参考资料1.kafka设计与原理Kafka设计与原理详解_HeavenWang的专栏-CSDN博客_kafka原理一、Kafka简介1.1背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息
后端研发Marion·2023-11-27 00:38

Kafka原理的探究

目录1.kafka吞吐量高的原因2.kafka生产数据时的分组策略3.kafka如何保证数据的生产完成
数据与后端架构提升之路·2023-11-27 00:06

探究Kafka原理-5.Kafka设计原理和生产者原理解析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成2023
爱吃芝士的土豆倪·2023-11-27 00:33

如何用GO实现一个tail -f功能以及相应的思维发散

如果你用过ELK里的beats/filebeat的话,应该知道filebeat做的事情就是监控日志变化,并把最新数据,按照自定义配置处理后,发送给ElasticSearch/kafka/..
wangyishufan·2023-11-26 23:52

Go websocket 聊天室demo2

如图：cliantA->ServerA----推送消息到kafka---->推送消息到服务A和B---->服务AB都去寻找自己的client集合------>发送消息给具体的客户端【有可能是广播也可能是指定具体的用户
dz45693·2023-11-26 23:50

Kafka面试题

kafka为什么吞吐量大？Kafka能够实现高吞吐量的原因有几个关键点：分布式架构：Kafka采用分布式架构，可以横向扩展到多个Broker节点，每个节点可以承载多个分区和副本。
JebLin02·2023-11-26 23:49

ELK + kafka + filebeat日志采集平台搭建

ELK+kafka+filebeat日志采集平台搭建环境信息软件装备所有节点安装jdkkafka\zookeeper安装解压软件包安装zookeeperkafka安装安装elasticsearch并配置安装
苍穹笑·2023-11-26 22:00

面试官：java如何实现线程间通信？

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-11-26 21:53

ELK+kafka+filebeat企业内部日志分析系统

1、组件介绍1、Elasticsearch：  是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。2、Logstash:
孤雅738·2023-11-26 21:49

【Kafka】无鉴权追溯客户端来源

1.背景虽然Kafka-0.9.0之后增加了权限认证体系，但是笔者发现依然有大部分用户没有启用权限认证，有时需要追溯客户端来源时无法快速定位，借助Kafka中文社区与大家分享一下笔者的经历。
扬_帆_起_航·2023-11-26 21:58

ES8生产实践——pod日志采集（ELK方案）

方案采集介绍方案简介面对大规模集群海量日志采集需求时，filebeat相较于fluentbit拥有更高的性能，因此可以通过daemonset方式在每个k8s节点运行一个filebeat日志采集容器，用于采集业务容器产生的日志并暂存到kafka
崔亮的博客·2023-11-26 21:01

大数据相关开源项目及组件汇总

调度与管理服务文件系统数据搜集消息系统内存技术数据处理查询引擎分析和报告工具机器学习开发平台目录图：类别开源项目调
万州客·2023-11-26 21:35

Kafka架构介绍

1.kafka是什么？使用场景？kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。
乔一波一·2023-11-26 20:44

storm整合kafka

maven4.0.0storm-kafka-mysqlstorm-kafka-mysql0.0.1-SNAPSHOTjarstorm-kafka-mysqlUTF-8javaxjavaee-api8.0providedorg.glassfish.webjavax.servlet.jsp.jstl1.2.2org.apache.stormstorm-core0.9.5provided
小猪Harry·2023-11-26 19:53

大数据集群高可用组建搭建部署

tar.gzspark-2.2.0-bin-hadoop2.7.tgzhbase-1.2.1-bin.tar.gzhadoop-2.8.1.tar.gzapache-hive-1.2.1-bin.tar.gzkafka
Big-Hadoop·2023-11-26 19:18

【redis】Stream、String、Scan 超详细介绍

XREADGROUP通过消费者组消费XACK确认消息消费者组示例1.4XPENDING和XCLAIM认领其他消费者的待处理消息XPENDINGXCLAIM1.5XINFOSTREAM做可观察性1.6和Kafka
呆呆的猫·2023-11-26 18:04

kafka 集群 KRaft 模式搭建

ApacheKafka是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序Kafka官网：https://kafka.apache.org/Kafka在2.8版本之后
悟世君子·2023-11-26 16:54

bug记录

问题记录kefka-eagle-webUI页面显示问题解决;修改C:\Windows\System32\drivers\etc路径下的hosts文件添加如下映射:127.0.0.1localhostkafka
卷不动的打工仔·2023-11-26 16:24

Kafka 集群如何实现数据同步

Kafka介绍Kafka是一个高吞吐的分布式消息系统，不但像传统消息队列（RaabitMQ、RocketMQ等）那样能够【异步处理、流量消峰、服务解耦】还能够把消息持久化到磁盘上，用于批量消费。
!chen·2023-11-26 14:18

消息队列-Kafka消息顺序问题

为什么mq会产生消息顺序问题产生背景：消费者集群Mq服务端是集群单个消费者情况下，mq的队列会根据先进先出的原则，消费的顺序是不会被打乱的。但是当我们的生产者往同一个队列存放的消息的行为不统一，可能会存在消息顺序的问题。为什么多个mq服务端（broker），单个消费者消费消息会存在消息顺序问题？答：因为我们的投递消息分别存放在多个不同的broker存放，单个消费者获取所有的broker建立长连接，
kaico2018·2023-11-26 14:16
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他