消息系统kafka 第15页

ELK 8.8.1 + Kafka 2.5.0 日志收集架构部署

ELK8.8.1+Kafka2.5.0日志收集架构部署服务版本节点角色分布服务兼容性JDK特殊性官方文档库系统优化部署ES集群1.下载ES源码包2.调整配置文件\$ES\_HOME/config/elasticsearch.yml3

JP.Hu·2024-01-26 19:01

Flink 基础入门

前言SparkStreaming准确来说算是一个微批处理伪实时的做法，可是Flink是真的来一条就会处理一条，而且在SparkStreaming和Kafka进行整合时我们需要手动去管理偏移量的问题，而在

IT领域君·2024-01-26 19:28

【Java程序员面试专栏专业技能篇】Kafka核心面试指引

关于Kafka部分的核心知识进行一网打尽，包括Kafka的基本概念，基本架构，工作流程，存储机制，生产策略和消费策略，通过一篇文章串联面试重点，并且帮助加强日常基础知识的理解，全局思维导图如下所示基本概念从

存在morning·2024-01-26 18:50

面试题-【消息队列】

消息队列问题1如何进行消息队列的技术选型优点解耦（pub/sub模型）异步（异步接口性能优化）削峰使用消息队列的缺点几种消息队列的特性问题2引入消息队列之后该如何保证其高可用性RabbitMQ的高可用kafka

谷新龙001·2024-01-26 16:35

active mq topic消费后删除_Spring cloud stream 整合mq

说明：本案例win10环境测试scs(springcloudstream)整合kfk(kafka)/rbt(rabbitmq)消息生产消费场景流程一、准备中间件环境(kfk/rbt)后续内容提供kfk与

weixin_39794340·2024-01-26 15:35

SpringCloudStream整合MQ（待完善）

概念SpringCloudStream的主要目标是各种各样MQ的学习成本，提供一致性的编程模型，使得开发者能够更容易地集成消息组件（如ApacheKafka、RabbitMQ、RocketMQ）官网地址

kk_0910·2024-01-26 14:27

IBM MQ和kafka区别

IBMMQKafka连接方式socket长连接socket长连接使用方式发布/订阅或者点对点Queue方式，QUEUE只能消费一次，可以用作socket通讯发布/订阅方式

智慧健康·2024-01-26 14:04

Spring-Kafka 3.0 消费者消费失败处理方案

一、背景我们作为Kafka在使用Kafka是，必然考虑消息消费失败的重试次数，重试后仍然失败如何处理，要么阻塞，要么丢弃，或者保存二、设置消费失败重试次数1默认重试次数在哪里看Kafka3.0版本默认失败重试次数为

风萧萧兮s·2024-01-26 14:33

SpringBoot 3.1.7 集成Kafka 3.5.0

一、背景写这边篇文章的目的，是记录我在集成kafka客户端遇到的一些问题，文章会记录整个接入的过程，其中会遇到几个坑，如果需要最终版本，直接看最后一节就行了，感觉Spring-Kafka的文档太少了，如果采用

风萧萧兮s·2024-01-26 14:28

MQ回顾之kafka速通

不定期更新官网概念自查官网：ApacheKafkakafka结构和kafka相关的关键名词有：Producer、Broker、Topic、Partition、Replication、Message、Consumer

明天一定.·2024-01-26 14:28

JVM实战（34）——内存溢出之消息队列处理不当

1.1系统背景这是一个线上的数据同步系统，专门从Kafka消费其它系统送进去的数据，处理后存储到自己的数据库中：就这么简单的一个系统，生产上却时不时报出OOM异常，然后就得重启系统。

smart哥·2024-01-26 14:25

JVM系列-6.java垃圾回收

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话

爱吃芝士的土豆倪·2024-01-26 14:23

面试官问我如何保证Kafka不丢失消息?我哭了！

##kafka如何保证不丢消息ps:这篇文章自我感觉说的很大白话了！希望你们看过了之后能有收获。不了解Kafka的朋友建议先看一看我的下面这几篇文章，第一篇一定要看，其他的可以按需学习。1.[入门篇！

Guide哥·2024-01-26 13:36

Zookeeper集群 + Kafka集群

目录一、概述（一）Zookeeper概述1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点（1）组成（2）全局数据一致（3）更新请求顺序执行（4）数据更新原子性（5）实时性4.Zookeeper数据结构5.Zookeeper应用场景（1）统一命名服务（2）统一配置管理（3）统一集群管理（4）服务器动态上下线（5）软负载均衡6.Zookeeper选举机制（1）第一次启

江南字子川·2024-01-26 09:15

Flink问题解决及性能调优-【Flink不同并行度引起sink2es报错问题】

SETtable.exec.state.ttl=86400s;--24hour,默认:0msSETtable.exec.state.ttl=2592000s;--30days,默认:0msCREATETABLEkafka_table

PONY LEE·2024-01-26 08:12

16、Kafka ------ SpringBoot 整合 Kafka （配置 Kafka 属性及对应的属性处理类解析）

目录配置Kafka及对应的属性处理类配置KafkaKafka配置属性的约定代码演示生产者相关的配置消费者相关的配置代码（配置文件）application.properties配置Kafka及对应的属性处理类配置

_L_J_H_·2024-01-26 07:17

常用MQ产品的对比

原文地址：RocketMQvs.ActiveMQvs.KafkaMessagingProdu

JavaNice哥·2024-01-26 06:52

Windows中Zookeeper与kafka的安装配置

一、Zookeeper安装与使用1.安装包下载直接在官网下载即可ApacheZooKeeper。下载后直接解压到本地即可。2.环境配置1>在目录中下增加data和log文件夹2>解压目录下的conf目录，将目录中的zoo_sample.cfg文件，复制一份，重命名为zoo.cfg(因为bin目录中的zkEnv配置文件中识别的配置文件名称即为zoo.cfg)3>在复制的zoo.cfg文件中将data

这个名字还中·2024-01-26 06:16

15、Kafka ------ SpringBoot 整合 Kafka （自动配置类 KafkaAutoConfiguration 源代码剖析）

目录SpringBoot整合Kafka的自动配置及源代码剖析SpringBoot为Kafka提供的自动配置KafkaAutoConfigurationKafka自动配置类源码解析1、自动配置类：KafkaAutoConfiguration

_L_J_H_·2024-01-26 06:44

Kafka3学习笔记

文章目录一、Kafka概述和入门1、Kafka概述1.1定义1.2消息队列1.3Kafka基础架构2、Kafka快速入门2.1安装部署2.2集群启停脚本3、Kafka命令行操作3.1Topic命令行操作

魅Lemon·2024-01-26 06:03

如何保证消息队列不丢失消息（以kafka为例）

目录一、引言二.持久化存储2.1持久化存储原理：2.2使用示例：1.安装Kafka：2.生产者代码：3.消费者代码：三.消息确认机制3.1消息确认机制原理：3.2使用示例：1.生产者代码：2.消费者代码

喔的喔的嘛呀·2024-01-26 06:56

在linux、window环境搭建kafka环境

一、搭建环境前置准备下载kafka的官网http://kafka.apache.org/downloads根据自己的需求选择版本，安装包不区分linux和windows环境，这一个安装包均可部署。

Everybody_up·2024-01-26 06:25

kafka生产者与消费者

文章目录一、pom.xml依赖包二、yml配置文件三、消费者四、生产者总结提示：这里可以添加本文要记录的大概内容：一、pom.xml依赖包org.springframework.kafkaspring-kafka2.8.0

Ryan成长笔记·2024-01-26 06:55

日志分析系统部署

由于公司的日志需要分析用户的行为，故做了一套从原始数据的分析，到入库，再到显示的基本动作涉及组件有：FileBeat+Kafka+Python+InfluxDB+Grafana+Elasticsearch

韩搏·2024-01-26 06:08

storm trident 一个batch多大

Youcanincreasethebatchsizebychanging"tridentKafkaConfig.fetchSizeBytes"property.Also,batchsizeisrelatedwithnumberofbrokersandnumberofpartitions.Forexample

正居明阳·2024-01-26 04:24

kafka文件存储机制

一，kafka简介Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。

allin8116·2024-01-26 04:42

Zookeeper集群+Kafka集群

ZookeeperZookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。分布式系统管理框架，主要用来解决分布式应用集群中应用系统的数据一致性问题相当于各种分布式应用的注册中心+文件系统+通知机制。本质：用于注册各种分布式应用，存储和管理这些分布式应用的元数据，如果应用或服务本身状态发送变化就会通知客户端。Zookeeper工作机制Zookeeper从设计模式角度来理解

lelelele798·2024-01-26 03:41

橘子皮的实习周记——第一周总结

一周小总结：目前入职上班时间一周，主要内容是对一个项目进行一些基础的添加操作(用领导A的话来说，就是熟悉一下业务)，我最头疼的就是使用kafkahbasehadoop这些技术，对MySQL内的数据进行一个同步

程序员橘子皮·2024-01-26 03:35

说一下的 dubbo 的工作原理？注册中心挂了可以继续通信吗？说说一次 rpc 请求的流程？

面试官心理分析MQ、ES、Redis、Dubbo，上来先问你一些思考的问题，原理（kafka高可用架构原理、es分布式架构原理、redis线程模型原理、Dubbo工作原理），生产环境里可能会碰到的一些问题

kevin0016·2024-01-26 02:04

Flink报错NoSuchMetchod的错误

问题原因一般有两种：确实没有这个jar包导致Flink版本和connector版本不一致导致我的问题是Flink版本和Connector版本不一致导致的，其实Flink服务端用的版本是1.9.0，而kafkaConnector

斗鱼_191f·2024-01-26 02:32

某马头条——day11+day12

实时计算和定时计算流式计算kafkaStream入门案例导入依赖org.apache.kafkakafka-streamsconnect-jsonorg.apache.kafkaorg.apache.kafkakafka-clients

北岭山脚鼠鼠·2024-01-26 01:01

Github 2024-01-19 Java开源项目日报 Top10

目录JDK：Java开发的开源项目Conductor:NetflixAnnouncementandCommunitySupportQuarkus:超音速亚原子级JavaApacheKafka管理的Web

bfu_努力进大厂送外卖的Z·2024-01-26 00:21

大数据开发之Spark（spark streaming）

sparkstreaming支持的数据源很多，例如：kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如：map、reduce、join、window等进行计算。

Key-Key·2024-01-25 21:07

《深入浅出》Apache Kafka实战

2011年年初，美国领英公司(LinkedIn)开源了一款基础架构软件，以奥地利作家弗兰兹.卡夫卡(FranzKafka)的名字命名，之后LinkedIn将其贡献给Apache基金会，随后该软件于2012

Java架构互联网大数据·2024-01-25 20:00

RocketMQ面试题及答案

kafka：scala开发，面向日志，功能丰富，性能最高，当你的业务

会_飞_的猪·2024-01-25 19:51

Obsidian笔记软件结合cpolar实现安卓移动端远程本地群晖WebDAV数据同步

檀越剑指大厂·2024-01-25 17:51

银行数据仓库体系实践（5）--数据转换

数据转换作业主要是指在数据仓库内的结构化数据批量加工，对于非结构化数据以及在线查询接口、数据流的开发主要是遵循代码开发规范以及各中间件的开发规范，如使用java来开发遵守java开发规范，使用Kafka

南极找南·2024-01-25 17:21

Kafka为什么高吞吐量

1、顺序读写kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能，顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写。

黄国海Argo·2024-01-25 16:04

记一次Kafka warning排查过程

1、前因在配合测试某个需求的时候，正好看到控制台打印了个报错，如下：2023-03-0617:05:58,565[325651ms][pool-28-thread-1][org.apache.kafka.common.utils.AppInfoParser

AlaGeek·2024-01-25 14:06

flink-17 flink集成kafka

flink集成kafka前言kafka作为flink的sourcekafka作为flink的sinkpom依赖官网前言Flink提供了一个特有的kafkaconnector去读写kafkatopic的数据

爱吃甜食_·2024-01-25 14:55

谈谈 RocketMQ 5.0 分级存储背后一些有挑战的技术优化

这篇文章就跟大家探讨下，在消息系统这样一个数据密集型应用的模型下，技术架构选型的分析与权衡，以及分级存储实现与未来演进，让云计算的

阿里云云原生·2024-01-25 13:01

【Kafka技术专题】核心技术原理分析和介绍

Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统，它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。它可以让你持久化收到的记录流，从而具有容错能力。

洛神灬殇·2024-01-25 13:10

【Flink-1.17-教程】-【四】Flink DataStream API（7）输出算子（Sink）

【Flink-1.17-教程】-【四】FlinkDataStreamAPI（7）输出算子（Sink）1）连接到外部系统2）输出到文件3）输出到Kafka4）输出到MySQL（JDBC）5）自定义Sink

bmyyyyyy·2024-01-25 12:08

kafka-顺序消息实现

kafka-顺序消息实现场景在购物付款的时候，订单会有不同的订单状态，对应不同的状态事件，比如：待支付，支付成功，支付失败等等，我们会将这些消息推送给消息队列，后续的服务会根据订单状态进行不同的业务处理

iiaythi·2024-01-25 10:03

kafka身份认证 maxwell_学会使用Kafka（十二）Kafka认证与授权

Kafka的认证机制概述GSSAPI：使用的Kerberos认证，可以集成目录服务，比如AD。

weixin_39844267·2024-01-25 10:03

10分钟学会消息队列Kafka

Kafka初识Kafka创建配置Kafka创建发送消息的生产者创建消费消息的消费者初识KafkaKafka是一个分布式流式处理平台。这到底是什么意思呢？

进击的官工·2024-01-25 10:03

一篇文章教你快速学会Kafka参数调优实战

附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读书籍书单大全：书单导航页（点击右侧极客侠栈即可打开个人博客）：极客侠栈①【Java】学习之路吐血整理技术书从入门到进阶最全50+本（珍藏版)②【算法数据结构+acm】从入门到进阶吐血整理书单50+本（珍藏版)③【数据库】从入门到进阶必读18本技术书籍网盘吐血整理网盘(珍藏版)④【Web前端】从HTML到JS到AJ

数据结构大师·2024-01-25 10:03

kafka为什么不支持读写分离？

kafka为什么不支持读写分离？在kafka中，生产者写入消息，消费者读取消息的操作都是与leader副本进行交互的，从而实现的是一种主写主读的生产消费模型。kafka不支持读写分离，也就是主写从读。

乐之者v·2024-01-25 10:33

一篇文章学会Kafka

消息队列组件Kafka一、Kafka概述二、Kafka基础架构三、Kafka快速入门1.Topic操作命令2.Producer操作命令3.consumer操作命令四、Kafka生产者1.生产者分区2.ACK

Aimyon_36·2024-01-25 10:00

Kafka常见topic命令

Kafka的基本操作1kafka的topic的操作topic是kafka非常重要的核心概念，是用来存储各种类型的数据的，所以最基本的就需要学会如何在kafka中创建、修改、删除的topic，以及如何向topic

小小大数据·2024-01-25 10:30

推荐频道

消息系统kafka