中间件-Kafka

Kafka 如何保证数据不丢失？不重复

1.高可用型配置：acks=all，retries>0retry.backoff.ms=100(毫秒)(并根据实际情况设置retry可能恢复的间隔时间)优点：这样保证了producer端每发送一条消息都要成功，如果不成功并将消息缓存起来，等异常恢复后再次发送。缺点：这样保证了高可用，但是这会导致集群的吞吐量不是很高，因为数据发送到broker之后，leader要将数据同步到fllower上，如果网
优秀后端工程师·2024-09-06 15:23

【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？

作者名称：夏之以寒作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景
夏之以寒·2024-09-06 14:16

如何查看当前的gruop_id 的kafka 消费情况 这个可以查看到是否存在消费阻塞问题

如何查看当前的gruop_id的kafka消费情况这个可以查看到是否存在消费阻塞问题命令如下:/kafka/bin/kafka-consumer-groups.sh--bootstrap-server127.0.0.1
树下水月·2024-09-06 08:02

kafka单机安装

kafka单机安装下载地址官网：https://kafka.apache.org/最新版本下载页面：https://kafka.apache.org/downloads说明版本选择：3.0.0，kafka
shuair·2024-09-06 08:02

Kafka-设计原理

ControllerLeader-PartitionRebalance消息发布机制HW与LEO日志分段ControllerKafka核心总控制器Controller：在Kafka集群中会有一个或者多个broker
姜希成·2024-09-06 07:59

Spark与Kafka进行连接

在Java中使用Spark与Kafka进行连接，你可以使用SparkStreaming来处理实时流数据。以下是一个简单的示例，展示了如何使用SparkStreaming从Kafka读取数据并进行处理。
傲雪凌霜，松柏长青·2024-09-06 07:27

Kafka

Kafka是一个高性能的分布式消息队列系统，最初由LinkedIn开发，后来成为Apache软件基金会的一部分。Kafka设计用于处理大规模的数据流，提供高吞吐量、低延迟的消息传递机制。
傲雪凌霜，松柏长青·2024-09-06 07:57

Python 全栈系列266 Kafka服务的Docker搭建

测试也接近了kafka官方标称的性能。考虑到网络、消息的大小等因素，可以简单认为kafka的速度是10万/秒级的。
yukai08008·2024-09-06 06:26

软考高级架构师/分析师论文【论软件系统架构评估/架构评估方法】

该项目主要为公司混合云平台提供基础设施、中间件、负载均衡、任务管理等功能。我作为该项目的系统架构师，主要负责架构设计、架构评估等工作。
saikey0379·2024-09-06 06:52

Canal同时监控两个mysql的binlog并同步至一个topic中

准备:安装canal(博主canal版本1.1.5)安装kafka,做接收binlog日志数据用(博主kafka版本2.11)安装两个msyql,相当于两个mysql数据库(博主mysql版本5.1.0
梦见伊兮伊不觉·2024-09-06 00:45

canal-adapter消费Kafka中MySQL的binlog数据，却没有同步更新Elastic search

背景在同步MySQL数据到ES的场景中，选择了canal组件同步数据。问题描述在同步的时候发现canal-adapter中canal-adapter/conf/es7/product.yml配置文件中sql语句连表查询的时候会出现无法更新Elasticsearch中数据的情况，而且日志没有提示异常（idea启动的时候有错误日志），令人百思不得其解。问题分析初步估计是内部解析yml的时候出错了，但具
iiopsd·2024-09-06 00:42

第十九章 rust服务器开发：axum框架详解

注意本系列文章已升级、转移至我的自建站点中，本章原文为：rust服务器开发：axum详解目录注意一、前言二、基本使用三、路由定义四、参数提取五、响应体六、共享状态七、中间件一、前言因为rust拥有着极高的性能
余识-·2024-09-05 23:05

Kafka的事务实现

Kafka的事务Kafka的事务解决的问题和RocketMQ是不太一样的。RocketMQ中的事务，它解决的问题是，确保执行本地事务和发消息这两个操作，要么都成功，要么都失败。
Mirana_77·2024-09-05 15:43

springboot整合kafka

文章目录步骤一：添加依赖项步骤二：配置Kafka步骤三：创建一个生产者步骤四：创建一个消费者本教程将介绍如何在SpringBoot应用程序中使用Kafka。
##明天·2024-09-05 15:42

SpringBoot整合Kafka

安装windows版安装包下载地址：https://kafka.apache.org/downloads下载完毕后得到tgz压缩文件，使用解压缩软件解压缩即可使用，解压后得到如下文件建议使用windows
ITBOY_ITBOX·2024-09-05 15:42

1+X云计算运维与开发(中级)实战案例——Kafka集群部署

前言Kafka是一种开源的流处理平台和消息系统，被设计用于构建实时数据管道和流式应用程序，可以处理大规模的实时数据流，并提供高吞吐量、持久性存储和分布式处理能力。
kuuuugua·2024-09-05 15:41

springcloud中间件

概述毫无疑问，SpringCloud是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技术。不过大多数讲解还停留在对SpringCloud功能使用的层面，其底层的很多原理，很多人可能并不知晓。因此本文将通过大量的手绘图，给大家谈谈SpringCloud微服务架构的底层原理。实际上，SpringCloud是一个全家桶式的技术栈，包含了很多组件。本文先从其最核心的几个组件入手，来剖析一下其底层的工
斯巴达的男人·2024-09-05 14:06

kafka消费者重复消费同一个topic

场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用，发现会发生后起来的应用消费不到数据。
小琳ai·2024-09-05 10:06

2、mysql-canal-zk-kafka-es数据同步

方案总体介绍：通过zookeeper管理canal和kafka集群,zk本身也做集群配置；通过canal作为mysql的从库实时读取binlog，然后将数据以json格式发送到kafka平台，会有一个专门消费
kobe0429·2024-09-05 08:01

SpringBoot 集成 kafka，并消费历史事件

SpringBoot集成kafka，并消费历史事件消费历史事件上一篇文章我们讲的是SpringBoot集成kafka消费最新的事件，如果没有看过的小伙伴可以看这篇文章：SpringBoot集成kafka
晚枫2000·2024-09-05 05:39

2022年最新阿里Java高级岗200+面试题，掌握80%进阿里没问题

2022年更新的阿里集团Java岗JD标准，信息来源于阿里集团的招聘专场，包括天猫、蚂蚁金服、中间件团队的高级Java、技术专家岗位。
繁华哟·2024-09-05 05:08

Kafka

/kafka-console-consumer.sh--zookeeperlocalhost:2181--from-beginning--topict1/opt/kafka_2.13-3.1.0/bin
墨咖·2024-09-05 04:58

logstash

kafkainput{kafka{bootstrap_servers=>"127.0.0.1:9092"topics=>["SCHOOL_AQDL"]group_id=>"logstash-group"consumer_threads
墨咖·2024-09-05 03:54

【Docker系列】docker缓存详解

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室·2024-09-05 02:45

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十四）

terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件
向往风的男子·2024-09-05 00:07

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十九）

terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件
向往风的男子·2024-09-05 00:07

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二）

terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件
向往风的男子·2024-09-05 00:37

EMR组件部署指南

本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso·2024-09-05 00:05

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十三）

terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件
向往风的男子·2024-09-04 23:02

Seata 分布式事务控制

概述Seata是阿里巴巴和蚂蚁集团内部开发了分布式事务中间件，用于解决电商、支付、物流等业务场景中应用数据的一致性问题，2023年10月，为了更好的通过社区驱动技术的演进，阿里和蚂蚁集团正式将Seata
动物园首领·2024-09-04 22:24

kafka集群搭建

Kafka集群搭建一、概念说明它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。
java皮皮虫·2024-09-04 16:48

springboot集成Kafka

kafka:#kafka的连接地址（注意，是kafka所在服务器的公网ip，不要写成zookeeper的了）bootstrap-servers:localh
Maruko310·2024-09-04 16:48

Kafka学习

1、kafka集群配置①需要提前配置zookeeper环境②配置环境变量，与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT
nlhkfcdxb·2024-09-04 16:48

Kafka~Kafka命令行参数使用教程

一、kafka-topics.sh1.参数参数描述–bootstrap-server连接的KafkaBroker主机名称和端口号–topic操作的topic名称–create创建主题–delete删除主题
飞Link·2024-09-04 15:14

kafka单条消息太大引起的线上故障

问题现象1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下org.apache.flink.streaming.connectors.kafka.FlinkKafkaException
ab342173024·2024-09-04 15:44

多图详解kafka生产者消息发送过程

:fire:《Kafka运维管控平台LogiKM》:fire::pencil2:更强大的管控能力:pencil2::tennis:更高效的问题定位能力:tennis::sunrise:更便捷的集群运维能力
JAVAQXQ·2024-09-04 15:13

kafka ---- producer与broker配置详解以及ack机制详解

一、producer配置1、bootstrap.serverskafkabroker集群的ip列表，格式为：host1:port1,host2:port2,…2、client.id用于追踪消息的源头3、
husterlichf·2024-09-04 15:41

kafka单条消息过大发送失败

一、背景生产环境中使用kafka作为消息队列，生产者发送消息失败，查询报错日志，得到如下输出：Causedby:org.springframework.kafka.KafkaException:Sendfailed
hungteshun·2024-09-04 15:11

SpringBoot中如何使用RabbitMq

一，RabbitMQ简介和基本概念RabbitMQ是一个开源的消息中间件，基于AMQP（高级消息队列协议）实现。
shenzhenNBA·2024-09-04 07:20

RabbitMQ之旅（一）：AMQP协议是什么

最近在学习RabbitMQ消息中间件，而RabbitMQ是AMQP的标准实现。要了解RabbitMQ，必须先了解AMQP协议。
xuweizhen·2024-09-04 06:15

详说Express路由

还可以使用app.all()处理所有的HTTP方法，并使用app.use()将中间件指定为回调函数。这些路由方法指定在应用程序收到对指定路由（端点）和HTTP方法的请求
圆滚滚肉肉·2024-09-04 05:31

RabbitMQ和Kafka的区别

Kafka:基于分布式流平台设计，强调高吞吐量和可扩展性。数据以“主题”（Topics）为基础，生产者将消息发送到主题，消费者从主题读取消息。消息按时
知知之之·2024-09-04 00:35

阿里云服务器内存型r7、r8a、r8y实例区别参考

属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格，相比于活动内的经济型e、通用算力型u1实例来说，这些实例规格等性能更强，与计算型和通用型相比，它的内存更大，因此这些内存型实例规格主要适用于数据库、中间件和数据分析与挖掘
阿里云最新优惠和活动汇总·2024-09-03 22:41

二、Prometheus常用exporter安装详解

elasticsearch_exporter1.安装配置2.节点添加3.状态查询三、redis_exporter1.安装配置2.节点添加3.状态查询四、rabbitmq_exporter1.安装配置2.节点添加3.状态查询五、kafka_exporter1
Spring雷·2024-09-03 19:34

面试宝典第三话 -- 如果系统QPS突然提升10倍该怎么处理?

1.2负载均衡使用负载均衡中间件（如Nginx）将流量
有头发的程序猿!·2024-09-03 19:02

hyperf 中间件

中间件原理图中间件主要用于编织从请求(Request)到响应(Response)的整个流程，通过对多个中间件的组织，使数据的流动按我们预定的方式进行，中间件的本质是一个洋葱模型图中的顺序为按照Middleware1
胡萝卜的兔·2024-09-03 16:45

Nginx中间件配置

Nginx中间件配置概要相关内容技术细节链接概要用于Linux服务器，Nginx中间件搭建。
message丶小和尚·2024-09-03 12:48

Kafka原理生产过程的几张图解

11.png（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多
一个人一匹马·2024-09-03 11:11

消息中间件概述

什么是JMSJava消息服务（JavaMessageService）即JMS，是一个Java平台中关于面向消息中间件的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。
小孩真笨·2024-09-03 08:36

【Kafka】怎么解决Kafka消费者消费堆积问题？

文章目录一、引言二、Kafka消费堆积原因分析三、解决方案1.重制消费点位2.增加消费者数量3.优化消费能力四、重制消费点位五、增加消费者数量六、优化消费能力七、总结八、参考文献九、附录摘要：在分布式系统中
程序者王大川·2024-09-03 07:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他