Kafka原理解析

【时光记：2023的心灵旅程】

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-15 18:16

ActiveMQ 学习笔记

ActiveMQ学习笔记ActiveMQ介绍MQ是消息中间件，是一种在分布式系统中应用程序借以传递消息的媒介，常用的有ActiveMQ，RabbitMQ，kafka。
须臾亦无穷·2024-01-15 16:57

Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for...

Exceptioninthread"main"kafka.zookeeper.ZooKeeperClientTimeoutException:Timedoutwaitingforconnectionwhileinstate
尘埃里的玄·2024-01-15 16:02

原型设计工具Axure RP结合内网穿透实现本地web页面公网访问协同办公

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-15 15:48

几种mq实现延迟队列的方式

文章目录rocketmq：延时消息rabbitmq：死信队列kafka方案：多级分区举例优点rocketmq：延时消息rabbitmq：死信队列消息设定一段时间未消费就进入死信队列，然后消费者监听死信交换机
大牛写代码·2024-01-15 08:17

sparkStreaming 连接kafka的方式

sparkStreaming消费kafak有两种方式1：receiver方式2：direct方式receiver方式：1：sparkStreaming将kafka之中的数据读取到spark内存之中，然后对
流砂月歌·2024-01-15 06:59

Kafka消费全流程

Kafka消费全流程1.Kafka一条消息发送和消费的流程图(非集群)2.三种发送方式准备工作创建maven工程，引入依赖org.apache.kafkakafka-clients3.3.1消费者/**
llp1110·2024-01-15 06:04

使用Spring Boot集成中间件：Kafka的高级使用案例讲解

使用SpringBoot集成中间件：Kafka的具体使用案例讲解导言在实际应用中，Kafka作为一种强大的分布式消息系统，广泛应用于实时数据处理和消息传递。
KingDol_MIni·2024-01-15 06:33

Kafka的核心原理

目录Tpoic的分区和副本机制分区副本消息存储机制和查询机制消息存储机制log文件和index文件的解析index文件内容基本结构查询机制Kafka中生产者数据分发策略随机分发策略指定分区策略Hash取模策略自定义分区策略轮询分发策略和粘性分发策略
Sisi525693·2024-01-15 06:32

Kafka

KAFKAkafka集群brokerkafka集群运行后，每台服务器上的kafka称为一个broker节点处理消费者和生成者的请求生产者需要保存数据到kafka，就需要请求broker消费者需要从kafka
中长跑路上crush·2024-01-15 06:02

Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？

特性ActiveMQRabbitMQRocketMQKafka开发语言javaerlangjavascala单机吞吐量万级，比RocketMQ、Kafka低一个数量级同ActiveMQ10万级，支撑高吞吐
.L.JIN.Jie·2024-01-15 06:02

Zookeeper集群 + Kafka集群

Zookeeper概述//Zookeeper定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。//Zookeeper工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观
陆墨宁·2024-01-15 03:43

kafka常用命令

1，启动zookeeper服务：zookeeper-server-start.sh-daemonzoo.cfg2，启动kafka服务：kafka-server-start.sh-daemonserver.properties3
scottzcw·2024-01-15 03:55

【中间件】消息中间件之Kafka

一、概念介绍ApacheKafka是一个分布式流处理平台，用于构建实时数据管道和流应用。它可以处理网站、应用或其他来源产生的大量数据流，并能实时地将这些数据流传输到另一个系统或应用中进行处理。
孤之鹜·2024-01-15 01:06

分布式引擎Elasticsearch本地部署并结合内网穿透远程访问

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-14 22:37

ELK日志分析系统之（Filebeat 收集Nginx日志并写入 Kafka 缓存发送至Elasticsearch）

场景：与redis作为缓存服务器相比，虽然利用redis可以实现elasticsearch缓存功能,减轻elasticsearch的压力,但不支持的redis集群，存在单点问题，故利用kafka代替redis
zhl52306·2024-01-14 19:56

ELK——ELK+filebeat+kafka部署——（2）部署nginx+filebeat

部署nginx+filebeat我们在虚拟机上部署nginx服务器，然后安装filebeat，使用filebeat收集nginx日志文件，把收集到的日志发送给logstash，让logstash过滤日志，把过滤完的日志保存到elasticsearch，然后通过kibana展示出来。安装nginx安装nginx安装nginx依赖包:[root@filebeat01~]#yuminstall-ygcc
未来的运维大牛·2024-01-14 19:21

kafka为什么快

消息发送1、批量发送:Kafka通过将多个消息打包成一个批次，减少了网络传输和磁盘写入的次数，从而提高了消息的吞吐量和传输效率。
小甄笔记·2024-01-14 18:46

docker-compose部署kafka、SASL模式(密码校验模式)

一.基础kafka部署zookeeper，kafka，kafka-uidocker-compose.yml注意点：192.168.1.20是宿主机的ipversion:"3"services:zookeeper
xixiyuguang·2024-01-14 16:02

SpringBoot升级到2.7.18后不兼容的地方

背景最近为了给kafka加性能指标采集功能，调研后发现spring-kafka在2.3版本之后就自带了Micrometer指标采集功能。
李昂的数字之旅·2024-01-14 15:06

kafka入门(七)：kafka实现高吞吐量

kafka高吞吐量顺序写入磁盘Kafka使用磁盘来存储和缓存消息。Kafka只能在日志文件的尾部追加新的消息，也就是顺序写入磁盘。顺序写入磁盘，让Kafka能实现更高的吞吐量。
乐之者v·2024-01-14 14:15

【MySQL系列】Too many connections

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-14 13:51

Stable Diffusion原理解析-inpaint修复图片

文章目录一、背景知识（一）inpaint概念（二）图生图（img2img）任务二、StableDiffusion中inpaint的两种实现形式（一）开源的inpaint模型：这种方式必须基于一个已经训练好的unet模型（二）基于base模型inpaint一、背景知识（一）inpaint概念inpaint是StableDiffusion仅重绘图像部分的技术，将画面中被手工遮罩的部分重新绘制；Inpa
丁希希哇·2024-01-14 10:21

kotlin.coroutines core 分析

KotlinCoroutinesuspend原理解析KotlinCoroutine标准库源码解析一.CoroutineScope接口为何先从CoroutineScope接口讲起呢？
wo883721·2024-01-14 08:59

Kafka的安装、管理和配置

Kafka的安装、管理和配置1.Kafka安装官网:https://kafka.apache.org/downloads下载安装包,我这里下载的是https://archive.apache.org/dist
llp1110·2024-01-14 08:02

kafka之java客户端实战

1.kafka的客户端Kafka提供了两套客户端API，HighLevelAPI和LowLevelAPI。
瑜伽娃娃·2024-01-14 08:28

解密 ElK 系统引领大中企业微服务日志数据收集和各个组件协同配置一次性说明

小企业不是很不推荐要启动这么多不加idea效果图公司服务器性能非常好并且公司服务器节点比较多且不差钱的情况下：可以推荐使用需要那些组件zookeeperkafka启动需要zookeeperkafka消息中间件
SteveCode.·2024-01-14 08:53

物理机部署三节点Kafka集群

一、部署Kafka集群官方下载地址：http://kafka.apache.org/downloads.html上传安装包到102的/opt/software目录下解压安装包到/opt/module/目录下
DIY……·2024-01-14 07:43

【Linux】线程互斥 -- 互斥锁 | 死锁 | 线程安全

引入互斥初识锁互斥量mutex锁原理解析可重入VS线程安全STL中的容器是否是线程安全的?
侠客cheems·2024-01-14 06:07

Vue keep-alive的使用和原理解析

✨专栏介绍在当今Web开发领域中，构建交互性强、可复用且易于维护的用户界面是至关重要的。而Vue.js作为一款现代化且流行的JavaScript框架，正是为了满足这些需求而诞生。它采用了MVVM架构模式，并通过数据驱动和组件化的方式，使我们能够更轻松地构建出优雅而高效的Web应用程序。在本专栏中，我们将深入学习Vue.js的核心概念、组件开发、状态管理、路由和性能优化等方面的知识。无论你是初学者还
俊刚、·2024-01-14 06:47

物流实时数仓ODS层——Mysql到Kafka

目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8
雷神乐乐·2024-01-14 06:01

记录@EnableKafka和@KafkaListener注解

记录@EnableKafka和@KafkaListener注解第一步、启动zookeeperserver和kafkaserver启动zookeeperserver：bin/zookeeper-server-start.shconfig
Joe world·2024-01-14 06:56

Kafka详解

KAFKA1、消息队列（了解）1-1消息队列介绍英文名：MessageQueue，经常缩写为MQ。
中长跑路上crush·2024-01-14 04:56

Kafka基本介绍

消息队列产生背景消息队列：指的数据在一个容器中，从容器中一端传递到另一端的过程消息(message):指的是数据，只不过这个数据存在一定流动状态队列(queue):指的容器，可以存储数据，只不过这个容器具备FIFO(先进先出)特性公共容器需要具备什么特点?1-公共性:各个程序都可以与之对接2-FIFO特性:先进先出3-具备高效的并发能力:能够承载海量数据4-具备一定的容错能力:比如支持重新读取消息
小希 fighting·2024-01-14 04:01

Kafka的核心原理

Topic的分区和副本机制分区有什么用呢?作用：1-避免单台服务器容量的限制:每台服务器的磁盘存储空间是有上限。Topic分成多个Partition分区，可以避免单个Partition的数据大小过大，导致服务器无法存储。利用多台服务器的存储能力，提升Topic的数据存储条数。2-提升Topic的吞吐量(数据读写速度):利用多台服务器的数据读写能力、网络等资源分区的数量有没有限制？没有限制，分区数量
小希 fighting·2024-01-14 04:00

Zookeeper与Kafka基础概念和原理

1、zookeeper概念介绍在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个
weixin_34198797·2024-01-14 02:18

Logstash：迁移数据到 Elasticsearch

在生产环境中，不使用ApacheKafka等流平台进行数据迁移并不是一个好的做法。在这篇文章中，我们将详细探讨ApacheKafka和Logstash的关系。
Elastic 中国社区官方博客·2024-01-14 01:43

【算法Hot100系列】在排序数组中查找元素的第一个和最后一个位置

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-14 01:06

大数据实时抓取软件：Maxwell学习网站的高效框架！

进一步地，Maxwell将这些消息作为生产者发送给Kafka、Kinesis、RabbitMQ、Redis、GoogleCloudPub/Sub、文件或其他平台的应用程序。
知识分享小能手·2024-01-14 01:32

Redis异步写失败后补数逻辑设计

就涉及到了如何进行补数的操作，本文就是来记录下如何补数Redis补数设计首先可以补数的前提肯定需要记录写异地机房失败的redis命令，所以当客户端在写异地机房失败时，我们需要先把失败的redis命令写到kafka
lixia0417mul2·2024-01-14 01:29

Docker数据卷与拦截与目录拦截

目录高级容器挂载技术深度解析引言数据卷挂载原理解析应用场景使用介绍目录挂载原理解析应用场景使用介绍总结高级容器挂载技术深度解析引言容器技术的快速发展使得容器挂载技术变得愈发重要。
叶秋∵·2024-01-14 00:19

机器人模仿学习之动作分块ACT算法的代码剖析、部署训练

前言本文最早是属于《斯坦福MobileALOHA背后的关键技术：动作分块ACT算法的原理解析》的第二、第三部分，涉及到动作分块ACT的代码剖析与部署训练但因为想把ACT的代码逐行剖析的更细致些，加之为避免上一篇文章太过于长
v_JULY_v·2024-01-13 20:16

2024.1.13 Kafka六大机制和Structured Streaming

目录一.Kafka中生产者数据分发策略二.Kafka消费者的负载均衡机制三.数据不丢失机制生产者端是如何保证数据不丢失的呢？
白白的wj·2024-01-13 18:37

kafka基本使用及结合Java使用

一、Kafka介绍Kafka是一个分布式、支持分区、多副本的消息系统，最大特点是实时处理大量数据以满足各种需求场景。它可以用于日志收集、消息系统、用户活动跟踪、运营指标等。
嘚嘚嘚嘚嘚嘚哒·2024-01-13 18:02

Kafka 消息压缩与解压缩

在Kafka中，压缩也是用来做这件事的。怎么压缩？Kafka是如何压缩消息的呢？要弄清楚这个问题，就要从Kafka的消息格式说起了。目前Kafka共有两大类消息格式，社区分别称之为V1版本和V2版本。
taj3991·2024-01-13 18:52

Kafka面试题！掌握它才说明你真正懂Kafka（附答案）

1、请说明什么是ApacheKafka?ApacheKafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和可复制的提交日志服务。2、说说Kafka的使用场景？
码农小胖·2024-01-13 15:15

Kafka中的max-poll-records和listener.concurrency配置

1、max-poll-records是什么max-poll-records是Kafkaconsumer的一个配置参数，表示consumer一次从Kafkabroker中拉取的最大消息数目，默认值为500
y_bccl27·2024-01-13 14:33

【kafka】为什么要学习Kafka？

KAFKA官方文档入门指南http://ifeve.com/kafka-1为什么要学习Kafka？
Bogon·2024-01-13 14:53

docker上启动kafka

在docker上启动kafka,是因为最近我们开发的程序需要部署到k8s，在k8s上连接kafka，连接失败，因此我先搭建个环境，以供后续还原问题，解决问题。
YUE_SUNSHINE·2024-01-13 13:34

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。
思旭�·2024-01-13 13:02
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他