kafka消息队列

Kafka详解

KAFKA1、消息队列（了解）1-1消息队列介绍英文名：MessageQueue，经常缩写为MQ。
中长跑路上crush·2024-01-14 04:56

Kafka基本介绍

消息队列产生背景消息队列：指的数据在一个容器中，从容器中一端传递到另一端的过程消息(message):指的是数据，只不过这个数据存在一定流动状态队列(queue):指的容器，可以存储数据，只不过这个容器具备
小希 fighting·2024-01-14 04:01

Kafka的核心原理

Topic的分区和副本机制分区有什么用呢?作用：1-避免单台服务器容量的限制:每台服务器的磁盘存储空间是有上限。Topic分成多个Partition分区，可以避免单个Partition的数据大小过大，导致服务器无法存储。利用多台服务器的存储能力，提升Topic的数据存储条数。2-提升Topic的吞吐量(数据读写速度):利用多台服务器的数据读写能力、网络等资源分区的数量有没有限制？没有限制，分区数量
小希 fighting·2024-01-14 04:00

Zookeeper与Kafka基础概念和原理

1、zookeeper概念介绍在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个
weixin_34198797·2024-01-14 02:18

Logstash：迁移数据到 Elasticsearch

在生产环境中，不使用ApacheKafka等流平台进行数据迁移并不是一个好的做法。在这篇文章中，我们将详细探讨ApacheKafka和Logstash的关系。
Elastic 中国社区官方博客·2024-01-14 01:43

【算法Hot100系列】在排序数组中查找元素的第一个和最后一个位置

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-14 01:06

大数据实时抓取软件：Maxwell学习网站的高效框架！

进一步地，Maxwell将这些消息作为生产者发送给Kafka、Kinesis、RabbitMQ、Redis、GoogleCloudPub/Sub、文件或其他平台的应用程序。
知识分享小能手·2024-01-14 01:32

Redis异步写失败后补数逻辑设计

就涉及到了如何进行补数的操作，本文就是来记录下如何补数Redis补数设计首先可以补数的前提肯定需要记录写异地机房失败的redis命令，所以当客户端在写异地机房失败时，我们需要先把失败的redis命令写到kafka
lixia0417mul2·2024-01-14 01:29

RabbitMQ 的基本概念

一MQ的基本概念1MQ概述MQ全称MessageQueue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。消息队列就是所谓的存放消息的队列。
伍六七.167·2024-01-14 00:58

进程间通信

方式管道（Pipe）：匿名管道（AnonymousPipe）与命名管道（NamedPipe，也称为FIFO）消息队列（MessageQu
wifi chicken·2024-01-14 00:22

SpringBoot整合ActiveMQ[超详细版]

启动类配置通道测试发送信息进入通道接受者pom依赖yml配置启动类接受mq类SpringBoot整合ActiveMQ-主题模式生产者创建主题通道测试发信息进入主题接受者yaml接收类简介什么是ActiveMQ消息队列
Java患者··2024-01-13 23:21

百度面经整理（2024最新）

用过消息队列吗？怎么自己扩展validator（参数校验）jwt组成headerpayload签名加密算法那些。rsa如何运用到jwt中synchronized和v
程序员大彬·2024-01-13 23:50

2024.1.13 Kafka六大机制和Structured Streaming

目录一.Kafka中生产者数据分发策略二.Kafka消费者的负载均衡机制三.数据不丢失机制生产者端是如何保证数据不丢失的呢？
白白的wj·2024-01-13 18:37

kafka基本使用及结合Java使用

一、Kafka介绍Kafka是一个分布式、支持分区、多副本的消息系统，最大特点是实时处理大量数据以满足各种需求场景。它可以用于日志收集、消息系统、用户活动跟踪、运营指标等。
嘚嘚嘚嘚嘚嘚哒·2024-01-13 18:02

Kafka 消息压缩与解压缩

在Kafka中，压缩也是用来做这件事的。怎么压缩？Kafka是如何压缩消息的呢？要弄清楚这个问题，就要从Kafka的消息格式说起了。目前Kafka共有两大类消息格式，社区分别称之为V1版本和V2版本。
taj3991·2024-01-13 18:52

多线程设计模式 - 保护性暂停（有时限等待方式）

GuardedSuspension，用一个线程等待另一个线程的执行结果要点：有一个结果需要从一个线程传递到另一个线程，让他们关联同一个GuardedObject如果有结果不断从一个线程到另一个线程那么可以使用消息队列
二进制杯莫停·2024-01-13 16:42

java多线程编程 - 模式 -同步模式之保护性暂停模式

GuardedSuspension，用在一个线程等待另一个线程的执行结果要点有一个结果需要从一个线程传递到另一个线程，让他们关联同一个GuardedObject如果有结果不断从一个线程到另一个线程那么可以使用消息队列
it's okey·2024-01-13 16:12

33 - Guarded Suspension模式 等待唤醒机制的规范

这个项目依赖运维部门提供的文件浏览服务，而这个文件浏览服务只支持消息队列（MQ）方式接入。
坯子蔡·2024-01-13 16:41

Kafka面试题！掌握它才说明你真正懂Kafka（附答案）

1、请说明什么是ApacheKafka?ApacheKafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和可复制的提交日志服务。2、说说Kafka的使用场景？
码农小胖·2024-01-13 15:15

Kafka中的max-poll-records和listener.concurrency配置

1、max-poll-records是什么max-poll-records是Kafkaconsumer的一个配置参数，表示consumer一次从Kafkabroker中拉取的最大消息数目，默认值为500
y_bccl27·2024-01-13 14:33

【kafka】为什么要学习Kafka？

KAFKA官方文档入门指南http://ifeve.com/kafka-1为什么要学习Kafka？
Bogon·2024-01-13 14:53

docker上启动kafka

在docker上启动kafka,是因为最近我们开发的程序需要部署到k8s，在k8s上连接kafka，连接失败，因此我先搭建个环境，以供后续还原问题，解决问题。
YUE_SUNSHINE·2024-01-13 13:34

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。
思旭�·2024-01-13 13:02

kafka常用命令

一、KAFKA启停命令1.前台启动kafka前台启动命令：bin/kafka-server-start.shconfig/server.properties2.后台启动kafka后台启动命令：后台常驻方式
思旭�·2024-01-13 13:02

修复zookeeper未授权访问漏洞

在用kafka_2.13-3.3.1集成的zookeeper时，发现存在未授权访问漏洞，以下是解决授权问题的方法。
哎！健身程序员·2024-01-13 11:32

进程通信之管道

进程通信方式1.管道2.共享内存3.消息队列4.信号量5.网络套接字管道pipe(无名管道），通常用于父子间沟通操作#include#include#include#includeintmain(){intpipefd
一天开始了·2024-01-13 11:56

Linux消息队列

常用函数//创建/获取消息队列intmsgget(key_tkey,intmsgflg);/*key:为键值,ftok();msgflg:IPC_CREAT-创建，不存在即创建，已存在即获取，除非…IPC_EXCL
一天开始了·2024-01-13 11:21

新书速览|收割Offer：互联网大厂面经

本书内容涵盖了八股文（数据库、Redis、消息队列、操作系统、计算机网
全栈开发圈·2024-01-13 11:05

Flink Sink Mysql 简单实现

组件版本scala2.12netcat*kafka*flink1.13.3解析创建环境、输入流，从socket获取输入数据valenv=StreamExecutionEnvironment.getExecutionEnvironmentvalinput
这都不是事er·2024-01-13 10:07

Flink 实现Mysql的数据同步 Mysql Sink Mysql

FlinkSinkMysql简单实现环境需求解析完整代码源码下载附：flink-cdc环境组件版本scala2.12netcat*kafka*mysql*flink1.13.3需求监听mysql某个表的动态
这都不是事er·2024-01-13 10:07

模块一：函数式编程与js异步编程、手写Promise

简答题一、谈谈你是如何理解js异步编程的，EventLoop、消息队列都是做什么的，什么是宏任务，什么是微任务？
辉_31d6·2024-01-13 10:55

Linux安装Rdkafka PHP 扩展(Kafka使用教程)

就ok2、接下来，你需要安装librdkafkaC库。你可以通过以下命令来安装：sudoyuminstalllibrdkafka-dev
雾里看花_·2024-01-13 10:57

消息队列概念备忘

最近在玩RabbitMQ，前面的博客已经对于RabbitMQ这一消息队列软件的安装做了说明，感觉该说一说理论概念上的东西了，下面就叨叨一下关于消息队列相关的原理概念。
onlyHalfSoul·2024-01-13 10:17

flink创建表报错

flink创建表报错前言使用flink在读取rabbitmq消息队列创建表：前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习
～四时春～·2024-01-13 10:50

如何配置Kafka账号密码

背景我们需要与第三方系统进行数据同步，需要搭建公网Kafka，Kafka默认是没有用户密码校验的，所以我们需要配置用户名密码校验。
tao_shen_1108·2024-01-13 09:32

分布式系统架构设计之分布式消息队列的实际应用场景分析以及未来展望

一、分布式消息队列的实际应用场景随着企业业务的不断发展和数据量的持续增长，分布式消息队列已经成为了许多系统中不可或缺的一部分。
灸哥漫谈·2024-01-13 09:56

Flink集成Hive之Hive Catalog

流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流表insert进Hive,注意分区时间字段需要为yyyy-MM-dd形式,否则抛出异常
实时即未来·2024-01-13 09:44

SpringBoot 集成 Kafka 高级实现

1、简介之前博客中记录了直接使用Kafka客户端实现生产者和消费者之间的交互，这种方式通过设置各种参数编码繁琐，因此通过SpringBoot集成Kafka成为一种常用的实现，下面就详细介绍SpringBoot
知其_所以然·2024-01-13 08:32

【kafka】记录用-----------1

主题（topic）：消息的第一次分类根据人为的划分条件将消息分成不同的主题主题的划分是人为的根据不同的任务情景去划分比如，我们有两个主题，一个是"订单"，另一个是"库存"。每个主题代表一个消息流。主题的名称作为主题的为一标识符，我们需要保证其唯一性分区（partition）：消息的第二次分类区域化同主题中的消息：分区管理同主题的消息不同主题下分区标识可以相同每个分区都有一个唯一的标识分区偏移（pa
烂尾主教·2024-01-13 08:28

如何在 Ubuntu 20.04 上安装 Apache Kafka

如何在Ubuntu20.04上安装ApacheKafka介绍ApacheKafka是一种分布式消息代理，旨在处理大量实时数据。Kafka集群具有高度可扩展性和容错性。
timi先生·2024-01-13 08:28

动态启停kafka消费者

Kafka中如何动态开启、关闭消费者使用背景：在开发业务中需要根据具体逻辑选择开启还是关闭消费者实现逻辑：1、创建consumer配置类，自定义工厂、自定义消费者配置（省略）还需要注入consumerServicebean
奔跑的小蜗牛哈哈·2024-01-13 08:58

@KafkaListener的配置使用

@KafkaListener注解来自spring-kafka包。
Pluto_CSND·2024-01-13 08:25

@KafkaListener指定kafka集群

基于@KafkaListener注解的kafka监听代码可以手动指定要消费的kafka集群，这对于需要访问多套kafka集群的程序来说，是有效的解决方案。
Pluto_CSND·2024-01-13 08:25

基于kafka_exporter&prometheus&grafana的kafka监控实现

一、安装配置kafka_exporter下载kafka_exporterwgethttp://*.*.*.45:10000/prometheus/kafka_exporter-1.4.2.linux-amd64
Pluto_CSND·2024-01-13 08:25

Nacos 的配置文件标识 Data Id

《bootstrap.yml》spring:application:name:pfme-kafka-transpond2yzprofiles:active:devcloud:nacos:config:namespace
Pluto_CSND·2024-01-13 08:55

MySQL同步数据ElasticSearch技术方案优缺点

ID自增导入基于时间戳递增导入支持新增同步操作，部分支持更新操作数据量大，会有性能问题不支持同步删除操作canal基于binlog实现支持增、删、改实时同步阿里巴巴开源，支持6.X+版本不支持全量同步kafka_connector
博享未来·2024-01-13 08:24

关于@KafkaListener动态订阅消费topic的调研

@KafkaListener注解监听和消费kafka的代码通常如下：@KafkaListener(topics="#{'${topics}'.split(',')}")publicvoidonMessage
Pluto_CSND·2024-01-13 08:52

SpringBoot集成RabbitMq，RabbitMq消费与生产，消费失败重发机制，发送签收确认机制

集成依赖RabbitMq配置RabbitMq生产者，队列，交换通道配置，消费者示例2.RabbitMq消息确认机制消息确认机制分自动确认，和手动确认3.消息重发机制消息重发配置消息重发如何触发4.延时消息队列
轻点 别打脸·2024-01-13 07:25

【Python随笔】python轻量级消息队列库celery在fastapi的应用

celery就是一个典型的例子，它提供了以将python函数注册到消息队列的方式暴露服务的方法，并且支持RabbitMQ、Redis等多种Broker中
utmhikari·2024-01-13 07:36

【MQTT】使用MQTT在Spring Boot项目中实现异步消息通信

项目中实现异步消息通信步骤1：引入MQTT库依赖步骤2：配置MQTT连接信息步骤3：创建MQTT配置类步骤4：发送MQTT消息发布MQTT消息消费MQTT消息总结前置文章：（一）MQTT协议与指令下发；MQTT与Kafka
嘚嘚嘚嘚嘚嘚哒·2024-01-13 07:03
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他