kafka消息队列

小程序paho.mqtt连接微消息队列 MQTT 版

最近在做一个小程序连接阿里云的微消息队列MQTT版，说实话，通过这次debug，发现阿里的技术文档很多方面不完善，对前端的SDK，文档只有js，好吧。只能靠自己鸟。
赚成美业·2024-01-18 11:52

Windows安装Kafka

前言：需要你的电脑本地环境装有Javajdk一、安装Zookeeper1、官网下载安装包地址：http://zookeeper.apache.org/releases.html#download选择任意一个版本image-20210426221154247点击链接即可下载image-202104262212390792、解压文件进入conf目录D:\codeapp\apache-zookeeper
过期罐头阿卓·2024-01-18 10:53

【大数据】kafka

文章目录【后端目录贴】1.定义2.消息队列2.1使用消息队列的好处2.2消息队列的两种模式3.Kafka基础架构4.kafka使用4.1jar包下载(0.11.0.0版本)4.2部署5.Kafka架构深入
骑鱼过海的猫123·2024-01-18 09:34

代理服务器（Broker）的Master-Slave 架构

在消息队列系统中，代理服务器（Broker）的架构可以采用Master-Slave架构，但并不是所有消息队列系统都使用这种架构。
heartfluttering·2024-01-18 08:06

RabbitMQ(消息队列)浅记

消息队列PS:大二下学习RabbitMQ的随手小记一、什么是MQMQ(messagequeue)，从字面意思上看，本质是个队列，FIFO先入先出，只不过队列中存放的内容是message而已，还是一种跨进程的通信机制
芝士汉堡 ིྀིྀ·2024-01-18 08:05

linux发布微软消息队列,消息队列RabbitMQ入门与5种模式详解

1.RabbitMQ概述简介：MQ全称为MessageQueue，消息队列是应用程序和应用程序之间的通信方法；RabbitMQ是开源的，实现了AMQP协议的，采用Erlang(面向并发编程语言)编写的，
乐昂·2024-01-18 08:04

消息队列之RabbitMQ介绍

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加消息队列之RabbitMQ介绍提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、RabbitMQ
键盘敲烂~~~·2024-01-18 08:29

消息队列之RabbitMQ工作模式

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加消息队列之RabbitMQ工作模式提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、
键盘敲烂~~~·2024-01-18 08:25

Redis相关问题

1.缓存（点赞，秒杀，修改次数少的（新闻类型，分类菜单），存储验证码（定时删除））2.计数器3.排行榜（z-set）4.数据排重（set）5.消息队列（l-pop,r-pop，医院排号）6.分布式锁Redis
Adellle·2024-01-18 07:26

数仓项目6.0配置大全（hadoop/Flume/zk/kafka/mysql配置）

配置背景我使用的root用户，懒得加sudo所有文件夹在/opt/module所有安装包在/opt/software所有脚本文件在/root/bin三台虚拟机：hadoop102-103-104分发脚本fenfa，放在~/bin下,chmod777fenfa给权限#!/bin/bash#1.判断参数个数if[$#-lt1]thenechoXXXXXXXXXNoArguementXXXXXXXXX!
Int mian[]·2024-01-18 06:57

基于华为MRS实时消费Kafka通过Flink落盘至HDFS的Hive外部表的调度方案

文章目录1Kafka1.1Kerberos安全模式的认证与环境准备1.2创建一个测试主题1.3消费主题的接收测试2Flink1.1Kerberos安全模式的认证与环境准备1.2Flink任务的开发3HDFS
大数据程序终结者·2024-01-18 06:25

IO进程线程Day7

1>使用消息队列完成两个进程之间相互通信#includestructmsgbuf{longmtype;charmtext[1024];};#defineSIZE(sizeof(structmsgbuf)
yxgjbfddgijhhhj·2024-01-18 05:03

【SpringBoot框架篇】35.kafka环境搭建和收发消息

kafka环境搭建kafka依赖java环境,如果没有则需要安装jdkyuminstalljava-1.8.0-openjdk*-y1.下载安装kafkakafka3.0版本后默认自带了zookeeper
皓亮君·2024-01-18 03:09

rabbitmq基础教程（ui，java，springamqp）

Docker安装rabbitmq-CSDN博客任务一创建一个队列这样创建两个队列在amq.fanout交换机里面发送数据模拟发送数据发送消息，发现一下信息：所以得出理论，消息发送是先到交换机，然后由交换机路由到消息队列交换机是负责路由和转发消息的
村口曹大爷·2024-01-18 01:47

Kafka-消费者-KafkaConsumer分析-ConsumerCoordinator

在前面介绍了Kafka中Rebalance操作的相关方案和原理。
Andy技术支援·2024-01-18 01:29

Kafka-消费者-KafkaConsumer分析-ConsumerNetworkClient

前面介绍过NetworkClient的实现，它依赖于KSelector、InFlightRequests、Metadata等组件，负责管理客户端与Kafka集群中各个Node节点之间的连接，通过KSelector
Andy技术支援·2024-01-18 01:59

Kafka-消费者-KafkaConsumer分析-SubscriptionState

KafkaConsumer从Kafka拉取消息时发送的请求是FetchRequest(具体格式后面介绍),在其中需要指定消费者希望拉取的起始消息的offset。
Andy技术支援·2024-01-18 01:59

关于调优

调优合理设置堆大小、合理选择GC收集器Broker调优尽力保持客户端版本和Broker端版本一致、合理配置参数应用层不要频繁地创建Producer和Consumer对象实例用完及时关闭合理利用多线程来改善性能Kafka
kar_joe·2024-01-18 01:20

Kafka 自定义分区器

(2)如果键不为空，并且使用了默认的分区器，那么Kafka会对键取hash值然后根据散列值把消息映射到特定的分区上。
CoderJed·2024-01-18 01:49

Failed to start bean ‘org.springframework.kafka.config.internalKafkaListenerEndpointRegistry‘；

错误原因：kafka的配置文件consumer.properties里面的group.id和idea中项目配置文件中的group-id设置的不一样。解决办法：设置为相同值就可以了。
假期的学习·2024-01-18 00:15

【Kafka每日一问】Kafka的高可用机制是什么?

1.副本（Replication）副本因子：当创建一个KafkaTopic时，可以指定副本因子，这个因子决定了每个分区会有多少个副本存储在不同的broker上。
jianjun_fei·2024-01-18 00:23

【Kafka每日一问】Kafka消费者故障，出现活锁问题如何解决?

在Kafka中，消费者的“活锁”通常是指消费者实例持续失败并重新加入消费者组，但却始终无法成功处理消息。这种现象可能会导致消费者组不断触发重平衡（rebalance），而消息却没有被实际消费。
jianjun_fei·2024-01-18 00:18

连接超时的问题

windows上Hosts文件域名解析有问题比如：192.168.xx.100node1192.168.xx.161node1两个都解析成node1需要注释掉一个#192.168.xx.161node1kafkatool
中长跑路上crush·2024-01-17 23:33

Kafka详解

KAFKA1、消息队列（了解）1-1消息队列介绍英文名：MessageQueue，经常缩写为MQ。
中长跑路上crush·2024-01-17 23:02

Go新项目-调研关于go项目中redis的使用场景，lua实战（7）

社交网络7、最新列表8、消息系统9、地理位置10、搜索引擎常用命令实际场景1、缓存2、数据共享分布式3、分布式锁4、全局ID5、计数器6、限流7、位统计8、购物车9、用户消息时间线timeline10、消息队列
ifanatic·2024-01-17 23:45

Flume 之自定义 Source

1、简介Flume自带Source有Avro、Thrift、Netcat、Taildir、Kafka、Http等，有些场合比如我们指定访问接口获取数据当做Flume的Source，像这种定制化的Source
知其_所以然·2024-01-17 19:52

flume的自定义sink-Kafka

1、创建一个agent，sink类型需指定为自定义sinkvi/usr/local/flume/conf/agent3.confagent3.sources=as1agent3.channels=c1agent3.sinks=s1agent3.sources.as1.type=avroagent3.sources.as1.bind=0.0.0.0agent3.sources.as1.port=41
weixin_30483013·2024-01-17 19:20

项目压测优化实践思路

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:52

设计一个简易版本的分布式任务调度系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个简单的规则引擎

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个抽奖系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:20

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

下图是flink-cdc最新支持的数据源类型：对有记录事务操作的kafka数据源通过flink-cdc实现实时数据同步kafka的数据源要通过flink-cdc
木棉庭·2024-01-17 18:09

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。
OkGogooXSailboat·2024-01-17 18:36

九：day01_ 消息队列01

第一章RabbitMQ概念1.1.1消息队列MQ全称MessageQueue（消息队列），是在消息的传输过程中保存消息的容器。多用于系统之间的异步通信。1.1.2消息两台计算机间传送的数据单位。
新手小菜鸟上路·2024-01-17 17:17

【消息队列】MQ 是什么？为什么用MQ？怎么实现MQ？

一、消息队列是什么？消息队列（MQ）是一种在分布式系统中，用于在应用程序之间传递消息的通信机制。它通常包含一个消息生产者、一个消息消费者和一个消息队列。
heartfluttering·2024-01-17 17:39

常用的消息队列和中间件都有哪些

常用的消息队列和中间件有以下几种：RabbitMQ：RabbitMQ是一个开源的消息队列中间件，使用Erlang语言编写。它具有可靠性、灵活性和易用性的特点，支持多种消息协议。
酷爱码·2024-01-17 16:08

flink1.15消费kafka之checkpoint 二

前言上一篇讲解了checkpoint恢复的流程，以及checkpoint恢复时如何从状态中获取topic、partition，开始offset值，本篇主要如何取到offset值进行消费的。流程Task运行时，首先调用doRun方法：publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329·2024-01-17 16:29

2024.1.16 用户画像day01 - 项目介绍

elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-Flink
白白的wj·2024-01-17 15:40

面试题总结-MQ总结

【1】说一下什么是MQ答：MQ是消息队列容器，常见的MQ技术有RabbitMQ,RocketMQ。解决微服务异步通信问题，场景如下：抢票、秒杀类场景：目的只有一个将并行场景转为串行场景来缓解并发压力。
酷寒的小蛮蛮·2024-01-17 13:22

Linux环境下kafka 2.7.0的安装

1下载kafka安装包官方下载地址http://kafka.apache.org/downloadsimage.png使用镜像地址下载,https://mirrors.bfsu.edu.cn/apache
FyK_21f8·2024-01-17 13:22

关于kafka中的tcp连接

生产者建立连接时机启动在创建KafkaProducer实例时，生产者应用会在后台创建并启动一个名为Sender的线程，该Sender线程开始运行时首先会创建与Broker的连接。
kar_joe·2024-01-17 12:35

消息中间件RabbitMQ

1.消息队列1.1.MQ的相关概念1.1.1.什么是MQMQ(messagequeue)，从字面意思上看，本质是个队列，FIFO先入先出，只不过队列中存放的内容是message而已，还是一种跨进程的通信机制
小鱼儿&·2024-01-17 11:03

rabbitmq-java基础详解

1、MQ定义MQ（MessageQueue）消息队列主要解决：异步处理、应用解耦、流量削峰等问题，是分布式系统的重要组件，从而实现高性能，高可用，可伸缩和最终一致性的架构，rabbitmq是消息队列中的一种
CAUC_lin·2024-01-17 11:30

RabbitMQ

RabbitMQ1.1RabbitMQ的特点1.2RabbitMQ基本概念1.3工作模式1.4RabbitMQ详细概念1.4.1Exchange(交换器)1.4.2Binding(绑定)1.4.3Queue(消息队列
解梦者·2024-01-17 11:25

RabbitMQ

7049160818834800677参考文献：RabbitMQ常见面试题总结|Java学习&面试指南-程序员大彬(topjavaer.cn)RabbitMQ一、简介：RabbitMQ是一个由erlang开发的消息队列
yz涣·2024-01-17 10:30

实现30分钟未支付则自动取消功能

延时任务实现方案：数据库轮询JDK延时队列时间轮算法Redis缓存消息队列数据库轮询数据库定时扫描筛选超时订单优点：简单、支持集群缺点：内存消耗大、存在延迟、数据库消耗极大（频繁查询）JDK延时队列（生产者消费者
小马龙·2024-01-17 10:47

day7:消息队列与共享内存

思维导图：消息队列原理：进程在内核空间中维护出消息队列，每个进程借由消息队列的msgid对消息队列进行读写操作，消息队列中的信息是一个结构体，存储着消息的种类（身份证）和消息的内容，多个进程间可以通过消息的种类来进行通讯
jacksheepskin·2024-01-17 09:28

单节点部署 Gpmall 商城系统

目录实验中使用的技术实验过程实验中使用的技术JavaRedisElasticsearch（先不用）NginxMariaDBZooKeeperKafka实验过程1.Xnode1克隆虚拟机gpmallCRT
守丘·2024-01-17 09:25

kafka-ui通过docker部署

创建docker-compose.yamlservices:kafka-ui:container_name:kafka-uiimage:provectuslabs/kafka-ui:latestports
weixin_43169720·2024-01-17 09:23

Kafka 的架构

实验过程1.三个虚拟机中解压kafka软件包tar-zxvfkafka_2.11-1.1.1.tgz2.修改3个节点配置文件在zookeeper节点，进入kafka_2.11-1.1.1/config目录下
守丘·2024-01-17 09:52
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他