kafka消息中间件

redis-安装配置

2.5.1Ubuntu上的配置2.5.2centos上的配置3.在线安装4.设置防火墙5.客户端连接1.Redis简介Redis是完全开源免费的，遵守BSD协议，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件
m0_l5z·2024-01-18 10:26

【大数据】kafka

文章目录【后端目录贴】1.定义2.消息队列2.1使用消息队列的好处2.2消息队列的两种模式3.Kafka基础架构4.kafka使用4.1jar包下载(0.11.0.0版本)4.2部署5.Kafka架构深入
骑鱼过海的猫123·2024-01-18 09:34

linux发布微软消息队列,消息队列RabbitMQ入门与5种模式详解

消息队列是应用程序和应用程序之间的通信方法；RabbitMQ是开源的，实现了AMQP协议的，采用Erlang(面向并发编程语言)编写的，可复用的企业级消息系统；AMQP(高级消息队列协议)是一个异步消息传递所使用应用层协议规范，为面向消息中间件设计
乐昂·2024-01-18 08:04

【Redis】九种数据类型及应用场景

前言Redis是一个开源的，基于内存的数据结构存储系统，可以用作数据库、缓存和消息中间件。
hope笔记·2024-01-18 07:32

对比阿里云的SofaMQ与RocketMQ

对比阿里云的SofaMQ与RocketMQ引言随着互联网的不断发展，消息中间件在分布式系统中扮演着至关重要的角色。
码农阿豪·2024-01-18 07:06

数仓项目6.0配置大全（hadoop/Flume/zk/kafka/mysql配置）

配置背景我使用的root用户，懒得加sudo所有文件夹在/opt/module所有安装包在/opt/software所有脚本文件在/root/bin三台虚拟机：hadoop102-103-104分发脚本fenfa，放在~/bin下,chmod777fenfa给权限#!/bin/bash#1.判断参数个数if[$#-lt1]thenechoXXXXXXXXXNoArguementXXXXXXXXX!
Int mian[]·2024-01-18 06:57

基于华为MRS实时消费Kafka通过Flink落盘至HDFS的Hive外部表的调度方案

文章目录1Kafka1.1Kerberos安全模式的认证与环境准备1.2创建一个测试主题1.3消费主题的接收测试2Flink1.1Kerberos安全模式的认证与环境准备1.2Flink任务的开发3HDFS
大数据程序终结者·2024-01-18 06:25

【SpringBoot框架篇】35.kafka环境搭建和收发消息

kafka环境搭建kafka依赖java环境,如果没有则需要安装jdkyuminstalljava-1.8.0-openjdk*-y1.下载安装kafkakafka3.0版本后默认自带了zookeeper
皓亮君·2024-01-18 03:09

RabbitMQ 延迟队列，消息延迟推送*

在我们签收商品后，物流系统会在七天后延时发送一个消息给支付系统，通知支付系统将款打给商家，这个过程持续七天，就是使用了消息中间件的延迟推送功能。12306购票支付确认页面。
cnn0314·2024-01-18 01:29

Kafka-消费者-KafkaConsumer分析-ConsumerCoordinator

在前面介绍了Kafka中Rebalance操作的相关方案和原理。
Andy技术支援·2024-01-18 01:29

Kafka-消费者-KafkaConsumer分析-ConsumerNetworkClient

前面介绍过NetworkClient的实现，它依赖于KSelector、InFlightRequests、Metadata等组件，负责管理客户端与Kafka集群中各个Node节点之间的连接，通过KSelector
Andy技术支援·2024-01-18 01:59

Kafka-消费者-KafkaConsumer分析-SubscriptionState

KafkaConsumer从Kafka拉取消息时发送的请求是FetchRequest(具体格式后面介绍),在其中需要指定消费者希望拉取的起始消息的offset。
Andy技术支援·2024-01-18 01:59

关于调优

调优合理设置堆大小、合理选择GC收集器Broker调优尽力保持客户端版本和Broker端版本一致、合理配置参数应用层不要频繁地创建Producer和Consumer对象实例用完及时关闭合理利用多线程来改善性能Kafka
kar_joe·2024-01-18 01:20

Kafka 自定义分区器

(2)如果键不为空，并且使用了默认的分区器，那么Kafka会对键取hash值然后根据散列值把消息映射到特定的分区上。
CoderJed·2024-01-18 01:49

Failed to start bean ‘org.springframework.kafka.config.internalKafkaListenerEndpointRegistry‘；

错误原因：kafka的配置文件consumer.properties里面的group.id和idea中项目配置文件中的group-id设置的不一样。解决办法：设置为相同值就可以了。
假期的学习·2024-01-18 00:15

【Kafka每日一问】Kafka的高可用机制是什么?

1.副本（Replication）副本因子：当创建一个KafkaTopic时，可以指定副本因子，这个因子决定了每个分区会有多少个副本存储在不同的broker上。
jianjun_fei·2024-01-18 00:23

【Kafka每日一问】Kafka消费者故障，出现活锁问题如何解决?

在Kafka中，消费者的“活锁”通常是指消费者实例持续失败并重新加入消费者组，但却始终无法成功处理消息。这种现象可能会导致消费者组不断触发重平衡（rebalance），而消息却没有被实际消费。
jianjun_fei·2024-01-18 00:18

连接超时的问题

windows上Hosts文件域名解析有问题比如：192.168.xx.100node1192.168.xx.161node1两个都解析成node1需要注释掉一个#192.168.xx.161node1kafkatool
中长跑路上crush·2024-01-17 23:33

Kafka详解

KAFKA1、消息队列（了解）1-1消息队列介绍英文名：MessageQueue，经常缩写为MQ。
中长跑路上crush·2024-01-17 23:02

Flume 之自定义 Source

1、简介Flume自带Source有Avro、Thrift、Netcat、Taildir、Kafka、Http等，有些场合比如我们指定访问接口获取数据当做Flume的Source，像这种定制化的Source
知其_所以然·2024-01-17 19:52

flume的自定义sink-Kafka

1、创建一个agent，sink类型需指定为自定义sinkvi/usr/local/flume/conf/agent3.confagent3.sources=as1agent3.channels=c1agent3.sinks=s1agent3.sources.as1.type=avroagent3.sources.as1.bind=0.0.0.0agent3.sources.as1.port=41
weixin_30483013·2024-01-17 19:20

项目压测优化实践思路

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:52

设计一个简易版本的分布式任务调度系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个简单的规则引擎

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个抽奖系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:20

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

下图是flink-cdc最新支持的数据源类型：对有记录事务操作的kafka数据源通过flink-cdc实现实时数据同步kafka的数据源要通过flink-cdc
木棉庭·2024-01-17 18:09

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。
OkGogooXSailboat·2024-01-17 18:36

RocketMQ架构设计之NameServer实现

消息中间件的设计思路一般基于主题的订阅发布机制消息生产者（Producer）发送某一主题的消息到消息服务器，消息服务器负责该消息的持久化存储，消息消费者(Consumer）订阅感兴趣的主题，消息服务器根据订阅信息
先生zeng·2024-01-17 16:36

常用的消息队列和中间件都有哪些

Kafka：Kafka是一个高吞吐量的分布式发布订阅消息系统，由Apache开发。它主要用于处理大规模的实时数据流，具有高性能和可扩展性。
酷爱码·2024-01-17 16:08

flink1.15消费kafka之checkpoint 二

前言上一篇讲解了checkpoint恢复的流程，以及checkpoint恢复时如何从状态中获取topic、partition，开始offset值，本篇主要如何取到offset值进行消费的。流程Task运行时，首先调用doRun方法：publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329·2024-01-17 16:29

2024.1.16 用户画像day01 - 项目介绍

elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-Flink
白白的wj·2024-01-17 15:40

Linux环境下kafka 2.7.0的安装

1下载kafka安装包官方下载地址http://kafka.apache.org/downloadsimage.png使用镜像地址下载,https://mirrors.bfsu.edu.cn/apache
FyK_21f8·2024-01-17 13:22

关于kafka中的tcp连接

生产者建立连接时机启动在创建KafkaProducer实例时，生产者应用会在后台创建并启动一个名为Sender的线程，该Sender线程开始运行时首先会创建与Broker的连接。
kar_joe·2024-01-17 12:35

面试官：ThreadLocal 为什么会内存泄漏吗？是怎么产生的？面试必问！

每天14:00更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
Java基基·2024-01-17 12:26

适合初学者的activeMQ讲解

为什么要使用消息中间件？系统解耦假设你有个系统A，这个系统A会产出一个核心数据，现在下游有系统B和系统C需要这个数据。那简单，系统A就是直接调用系统B和系统C的接口发送数据给他们就好了。
youngyang的博客·2024-01-17 11:11

如何使用ActiveMQ详细讲解

ActiveMQ是一款流行的消息中间件，支持多种通信协议和消息模式，包括点对点、发布/订阅、事务处理等。
不爱敲代码吖·2024-01-17 11:39

ActiveMQ讲解01

ActiveMQ简介消息中间件ActiveMQ安装和基本使用基本的Queue消息发送JMS基本概念JMS的消息结构JMS的可靠性机制JMS的PTP模型JMS的PubSub模型一个JMS应用的基本步骤非持久的
苍茫行者·2024-01-17 11:39

消息中间件RabbitMQ

1.消息队列1.1.MQ的相关概念1.1.1.什么是MQMQ(messagequeue)，从字面意思上看，本质是个队列，FIFO先入先出，只不过队列中存放的内容是message而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后，消息发送上游只需要依赖MQ，不用依赖其他服务。1.1.2.为什么要用MQ1.
小鱼儿&·2024-01-17 11:03

RabbitMQ

的特点1.2RabbitMQ基本概念1.3工作模式1.4RabbitMQ详细概念1.4.1Exchange(交换器)1.4.2Binding(绑定)1.4.3Queue(消息队列)1.4.4Broker（消息中间件的服务节点
解梦者·2024-01-17 11:25

单节点部署 Gpmall 商城系统

目录实验中使用的技术实验过程实验中使用的技术JavaRedisElasticsearch（先不用）NginxMariaDBZooKeeperKafka实验过程1.Xnode1克隆虚拟机gpmallCRT
守丘·2024-01-17 09:25

kafka-ui通过docker部署

创建docker-compose.yamlservices:kafka-ui:container_name:kafka-uiimage:provectuslabs/kafka-ui:latestports
weixin_43169720·2024-01-17 09:23

Kafka 的架构

实验过程1.三个虚拟机中解压kafka软件包tar-zxvfkafka_2.11-1.1.1.tgz2.修改3个节点配置文件在zookeeper节点，进入kafka_2.11-1.1.1/config目录下
守丘·2024-01-17 09:52

Linux 安装 Apache Kafka

一、安装下载kafka，下载地址，只是使用的话下载Binary版本就行。
South_BJ·2024-01-17 08:10

kafka简单介绍和代码示例

“这是一篇理论文章，给大家讲一讲kafka”简介在大数据领域开发者常常会听到MQ这个术语，该术语便是消息队列的意思，Kafka是分布式的发布—订阅消息系统。
necessary653·2024-01-17 07:53

2024Java高频面试题之MQ消息中间件，面试都问些什么？（附详细答案）

一、MQ简介MQ全称为MessageQueue，消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。二、面
浮生带你学Java·2024-01-17 07:53

Kafka学习

Kafka的消息通过主题（topic）进行分类主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性消息以追加的方式写入分区，然后以先入先出（FIFO）
error0318·2024-01-17 07:37

Kafka 简介

目录1、概念介绍Kafka由来ZooKeeperKafka特性Kafka使用场景Kafka复制备份2、Kafka架构BrokerTopicProducerPartitionConsumersConsumerGroupDistribution1
HuaLuLemon·2024-01-17 07:03

Kafka 集群部署

目录1、环境准备2、搭建ZooKeeper集群配置文件节点标记环境变量启动集群数据同步测试故障测试3、搭建Kafka集群配置文件环境变量配置其他机器启动服务4、集群测试创建Topic显示Topic配置创建
HuaLuLemon·2024-01-17 07:03

Kafka系列(四)

本文接kafka三，代码实践kafkaStream的应用，用来完成流式计算。kafkastream关于流式计算也就是实时处理，无时间概念边界的处理一些数据。
happystudy_neu·2024-01-17 07:32

Kafka详解及常见面试问题解析（值得珍藏）

1.定义Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。
孤蓬&听雨·2024-01-17 07:29
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他