消息中间件--Kafka

使用Docker搭建单机Kafka

Docker搭建Zookeeper获取zookeeperdockerpullzookeeper运行zookeeperdockerrun-it-p2888:2888-p2181:2181--name=zookeeperzookeeper自此zookeeper搭建完毕从控制台返回的信息中，我们可以得知zookeeper的配置文件地址为/conf/zoo.cfg，我们可以对zookeeper的配置进行自
晴海s·2024-01-07 12:33

Kafka（三）概述

目录1Kafka的应用场景1.1活动跟踪1.2消息传递1.3指标和日志记录1.4提交日志1.5流式处理2Kafka的核心概念消息（message）键（Key）批次（Batch）模式（Schema）主题（
yunyun1886358·2024-01-07 10:35

kafka生产者设置ack、消费者设置自动提交实例

生产者在Kafka中，可以通过设置acks参数为“all”来确保生产者在成功写入所有副本后才认为消息发送成功。
杵意·2024-01-07 10:04

Kafka（四）Broker

目录1配置Broker1.1Broker的配置broker.id=0listererszookeeper.connectlog.dirslog.dir=/tmp/kafka-logsnum.recovery.threads.per.data.dir
yunyun1886358·2024-01-07 10:32

Kafka 与 RabbitMQ

现在看来，当我们需要在项目中使用消息队列时，Kafka是首选产品。但是，当我们考虑特定要求时，它并不总是最佳选择。数据库支持的队列让我们再次使用我们的星巴克示例。
Linux技术社区·2024-01-07 09:20

数仓工具—Hive进阶之StorageHandler(23)

StorageHandler引入StorageHandler，Hive用户使用SQL的方式读写外部数据源,例如ElasticSearch、Kafka、HBase等数据源的查询对非专业开发是有一定门槛的，
不二人生·2024-01-07 07:39

Kafka Rebalance机制

这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是Kafka重平衡机制重平衡的作用重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下
tracy_668·2024-01-07 07:48

kafka中，使用ack提交时，存在重复消费问题

监听的topic中，增加了一条数据，但是代码消费了好几次，而且确实也走ack.acknowledge();这块逻辑了，因为处理的逻辑是要入库的，导致数据多了好几条，后排查得知是配置问题…spring.kafka.consumer.enable-auto-commit
奔跑的小蜗牛哈哈·2024-01-07 07:20

MinIO创建bucket notificaion

docs.min.io/docs/minio-bucket-notification-guide.html1.preparethedocker-composefileversion:'3'services:kafka
雅阁驸马·2024-01-07 06:45

深度解析：Kafka、ActiveMQ、RabbitMQ、RocketMQ的区别与比较

目录引言1.Kafka1.1架构设计1.2特点与优势2.ActiveMQ2.1架构设计2.2特点与优势3.RabbitMQ3.1架构设计3.2特点与优势4.RocketMQ4.1架构设计4.2特点与优势
喔的 喔的嘛呀·2024-01-07 05:16

RocketMQ详细介绍及核心问题解释（很全）

1.RocketMq是什么一个纯Java、分布式队列模型的消息中间件，具有高可用、高可靠、高实时、低延迟的特点。（记住这句就行了）2.RocketMq有什么功能1、业务解耦：这也是发布订阅的消息模型。
孤蓬&听雨·2024-01-07 05:09

filebeat+kafka+elasticsearch+logstash+kibana

版本filebeat6.6.0+kafka2.11+elk7.3.1elk是docker部署的，其他是本地服务下载地址：https://mirrors.huaweicloud.com/filebeat/
多走走多看看·2024-01-07 03:21

kafka 生产者是如何选投递分区的，消费者选择分区

bin/kafka-topics.sh--zookeeperlocalhost:2181--create--topicmy-top
long_c2b7·2024-01-07 01:02

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

实时数仓模型

实时数仓主要是基于数据采集工具，如canal等原始数据写入到kafka这样的数据通道中，最后一般都是写入到类似于HBase这样的OLAP存储系统中。对外提供分钟级别，甚
jero_lei·2024-01-06 23:48

Java学习经验

MySQL密码2.数据库的事务1.事务的特性2.并发事务处理问题3.事务的隔离级别3.行锁与表锁二、Redis1.Redis之哨兵模式2.Redis的缓存穿透与雪崩1.布隆过滤器2.缓存空对象三、MQ消息中间件
wmyolanda·2024-01-06 22:25

一本书全面搞懂分布式架构中如何使用RocketMQ的原理和实战案例

另外我的新书RocketMQ消息中间件实战派上下册，在京东已经上架啦，目前都是5折，非常的实惠。
架构随笔录·2024-01-06 22:50

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

安装并运行node_exporter下载node_exporter解压到指定/app/exporter编写管理脚本control_node_exporter.sh，并给予权限chmod+xcontrol_node_exporter.sh，脚本内容如下：#!/bin/bashPID_FILE="node_exporter.pid"LOG_FILE="node_exporter.log"###这个路径
一座野山·2024-01-06 16:47

使用Kafka与Spark Streaming进行流数据集成

为了实现实时数据集成和分析，组合使用ApacheKafka和ApacheSparkStreaming是一种常见的做法。
晓之以理的喵~~·2024-01-06 16:43

大数据采集与预处理技术

1.3.1大数据采集技术1.3.2数据预处理技术第二章数据采集基础2.1传统数据采集技术2.2大数据采集基础第三章大数据采集架构1.Chukwa数据采集2.Flume数据采集3.Scribe数据采集4.kafka
Sparky*·2024-01-06 14:10

jaeger基于docker非all-in-one搭建(加入kafka作为缓冲)

文章目录前言示意图一、部署collector收藏家配置将存储指向Kafka1.节点12.节点23.节点3二、部署三台摄食者ingester消费kafka内jaeger-spans下的span信息传给es
20、77·2024-01-06 14:06

docker部署kafka

文章目录1.创建docker网卡(docker0172.17.0.1)1.部署节点12.部署节点23.部署节点34.查看效果2.部署kafka集群1.部署节点12.部署节点23.部署节点34.查看效果1
20、77·2024-01-06 14:35

flink消费kafka历史数据开窗计算数据丢失问题追踪记录

问题描述最近在开发flink程序时，需要开窗计算人次，在反复测试中发现flink的并行度会影响数据准确性，当kafka的分区数为6时，如果flink的并行度小于6，会有一定程度的数据丢失。
辛友·2024-01-06 13:21

记录flink读取kafka数据时checkpoint配置对offset提交的影响

一、问题描述flink消费kafka数据过程中，结果数据正常输出，但是kafka产生数据堆积二、原因分析flink任务运行中，checkpoint失败导致offset一直未提交，导致kafka数据堆积告警三
:）คิดถึง·2024-01-06 13:20

Upsert Kafka Connector - 让实时统计更简单

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源在某些场景中，例如读取compactedtopic或者输出（更新）聚合结果的时候，需要将Kafka消息记录的key当成主键处理，用来确定一条数据是应该作为插入
王知无(import_bigdata)·2024-01-06 13:49

Flink-SQL实现kafka处理后写入kafka

基本信息kafka版本1.13.2topic原始数据topicuser_behavior输出数据topicafter_binlog读取kafka原始数据CREATETABLEuser_behavior(
贾斯汀玛尔斯·2024-01-06 13:18

flink加载kafka数据源存储至hbase

implementation'org.apache.flink:flink-streaming-java:1.16.0'implementation'org.apache.flink:flink-connector-kafka
fengchengwu2012·2024-01-06 12:13

Flink 解析kafka avro格式

Kafka|ApacheFlink详见上面docs文档flink对接kafka的avro格式
cuichunchi·2024-01-06 12:13

flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析

flinksql-groupby字段[不等于]主键字段导致写入pg表死锁原因分析1、环境描述1、flink1.13.22、3个并发度[3个taskmanager]，即任务会在三个节点[A、B、C节点]上跑3、事实表join维度表2、找死锁sql在flink任务的taskmanager上找到的死锁sql:【没有找到insert相关的sql】数据库运维监控平台日志显示的死锁sql:3、数据发生变更时间
cg6·2024-01-06 12:43

记 - flink sql upset-kafka sink 数据乱序排查与解决思路【业务数据任意修改】

记-flinksqlupset-kafkasink数据乱序排查与解决思路数据乱序现状[leftjoin]数据乱序原因分析与解决乱序sql如下sql执行计划图业务操作kafka乱序数据原因分析解决验证补充多表
cg6·2024-01-06 12:43

Flink ＜--＞Kafka的使用介绍+with参数

Kafka数据管道是流计算系统中最常用的数据源（Source）和数据目的（Sink）。
Samooyou·2024-01-06 12:12

使用flink的sql-client.sh，测试mysql--＞kafka--＞kafka--＞mysql实时流

flinksql客户端3.2配置输出格式3.3flink建表3.4任务流配置4.测试4.1插入测试数据4.2查看结果表数据4.3新增测试数据4.4再次查看结果表数据1.环境介绍服务版本zookeeper3.8.0kafka3.3.1flink1.13.5mysql5.7.34jdk1.8scala2.12
易逝的年华·2024-01-06 12:12

为什么我的flink upsert-kafka 没有数据输出

我写了测试数据到kafka为什么upsert-kafka没有数据打印?
Thomas2143·2024-01-06 12:39

windows安装kafka以及kafka管理工具推荐

windows安装1.下载地址下载地址下载最新版本的.tgz文件解压2.修改配置修改config目录下的zookeeper.properties中的dataDir属性server.properties文件中的log.dir属性3.启动zookeeper进入到bin\windows\下的用cmd输入zookeeper-server-start.bat..\..\config\zookeeper.pr
原味酸牛奶丶·2024-01-06 08:13

Kafka安全认证机制详解之SASL_SCRAM

在实际使用过程中，可以使用Kafka提供的命令动态地创建和删除用户，无需重启整个集群。因此，如果打算使用SASL/PLAIN，不妨改用SASL/SCRAM试试。
4935同学·2024-01-06 08:43

修改kafka单个topic的数据过期时间

/kafka-configs.sh --bootstrap-server172.16.6.21:9092--alter--entity-nametopic_name --entity-typetopics
pekingK·2024-01-06 08:12

kafka 增量快照的使用

增量快照RocksDB支持增量快照。不同于产生一个包含所有数据的全量备份，增量快照中只包含自上一次快照完成之后被修改的记录，因此可以显著减少快照完成的耗时。一个增量快照是基于（通常多个）前序快照构建的。由于RocksDB内部存在compaction机制对sst文件进行合并，Flink的增量快照也会定期重新设立起点（rebase），因此增量链条不会一直增长，旧快照包含的文件也会逐渐过期并被自动清理。
pekingK·2024-01-06 08:12

kafka重平衡经验总结

文章目录概要背景解决方法技术细节小结概要关于kafka重平衡问题在实践工作的应用背景重平衡包括以下几种场景:消费者组内成员发生变更，这个变更包括了增加和减少消费者。
qq_43369327·2024-01-06 08:11

springboot、spring-kafka、kafka-client的版本对应关系

在使用springboot集成kafka的时候需要注意springboot版本、引用的依赖spring-kafka版本和kafka中间件版本的对应关系，否则可能会因为版本不兼容导致出现错误。
ldcaws·2024-01-06 08:10

05、Kafka ------ CMAK 各个功能的作用解释（主题和分区 详解，用命令行和图形界面创建主题和查看主题）

目录CMAK各个功能的作用解释（主题）★主题★分区★创建主题：★列出和查看主题CMAK各个功能的作用解释（主题）★主题Kafka主题虽然也叫topic，但它和Pub-Sub消息模型中topic主题及AMQP
_L_J_H_·2024-01-06 08:08

python写入kafka数据时报错解决方案

报错如下：Traceback(mostrecentcalllast):File"/mnt/disk1/cdp/icu/icu_reades2kafka_v4_bigdata_v4_shuashu.py"
pekingK·2024-01-06 08:38

Kafka实战：消息队列系统的构建与优化

引言：ApacheKafka是一种高各性能的分布式流处理平台。它能处理亿级别的事件，提供严格的顺序一致性保证。今天，我们将深入探讨如何在实战中使用Kafka，构建并优化我们的消息队列系统。
浮生(FS)·2024-01-06 07:23

实现阿里云MySQL数据库实时同步到AWS的MySQL数据库

方案设计我们的方案是利用Kafka作为中间件，将阿里云MyS
浮生(FS)·2024-01-06 07:49

大数据管理平台DataSophon开源动态&进行远程Debug方法

新增支持YARN，HDFS，ZK，Hive，Kafka，HBase组件集成Kerberos，支持友好的开启和关闭集成Kerberos。新增机
浮世Talk·2024-01-06 05:18

知识点总结——总体概览图

知识点总结数据结构和算法篇动画算法JAVAJava基础JVMJava多线程Java集合框架框架篇springmybatis消息队列kafkarocketmq数据存储篇redismysql系统设计，项目经验
谷禾水·2024-01-06 04:58

Kafka 如何保证消息不丢失？

关于“Kafka如何保证消息不丢失”这个问题一、面试解析（如图）kafka是一个用来实现异步消息通信的中间件，它的整个架构由Producer、Consumer、Broker组成。
浮生带你学Java·2024-01-05 21:46

如何使用Node.js快速创建本地HTTP服务器并实现公网访问服务端

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-05 20:28

javaweb项目开发案例

前言我们说Kafka是一个消息队列，其实更加确切的说：是Broker这个核心部件。为何这么说？
HUAXIAL·2024-01-05 20:02
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他