Kafka】

Kafka可视化管理工具kafka-manager部署安装和使用

一、kafka-manager简介为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做KafkaManager。
至尊宝l·2024-01-07 22:52

Debezium发布历史51

debezium-meets-quarkus/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.Debezium遇见Quarkus三月14,2019作者：JiriPechanecquarkus示例微服务apache-kafka
大大蚊子·2024-01-07 22:33

Debezium发布历史49

reliable-microservices-data-exchange-with-the-outbox-pattern/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.使用发件箱模式进行可靠的微服务数据交换二月19,2019作者：GunnarMorling讨论微服务apache-kafka
大大蚊子·2024-01-07 22:02

学习笔记 | Kafka

一、概述定义1、Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用与大数据实时处理领域。
suweijie768·2024-01-07 21:22

【RabbitMQ】1 消息中间件MQ概述

目录什么是消息中间件为什么使用消息中间件流量削峰应用解耦异步处理主流消息中间件及选型选取原则RabbitMQRocketMQKafka如何选择消息中间件应用场景电商秒杀案例拉勾B端C端数据同步案例支付宝购买电影票什么是消息中间件维基百科对消息中间件的解释
Ethan-running·2024-01-07 21:57

2019-08-26 Kafka Producer

PropertiesPropertiesprops=newProperties()props.put(xxxx,xxxxx);props.put(xxxx,xxxxx);props.put(xxxx,xxxxx);ProducerRecordProducerRecordrecord=ProdecerRecord(topicdename,key,value:可以是值或者是个封装好信息的类)Produ
a6ec74fc2514·2024-01-07 21:00

Redis的IO多路复用原理解析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-07 20:10

消息队列之堆积问题分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-07 20:34

RabbitMQ快速入门（详细）

当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等2、作用1、消息中间件主要作用冗余(存储)扩展性可恢复性缓冲
寂冄·2024-01-07 19:44

分布式事务完美解决方案：消息中间件（kafka）+ 本地事物 + 消息校对

前言分布式事务是要保证多个服务下的多个数据库操作的一致性。分布式事务常见解决方案有：二阶段、三阶段和TCC实现强一致性事务，其实还有一种广为人知的方案就是利用消息队列来实现分布式事务，保证数据的最终一致性，也就是我们常说的柔性事务。本次使用MQ+本地事务+消息校对的方式来实现分布式事务。案例描述有两张银行卡为bankcard1和bankcard2，且这两张银行卡存在于不同的服务中，bankcard
ZYNORL·2024-01-07 19:35

kafka使用SASL_PLAINTEXT做用户认证

使用SASL/PLAIN认证server端1.配置brokerkafka_server_jaas.conf内容KafkaServer{org.apache.kafka.common.security.plain.PlainLoginModulerequiredusername
至垚·2024-01-07 18:50

后端常用组件小计

文章目录概要rediskafkaESmongodbmqmysqlwebhook动态配置apollo微服务系列文件存储系列概要rediskafkaESmongodbmqmysqlwebhook动态配置apollo
qq_43369327·2024-01-07 17:28

Kafka（五）生产者

目录Kafka生产者1配置生产者bootstrap.serverskey.serializervalue.serializerclient.id=""acks=allbuffer.memory=33554432
yunyun1886358·2024-01-07 16:37

Kafka（七）可靠性

目录1可靠的数据传递1.1Kafka的可靠性保证1.2复制1.3Broker配置1.3.1复制系数1.3.2broker的位置分布1.3.3不彻底的首领选举1.3.4最少同步副本1.3.5保持副本同步1.3.6
yunyun1886358·2024-01-07 16:37

Kafka（六）消费者

目录Kafka消费者1配置消费者bootstrap.serversgroup.idkey.deserializervalue.deserializergroup.instance.idfetch.min.bytes
yunyun1886358·2024-01-07 16:55

Kafka大厂高频面试题：在保证高性能、高吞吐的同时保证高可用性

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时，一旦这条消息被commit，由于副本机制（replication）的存在，它就不会丢失。
一只程序猿哟·2024-01-07 16:28

38 调优kafka

操作系统调优1.禁止atime更新，减少文件系统的写操作。mount-onoatime2.选择高性能的文件系统，如ext4或者XFS3.swap空间设置，将swappniness设置成很小的一个值比如1～10，防止linuxOOMKiller开启随意杀掉进程。swappiness的值是个参考值，是否会发生swap跟当前是哪种pagereclaim及系统当前状态都有关系，所以设置了swappines
ZyyIsPig·2024-01-07 14:31

学习笔记-日志采集和实时分析简单实例

流程简述：Nginx生成的访问日志文件通过Filebeat采集输入到Kafka中，Kafka中数据流入Logstash，Logstash处理过滤数据。
人生偌只如初见·2024-01-07 13:27

使用Docker搭建单机Kafka

Docker搭建Zookeeper获取zookeeperdockerpullzookeeper运行zookeeperdockerrun-it-p2888:2888-p2181:2181--name=zookeeperzookeeper自此zookeeper搭建完毕从控制台返回的信息中，我们可以得知zookeeper的配置文件地址为/conf/zoo.cfg，我们可以对zookeeper的配置进行自
晴海s·2024-01-07 12:33

Kafka（三）概述

目录1Kafka的应用场景1.1活动跟踪1.2消息传递1.3指标和日志记录1.4提交日志1.5流式处理2Kafka的核心概念消息（message）键（Key）批次（Batch）模式（Schema）主题（
yunyun1886358·2024-01-07 10:35

kafka生产者设置ack、消费者设置自动提交实例

生产者在Kafka中，可以通过设置acks参数为“all”来确保生产者在成功写入所有副本后才认为消息发送成功。
杵意·2024-01-07 10:04

Kafka（四）Broker

目录1配置Broker1.1Broker的配置broker.id=0listererszookeeper.connectlog.dirslog.dir=/tmp/kafka-logsnum.recovery.threads.per.data.dir
yunyun1886358·2024-01-07 10:32

Kafka 与 RabbitMQ

现在看来，当我们需要在项目中使用消息队列时，Kafka是首选产品。但是，当我们考虑特定要求时，它并不总是最佳选择。数据库支持的队列让我们再次使用我们的星巴克示例。
Linux技术社区·2024-01-07 09:20

数仓工具—Hive进阶之StorageHandler(23)

StorageHandler引入StorageHandler，Hive用户使用SQL的方式读写外部数据源,例如ElasticSearch、Kafka、HBase等数据源的查询对非专业开发是有一定门槛的，
不二人生·2024-01-07 07:39

Kafka Rebalance机制

这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是Kafka重平衡机制重平衡的作用重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下
tracy_668·2024-01-07 07:48

kafka中，使用ack提交时，存在重复消费问题

监听的topic中，增加了一条数据，但是代码消费了好几次，而且确实也走ack.acknowledge();这块逻辑了，因为处理的逻辑是要入库的，导致数据多了好几条，后排查得知是配置问题…spring.kafka.consumer.enable-auto-commit
奔跑的小蜗牛哈哈·2024-01-07 07:20

MinIO创建bucket notificaion

docs.min.io/docs/minio-bucket-notification-guide.html1.preparethedocker-composefileversion:'3'services:kafka
雅阁驸马·2024-01-07 06:45

深度解析：Kafka、ActiveMQ、RabbitMQ、RocketMQ的区别与比较

目录引言1.Kafka1.1架构设计1.2特点与优势2.ActiveMQ2.1架构设计2.2特点与优势3.RabbitMQ3.1架构设计3.2特点与优势4.RocketMQ4.1架构设计4.2特点与优势
喔的 喔的嘛呀·2024-01-07 05:16

filebeat+kafka+elasticsearch+logstash+kibana

版本filebeat6.6.0+kafka2.11+elk7.3.1elk是docker部署的，其他是本地服务下载地址：https://mirrors.huaweicloud.com/filebeat/
多走走多看看·2024-01-07 03:21

kafka 生产者是如何选投递分区的，消费者选择分区

bin/kafka-topics.sh--zookeeperlocalhost:2181--create--topicmy-top
long_c2b7·2024-01-07 01:02

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

实时数仓模型

实时数仓主要是基于数据采集工具，如canal等原始数据写入到kafka这样的数据通道中，最后一般都是写入到类似于HBase这样的OLAP存储系统中。对外提供分钟级别，甚
jero_lei·2024-01-06 23:48

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

安装并运行node_exporter下载node_exporter解压到指定/app/exporter编写管理脚本control_node_exporter.sh，并给予权限chmod+xcontrol_node_exporter.sh，脚本内容如下：#!/bin/bashPID_FILE="node_exporter.pid"LOG_FILE="node_exporter.log"###这个路径
一座野山·2024-01-06 16:47

使用Kafka与Spark Streaming进行流数据集成

为了实现实时数据集成和分析，组合使用ApacheKafka和ApacheSparkStreaming是一种常见的做法。
晓之以理的喵~~·2024-01-06 16:43

大数据采集与预处理技术

1.3.1大数据采集技术1.3.2数据预处理技术第二章数据采集基础2.1传统数据采集技术2.2大数据采集基础第三章大数据采集架构1.Chukwa数据采集2.Flume数据采集3.Scribe数据采集4.kafka
Sparky*·2024-01-06 14:10

jaeger基于docker非all-in-one搭建(加入kafka作为缓冲)

文章目录前言示意图一、部署collector收藏家配置将存储指向Kafka1.节点12.节点23.节点3二、部署三台摄食者ingester消费kafka内jaeger-spans下的span信息传给es
20、77·2024-01-06 14:06

docker部署kafka

文章目录1.创建docker网卡(docker0172.17.0.1)1.部署节点12.部署节点23.部署节点34.查看效果2.部署kafka集群1.部署节点12.部署节点23.部署节点34.查看效果1
20、77·2024-01-06 14:35

flink消费kafka历史数据开窗计算数据丢失问题追踪记录

问题描述最近在开发flink程序时，需要开窗计算人次，在反复测试中发现flink的并行度会影响数据准确性，当kafka的分区数为6时，如果flink的并行度小于6，会有一定程度的数据丢失。
辛友·2024-01-06 13:21

记录flink读取kafka数据时checkpoint配置对offset提交的影响

一、问题描述flink消费kafka数据过程中，结果数据正常输出，但是kafka产生数据堆积二、原因分析flink任务运行中，checkpoint失败导致offset一直未提交，导致kafka数据堆积告警三
:）คิดถึง·2024-01-06 13:20

Upsert Kafka Connector - 让实时统计更简单

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源在某些场景中，例如读取compactedtopic或者输出（更新）聚合结果的时候，需要将Kafka消息记录的key当成主键处理，用来确定一条数据是应该作为插入
王知无(import_bigdata)·2024-01-06 13:49

Flink-SQL实现kafka处理后写入kafka

基本信息kafka版本1.13.2topic原始数据topicuser_behavior输出数据topicafter_binlog读取kafka原始数据CREATETABLEuser_behavior(
贾斯汀玛尔斯·2024-01-06 13:18

flink加载kafka数据源存储至hbase

implementation'org.apache.flink:flink-streaming-java:1.16.0'implementation'org.apache.flink:flink-connector-kafka
fengchengwu2012·2024-01-06 12:13

Flink 解析kafka avro格式

Kafka|ApacheFlink详见上面docs文档flink对接kafka的avro格式
cuichunchi·2024-01-06 12:13

flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析

flinksql-groupby字段[不等于]主键字段导致写入pg表死锁原因分析1、环境描述1、flink1.13.22、3个并发度[3个taskmanager]，即任务会在三个节点[A、B、C节点]上跑3、事实表join维度表2、找死锁sql在flink任务的taskmanager上找到的死锁sql:【没有找到insert相关的sql】数据库运维监控平台日志显示的死锁sql:3、数据发生变更时间
cg6·2024-01-06 12:43

记 - flink sql upset-kafka sink 数据乱序排查与解决思路【业务数据任意修改】

记-flinksqlupset-kafkasink数据乱序排查与解决思路数据乱序现状[leftjoin]数据乱序原因分析与解决乱序sql如下sql执行计划图业务操作kafka乱序数据原因分析解决验证补充多表
cg6·2024-01-06 12:43

Flink ＜--＞Kafka的使用介绍+with参数

Kafka数据管道是流计算系统中最常用的数据源（Source）和数据目的（Sink）。
Samooyou·2024-01-06 12:12

使用flink的sql-client.sh，测试mysql--＞kafka--＞kafka--＞mysql实时流

flinksql客户端3.2配置输出格式3.3flink建表3.4任务流配置4.测试4.1插入测试数据4.2查看结果表数据4.3新增测试数据4.4再次查看结果表数据1.环境介绍服务版本zookeeper3.8.0kafka3.3.1flink1.13.5mysql5.7.34jdk1.8scala2.12
易逝的年华·2024-01-06 12:12

为什么我的flink upsert-kafka 没有数据输出

我写了测试数据到kafka为什么upsert-kafka没有数据打印?
Thomas2143·2024-01-06 12:39
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他