Kafka原理解析

Kafka（六）消费者

目录Kafka消费者1配置消费者bootstrap.serversgroup.idkey.deserializervalue.deserializergroup.instance.idfetch.min.bytes
yunyun1886358·2024-01-07 16:55

Kafka大厂高频面试题：在保证高性能、高吞吐的同时保证高可用性

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时，一旦这条消息被commit，由于副本机制（replication）的存在，它就不会丢失。
一只程序猿哟·2024-01-07 16:28

38 调优kafka

操作系统调优1.禁止atime更新，减少文件系统的写操作。mount-onoatime2.选择高性能的文件系统，如ext4或者XFS3.swap空间设置，将swappniness设置成很小的一个值比如1～10，防止linuxOOMKiller开启随意杀掉进程。swappiness的值是个参考值，是否会发生swap跟当前是哪种pagereclaim及系统当前状态都有关系，所以设置了swappines
ZyyIsPig·2024-01-07 14:31

学习笔记-日志采集和实时分析简单实例

流程简述：Nginx生成的访问日志文件通过Filebeat采集输入到Kafka中，Kafka中数据流入Logstash，Logstash处理过滤数据。
人生偌只如初见·2024-01-07 13:27

使用Docker搭建单机Kafka

Docker搭建Zookeeper获取zookeeperdockerpullzookeeper运行zookeeperdockerrun-it-p2888:2888-p2181:2181--name=zookeeperzookeeper自此zookeeper搭建完毕从控制台返回的信息中，我们可以得知zookeeper的配置文件地址为/conf/zoo.cfg，我们可以对zookeeper的配置进行自
晴海s·2024-01-07 12:33

Kafka（三）概述

目录1Kafka的应用场景1.1活动跟踪1.2消息传递1.3指标和日志记录1.4提交日志1.5流式处理2Kafka的核心概念消息（message）键（Key）批次（Batch）模式（Schema）主题（
yunyun1886358·2024-01-07 10:35

kafka生产者设置ack、消费者设置自动提交实例

生产者在Kafka中，可以通过设置acks参数为“all”来确保生产者在成功写入所有副本后才认为消息发送成功。
杵意·2024-01-07 10:04

Kafka（四）Broker

目录1配置Broker1.1Broker的配置broker.id=0listererszookeeper.connectlog.dirslog.dir=/tmp/kafka-logsnum.recovery.threads.per.data.dir
yunyun1886358·2024-01-07 10:32

Kafka 与 RabbitMQ

现在看来，当我们需要在项目中使用消息队列时，Kafka是首选产品。但是，当我们考虑特定要求时，它并不总是最佳选择。数据库支持的队列让我们再次使用我们的星巴克示例。
Linux技术社区·2024-01-07 09:20

数仓工具—Hive进阶之StorageHandler(23)

StorageHandler引入StorageHandler，Hive用户使用SQL的方式读写外部数据源,例如ElasticSearch、Kafka、HBase等数据源的查询对非专业开发是有一定门槛的，
不二人生·2024-01-07 07:39

Kafka Rebalance机制

这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是Kafka重平衡机制重平衡的作用重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下
tracy_668·2024-01-07 07:48

kafka中，使用ack提交时，存在重复消费问题

监听的topic中，增加了一条数据，但是代码消费了好几次，而且确实也走ack.acknowledge();这块逻辑了，因为处理的逻辑是要入库的，导致数据多了好几条，后排查得知是配置问题…spring.kafka.consumer.enable-auto-commit
奔跑的小蜗牛哈哈·2024-01-07 07:20

MinIO创建bucket notificaion

docs.min.io/docs/minio-bucket-notification-guide.html1.preparethedocker-composefileversion:'3'services:kafka
雅阁驸马·2024-01-07 06:45

深度解析：Kafka、ActiveMQ、RabbitMQ、RocketMQ的区别与比较

目录引言1.Kafka1.1架构设计1.2特点与优势2.ActiveMQ2.1架构设计2.2特点与优势3.RabbitMQ3.1架构设计3.2特点与优势4.RocketMQ4.1架构设计4.2特点与优势
喔的 喔的嘛呀·2024-01-07 05:16

filebeat+kafka+elasticsearch+logstash+kibana

版本filebeat6.6.0+kafka2.11+elk7.3.1elk是docker部署的，其他是本地服务下载地址：https://mirrors.huaweicloud.com/filebeat/
多走走多看看·2024-01-07 03:21

kafka 生产者是如何选投递分区的，消费者选择分区

bin/kafka-topics.sh--zookeeperlocalhost:2181--create--topicmy-top
long_c2b7·2024-01-07 01:02

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

实时数仓模型

实时数仓主要是基于数据采集工具，如canal等原始数据写入到kafka这样的数据通道中，最后一般都是写入到类似于HBase这样的OLAP存储系统中。对外提供分钟级别，甚
jero_lei·2024-01-06 23:48

Spring Cloud Hystrix原理解析

1、简介Hystrix源自Netflix团队于2011年开始研发，至今不断发展和成熟，Netflix内部很多团队都使用了他。在分布式系统中，不可避免的服务数量会不断升级且相互依赖，当某些服务且并发请求量瞬间巨大时，可能引起服务雪崩，从而导致整个微服务系统的崩坏。Hystrix面向请求流量管控这一微服务痛点，具有如下几项设计原则：1、防止单个服务的故障，耗尽整个系统服务的容器（比如tomcat）的线
我从不砍柴·2024-01-06 18:13

HTML video标签 src为网络地址无法显示问题解决 403Forbidden

原理解析：http请求头中有一个referrer字段，用来表示发起http请求的源地址信息服务器端在拿到这个referrer值后判断请求是否来自本站若不是则返回403，从而实现图片的防盗链。
pingmin_1001·2024-01-06 18:32

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

安装并运行node_exporter下载node_exporter解压到指定/app/exporter编写管理脚本control_node_exporter.sh，并给予权限chmod+xcontrol_node_exporter.sh，脚本内容如下：#!/bin/bashPID_FILE="node_exporter.pid"LOG_FILE="node_exporter.log"###这个路径
一座野山·2024-01-06 16:47

使用Kafka与Spark Streaming进行流数据集成

为了实现实时数据集成和分析，组合使用ApacheKafka和ApacheSparkStreaming是一种常见的做法。
晓之以理的喵~~·2024-01-06 16:43

【Pytorch】学习记录分享11——GAN对抗生成网络

PyTorchGAN对抗生成网络0.工程实现1.GAN对抗生成网络结构2.GAN构造损失函数（LOSS）3.GAN对抗生成网络核心逻辑3.1参数加载：3.2生成器：3.3判别器：0.工程实现原理解析：论文解析
大江东去浪淘尽千古风流人物·2024-01-06 15:15

大数据采集与预处理技术

1.3.1大数据采集技术1.3.2数据预处理技术第二章数据采集基础2.1传统数据采集技术2.2大数据采集基础第三章大数据采集架构1.Chukwa数据采集2.Flume数据采集3.Scribe数据采集4.kafka
Sparky*·2024-01-06 14:10

jaeger基于docker非all-in-one搭建(加入kafka作为缓冲)

文章目录前言示意图一、部署collector收藏家配置将存储指向Kafka1.节点12.节点23.节点3二、部署三台摄食者ingester消费kafka内jaeger-spans下的span信息传给es
20、77·2024-01-06 14:06

docker部署kafka

文章目录1.创建docker网卡(docker0172.17.0.1)1.部署节点12.部署节点23.部署节点34.查看效果2.部署kafka集群1.部署节点12.部署节点23.部署节点34.查看效果1
20、77·2024-01-06 14:35

Spring底层核心原理解析

先来看看入门使用Spring的代码：ClassPathXmlApplicationContextcontext=newClassPathXmlApplicationContext("spring.xml");UserServiceuserService=(UserService)context.getBean("userService");userService.test();对于这三行代码，大家
1b（￣▽￣）d　·2024-01-06 13:29

ClickHouse原理解析与实践

本篇文章主要在架构&使用上介绍ClickHouse的基本概念&基本查询，抛砖引玉，大家实践的路上多多交流。说在前头：OLAP的分类与OLAP操作OLAP的架构分类1.ROLAP：使用关系模型进行建模，数据建模通常使用星型模型或雪花模型。OLAP最初提出的时候就是建立在关系型数据库上，将多维度分析操作直接转换为SQL查询。2.MOLAP：为了缓解ROLAP的性能问题，MOLAP使用多维数组的形式保存
袋鼠先森·2024-01-06 13:15

Clickhouse为什么这么快？

（《ClickHouse原理解析与应用实践》总结）1、硬件方面Clickhouse会在内存中进行GroupBy，并使用HashTable装载数据。
sileiH·2024-01-06 13:43

flink消费kafka历史数据开窗计算数据丢失问题追踪记录

问题描述最近在开发flink程序时，需要开窗计算人次，在反复测试中发现flink的并行度会影响数据准确性，当kafka的分区数为6时，如果flink的并行度小于6，会有一定程度的数据丢失。
辛友·2024-01-06 13:21

记录flink读取kafka数据时checkpoint配置对offset提交的影响

一、问题描述flink消费kafka数据过程中，结果数据正常输出，但是kafka产生数据堆积二、原因分析flink任务运行中，checkpoint失败导致offset一直未提交，导致kafka数据堆积告警三
:）คิดถึง·2024-01-06 13:20

Upsert Kafka Connector - 让实时统计更简单

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源在某些场景中，例如读取compactedtopic或者输出（更新）聚合结果的时候，需要将Kafka消息记录的key当成主键处理，用来确定一条数据是应该作为插入
王知无(import_bigdata)·2024-01-06 13:49

Flink-SQL实现kafka处理后写入kafka

基本信息kafka版本1.13.2topic原始数据topicuser_behavior输出数据topicafter_binlog读取kafka原始数据CREATETABLEuser_behavior(
贾斯汀玛尔斯·2024-01-06 13:18

flink加载kafka数据源存储至hbase

implementation'org.apache.flink:flink-streaming-java:1.16.0'implementation'org.apache.flink:flink-connector-kafka
fengchengwu2012·2024-01-06 12:13

Flink 解析kafka avro格式

Kafka|ApacheFlink详见上面docs文档flink对接kafka的avro格式
cuichunchi·2024-01-06 12:13

flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析

flinksql-groupby字段[不等于]主键字段导致写入pg表死锁原因分析1、环境描述1、flink1.13.22、3个并发度[3个taskmanager]，即任务会在三个节点[A、B、C节点]上跑3、事实表join维度表2、找死锁sql在flink任务的taskmanager上找到的死锁sql:【没有找到insert相关的sql】数据库运维监控平台日志显示的死锁sql:3、数据发生变更时间
cg6·2024-01-06 12:43

记 - flink sql upset-kafka sink 数据乱序排查与解决思路【业务数据任意修改】

记-flinksqlupset-kafkasink数据乱序排查与解决思路数据乱序现状[leftjoin]数据乱序原因分析与解决乱序sql如下sql执行计划图业务操作kafka乱序数据原因分析解决验证补充多表
cg6·2024-01-06 12:43

Flink ＜--＞Kafka的使用介绍+with参数

Kafka数据管道是流计算系统中最常用的数据源（Source）和数据目的（Sink）。
Samooyou·2024-01-06 12:12

使用flink的sql-client.sh，测试mysql--＞kafka--＞kafka--＞mysql实时流

flinksql客户端3.2配置输出格式3.3flink建表3.4任务流配置4.测试4.1插入测试数据4.2查看结果表数据4.3新增测试数据4.4再次查看结果表数据1.环境介绍服务版本zookeeper3.8.0kafka3.3.1flink1.13.5mysql5.7.34jdk1.8scala2.12
易逝的年华·2024-01-06 12:12

为什么我的flink upsert-kafka 没有数据输出

我写了测试数据到kafka为什么upsert-kafka没有数据打印?
Thomas2143·2024-01-06 12:39

HashMap ConcurrentHashMap原理解析

前言Map这样KeyValue的数据结构在开发中是非常经典的结构，常用于在内存中存放数据。本篇主要想讨论ConcurrentHashMap这样一个并发容器，在正式开始之前我觉得有必要谈谈HashMap，没有它就不会有后面的ConcurrentHashMap。HashMap众所周知HashMap底层是基于数组+链表实现的，不过在jdk1.7和1.8中具体实现稍有不同。Base1.71.7HashMa
Java_Explorer·2024-01-06 10:55

windows安装kafka以及kafka管理工具推荐

windows安装1.下载地址下载地址下载最新版本的.tgz文件解压2.修改配置修改config目录下的zookeeper.properties中的dataDir属性server.properties文件中的log.dir属性3.启动zookeeper进入到bin\windows\下的用cmd输入zookeeper-server-start.bat..\..\config\zookeeper.pr
原味酸牛奶丶·2024-01-06 08:13

Kafka安全认证机制详解之SASL_SCRAM

在实际使用过程中，可以使用Kafka提供的命令动态地创建和删除用户，无需重启整个集群。因此，如果打算使用SASL/PLAIN，不妨改用SASL/SCRAM试试。
4935同学·2024-01-06 08:43

修改kafka单个topic的数据过期时间

/kafka-configs.sh --bootstrap-server172.16.6.21:9092--alter--entity-nametopic_name --entity-typetopics
pekingK·2024-01-06 08:12

kafka 增量快照的使用

增量快照RocksDB支持增量快照。不同于产生一个包含所有数据的全量备份，增量快照中只包含自上一次快照完成之后被修改的记录，因此可以显著减少快照完成的耗时。一个增量快照是基于（通常多个）前序快照构建的。由于RocksDB内部存在compaction机制对sst文件进行合并，Flink的增量快照也会定期重新设立起点（rebase），因此增量链条不会一直增长，旧快照包含的文件也会逐渐过期并被自动清理。
pekingK·2024-01-06 08:12

kafka重平衡经验总结

文章目录概要背景解决方法技术细节小结概要关于kafka重平衡问题在实践工作的应用背景重平衡包括以下几种场景:消费者组内成员发生变更，这个变更包括了增加和减少消费者。
qq_43369327·2024-01-06 08:11

springboot、spring-kafka、kafka-client的版本对应关系

在使用springboot集成kafka的时候需要注意springboot版本、引用的依赖spring-kafka版本和kafka中间件版本的对应关系，否则可能会因为版本不兼容导致出现错误。
ldcaws·2024-01-06 08:10

05、Kafka ------ CMAK 各个功能的作用解释（主题和分区 详解，用命令行和图形界面创建主题和查看主题）

目录CMAK各个功能的作用解释（主题）★主题★分区★创建主题：★列出和查看主题CMAK各个功能的作用解释（主题）★主题Kafka主题虽然也叫topic，但它和Pub-Sub消息模型中topic主题及AMQP
_L_J_H_·2024-01-06 08:08
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他