Kafka原理解析

详解kafka中的消息日志文件：Topic消息分类、partition分区、segment分段、offset偏移量索引文件

一、Kafka简介Kafka是一种高吞吐量的基于zookeeper协调的以集群的方式运行的分布式发布订阅消息系统，支持分区（partition）、多副本（replica），具有非常好的负载均衡能力和处理性能
LaoYuanPython·2023-09-16 00:24

redis 持久化原理解析

1.前言本文将先说明持久化、主存复制(及读写分离)、哨兵、以及集群几种技术分别解决了Redis高可用的什么问题；然后详细介绍Redis的持久化技术，主要是RDB和AOF两种持久化方案；在介绍RDB和AOF方案时，不仅介绍其作用及操作方法，同时介绍持久化实现的一些原理细节及需要注意的问题。最后，介绍在实际使用中，持久化方案的选择，以及经常遇到的问题等。1.1redis如何支持服务高可用在介绍Redi
试剑江湖。·2023-09-16 00:41

maven本地打包和jenkins的区别导致的问题

开发一个jar项目，由于要做消息发送端，就引用了公司kafka基本组件jar包。在本地跑的时候，什么问题都没有，然后提交代码到测试环境jenkins打包部署，然后发现日志怎么都打不出来。
lf_breeze·2023-09-15 23:05

怎样查看kafka写数据送到topic是否成功

要查看Kafka写数据是否成功送到主题（topic），可以通过以下几种方法来进行确认：Kafka生产者确认机制：Kafka提供了生产者的确认机制，您可以在创建生产者时设置acks属性来控制确认级别。
qq_33192454·2023-09-15 23:28

配置 Kafka 生产者属性

配置Kafka生产者属性是设置Kafka生产者的一些参数，以确保生产者能够正确连接到Kafka集群，并以预期的方式发布消息。您可以使用Properties对象来设置这些属性。
qq_33192454·2023-09-15 23:58

java黄油刀_ButterKnife原理解析看这篇文章就够了

原标题：ButterKnife原理解析看这篇文章就够了作者：SheHuanhttps://juejin.im/post/5acec2b46fb9a028c6761628ButterKnife算是一款知名老牌
莫魔墨·2023-09-15 22:28

SSTables和LSM-Tree

SSTables可以类比Kafka：将数据按键排序写入磁盘，并分为多个段，组织段的稀疏索引，并定期合并段文件（kafka因为不存在重复数据，所以不需要合并）LSM-Tree是基于SSTables的：在内存中维护两个
唐伯虎点蚊香dw·2023-09-15 22:04

开源项目-SeaTunnel-UI数据集成系统

哈喽，大家好，今天给大家带来一个开源项目-SeaTunnel-UI数据集成系统系统主要有任务配置，任务实例，数据源，虚拟表，用户管理等功能登录数据源mysql数据源配置参数说明kafka参数配置mysqlcdc
小灰灰__·2023-09-15 20:32

kafkaManager安装

下载安装sbt在安装KafkaManager之前，需要先安装sbt。sbt是一个用于Scala项目构建和依赖管理的工具。
无与丶伦比丨·2023-09-15 18:06

Linux安装kafka-manager

相关链接https://github.com/yahoo/kafka-manager/releaseskafka-manager-2.0.0.2下载地址百度云链接：https://pan.baidu.com
bill447·2023-09-15 18:30

Kafka3.0.0版本——消费者（Sticky分区分配策略以及再平衡）

目录一、Sticky分区分配策略原理二、Sticky分区分配策略示例需求三、Sticky分区分配策略代码案例3.1、创建带有7个分区的sevenTopic主题3.2、创建三个消费者组成消费者组3.3、创建生产者3.4、测试3.5、Sticky分区分配策略代码案例说明四、Sticky分区分配再平衡案例4.1、停止某一个消费者后，（45s以内）重新发送消息示例4.2、停止某一个消费者后，（45s以后）
小志的博客·2023-09-15 17:20

什么让 Apache Kafka 如此快速？

Kafka支持高吞吐量、高度分布式、容错性强的平台，能够以低延迟传递消息。有几种技术使ApacheKafka如此快速：1.低延迟消息传递。2.批量数据和压缩。3.水平扩展。
小技术君·2023-09-15 17:38

kafka配置

生产者配置NAMEDESCRIPTIONTYPEDEFAULTVALIDVALUESIMPORTANCEbootstrap.servershost/port列表，用于初始化建立和Kafka集群的连接。
无条件做异梦·2023-09-15 17:29

多图详解 Kafka 原理与架构，建议收藏！

来源：https://www.cnblogs.com/bainianminguo/p/12247158.html作者：bainianminguo一、kafka概述1.1、定义Kakfa是一个分布式的基于发布
夜空_2cd3·2023-09-15 14:02

JMeter分布式测试原理解析+详细实现方案

前言由于Jmeter是java应用，对CPU和内存消耗较大，因此，当需要模拟大量并发用户时，使用单台机器来实现会有些力不从心，甚至会引起java内存溢出错误。这时就需要用到JMeter分布式测试：用一台控制机，控制多台远程负载机，同时对服务器施压。Jmeter分布式执行原理1、Jmeter分布式测试时，选择其中一台机器作为控制机(Controller)，其它机器则做为代理机(Agent)；2、执行
Hello_MiaoJiang·2023-09-15 14:41

【Flink实战】Flink对接Kafka Connetor使用docker部署kafka

作者：“大数据小禅”文章简介：Flink对接KafkaConnetor第一步使用docker部署kafka欢迎小伙伴们点赞、收藏⭐、留言目录导航什么是DockerDocker常用命令Docker安装过程
大数据小禅·2023-09-15 12:59

实现 Kafka 分区内消费者多线程顺序消费

在1个topic中，有3个partition，那么如何保证数据的顺序消费？生产者在写的时候，可以指定一个key，被分发到同一个partition中去，而且这个partition中的数据一定是有顺序的。消费者从partition中取出来数据的时候，也一定是有顺序的。到这里，顺序还是没有错乱的。但是消费者里可能会有多个线程来并发处理消息，而多个线程并发处理的话，顺序可能就乱掉了。解决方案写n个queu
npk191954·2023-09-15 12:17

【数据结构-进阶】二叉搜索树

推荐:kuan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-09-15 11:31

发送消息（二）RoutingKafkaTemplate，DefaultKafkaProducerFactory和 ReplyingKafkaTemplate

一、RoutingKafkaTemplate1.1、RoutingKafkaTemplate能做什么RoutingKafkaTemplate可以根据目标topic名称在运行时选择生产者。
timi先生·2023-09-15 10:59

kafka 消费者的工作流程

一kafka消费者1.1kafka消费的方式consumer采用从broker中主动拉取数据。Kafka采用这种方式。
健康平安的活着·2023-09-15 10:17

kafka 消费端重复消费和漏消费以及提高吞吐量

1.2漏消费二解决重复消费和漏消费如果想完成Consumer端的精准一次性消费，那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。
健康平安的活着·2023-09-15 10:17

kafka学习一：原理和概念

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。
健康平安的活着·2023-09-15 10:17

kafka 常用命令行操作（查看主题，生产数据，消费数据）

一topic相关操作1.1查看主题命令参数[root@localhostkafka_2.12-2.1.0]#bin/kafka-topics.sh1.2查看集群中所有topic主题[root@localhostkafka
健康平安的活着·2023-09-15 10:47

kafka的生产者的分区策略

一kafka分区策略1.1分区的好处分区的好处：便于将数据进行合理存储，将数据分割成一块一块的存储到不同的broker中。提高并行度：生产者按分区为单位进行生产，消费者按分区为单位进行消费。
健康平安的活着·2023-09-15 10:47

kafka的文件清除策略

一清除策略Kafka中默认的日志保存时间为7天，可以通过调整如下参数修改保存时间。
健康平安的活着·2023-09-15 10:47

kafka之事务

kafka学习之事务前言为了实现EOS(exactlyoncesemantics,精确一次处理语义)karka从0.11.0.0版本开始引入了幂等性和事务两个特性来支撑。
你的boy_Z·2023-09-15 10:16

kafka事务的详解

一kafka事务的机制1.1kafka的事务机制通过事务机制，KAFKA可以实现对多个topic的多个partition的原子性的写入，即处于同一个事务内的所有消息，不管最终需要落地到哪个topic的哪个
健康平安的活着·2023-09-15 10:15

半个小时搭建自己的实时监控系统

首先给直观的看看监控效果图：image.png数据流架构如下所示，通过Flume采集日志数据，并写入到kafka中，Flink读取kafka数据经过处理后再次放入到kafka中，监控页面通过websocket
那些年搬过的砖·2023-09-15 10:32

Flutter Weekly Issue 69

教程京东技术中心Flutter实践之路他把闲鱼APP长列表流畅度翻了倍（良心教程）Flutter中的TreeShaking机制初探（科普文）FlutterNavigator2.0完全指南与原理解析深入进阶
脉脉不得语·2023-09-15 10:59

一百七十六、Kettle——Kettle配置HDFS输出控件能不能加GZIP等压缩方式?

一、目的为了尽可能减少磁盘资源的消耗，因此需要对从Kafka到HDFS的写入数据进行数据压缩。
天地风雷水火山泽·2023-09-15 10:52

Flink 的 Kafka Table API Connector

Flinkdatastreamconnectors和Flinktableapiconnectors的区别：FlinkDataStreamConnectors和TableAPIConnectors是Flink中用于连接外部数据源的两种不同的连接器。1.FlinkDataStreamConnectors:-FlinkDataStreamConnectors是用于将外部数据源连接到FlinkDataSt
npk191954·2023-09-15 09:03

Docker安装及配置kafka

Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：•以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。•高吞吐率。
꧁༺摩༒西༻꧂·2023-09-15 06:52

QLExpress代码解读，运行原理解析

简介：本文针对上图的功能详细图，进行逐个的简单介绍：代码入口、代码的主要逻辑和算法。调用代码实例//本文以helloworld案例,开启了两个打印日志的参数，实际使用通常不建议打开。booleanprintParseLog=true;//语法分析日志开关booleanprintExecu…本文针对上图的功能详细图，进行逐个的简单介绍：代码入口、代码的主要逻辑和算法。调用代码实例//本文以hello
Dylan ZhaoHT·2023-09-15 06:21

Docker 安装Kafka

第一步：查看本地镜像、检索Kafka镜像和下载Kafka镜像#查看本地镜像dockerimages#检索Kafka镜像dockersearchkafka#下载Kafka镜像指定版本dockerpullwurstmeister
在奋斗的大道·2023-09-15 06:16

flink连接kafka报：org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic

报错信息Causedby:org.apache.flink.runtime.JobException:RecoveryissuppressedbyNoRestartBackoffTimeStrategyatorg.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(Exec
未来的资深Java架构师·2023-09-15 06:16

深入理解KAFKA_ADVERTISED_LISTENERS

一、直入主题，解释(1)第一句话=========KAFKA_LISTENERS：负责绑定网卡KAFKA_ADVERTISED_LISTENERS：负责发布外网地址，这个地址会发布到zookeeper中
jason.zeng@1502207·2023-09-15 06:45

6、如何将 Flink 中的数据写入到外部系统(文件、MySQL、Kafka)

目录1、如何查询官网2、Flink数据写入到文件3、Flink数据写入到Kafka4、Flink数据写入到MySQL1、如何查询官网官网链接：官网2、Flink数据写入到文件传送门：Flink数据写入到文件
广阔天地大有可为·2023-09-15 05:02

flink连接kafka报：org.apache.kafka.common.errors.TimeoutException

测试flink1.12.7连接kafka：packageorg.test.flink;importorg.apache.flink.api.common.serialization.SimpleStringSchema
恬毅·2023-09-15 05:02

腾讯mini项目-【指标监控服务重构】2023-08-01

TraceparentHeader理解有误TraceContext(w3.org)故需要解析TraceHeader才能获取trace_id、parent_idfunc(profileCtx*ProfileContext)UnpackKafkaMessage
奥库甘道夫·2023-09-15 05:59

Flutter渲染原理解析

Flutter，一切皆Widget。先看一张Google提供的的原理图：flutter-ui这张图清晰地解释了：Flutter只关心向GPU提供视图数据，GPU的VSync信号同步到UI线程，UI线程使用Dart来构建抽象的视图结构，这份数据结构在GPU线程进行图层合成，视图数据提供给Skia引擎渲染为GPU数据，这些数据通过OpenGL或者Vulkan提供给GPU。所以Flutter并不关心显示
蔺小帅·2023-09-15 02:40

【消息队列】浅析Kafka的特点及底层运行机制

Kafka官方文档：https://kafka.apache.org/documentation/#introduction一、什么是KafkaKafka是一种基于发布/订阅模式的分布式消息队列。
shengjidaguaiLL·2023-09-15 01:58

kafkaStream实时流式计算

2实时流式计算2.1概念一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高，同时一般是先定义目标计算，然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率，往往尽可能采用增量计算代替全量计算。流式计算就相当于扶梯，是可以源源不
无条件做异梦·2023-09-15 01:14

关于ActiveMQ、RocketMQ、RabbitMQ、Kafka一些总结和区别

转自：http://www.cnblogs.com/williamjie/p/9481780.html尊重原作，谢谢消息队列为什么写这篇文章?博主有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是
superNeil·2023-09-15 00:39

Kafka可视化管理工具-EFAK

一、什么是EFAKEFAK（EagleForApacheKafka，以前称为KafkaEagle）EFAK是开源可视化和管理软件。
AC编程·2023-09-14 16:17

Java NIO - 零拷贝实现

文章目录JavaNIO-零拷贝实现JavaNIO零拷贝MappedByteBufferDirectByteBufferFileChannel其它的零拷贝实现Netty零拷贝RocketMQ和Kafka对比
励志成为大牛的小牛·2023-09-14 14:15

echart 数据视图_浅谈Flink分布式运行时和数据流图的并行化

关于FlinkWordCount程序可以参考我之前的文章：Flink入门：读取Kafka实时数据流，实现WordCount。阅读完本文后，读者可以对Flink的分布式运行时有一个全面的认识。
weixin_39709674·2023-09-14 13:09

Flink开发-常用的Source数据源

Source1.1fromCollection1.2fromElements1.3fromParallelCollection1.4generateSequence2.基于Socket的Source3.基于文件的Source3.1readFile3.1readTextFile4.KafkaConsumer5
知白zz·2023-09-14 13:37

Flink 系例之 SQL 案例 - 订单统计

将对电商实时订单进行聚合计算，分以下两个维度进行：1.统计每1分钟的订单数量、用户数量、销售额、商品数2.统计每个分类的订单总数量、用户总数量（未去重）、销售额、商品数流程说明：1.通过模拟电商平台订单简要数据，向Kafka
不会飞的小龙人·2023-09-14 13:06

Flink学习——处理不同数据源的流数据，存入不同的Sink端

目录一、单机版安装二、IDEA操作Flink(一)添加依赖(二)数据源——Source1.加载元素数据2.加载集合数据3.加载文件目录4.加载端口5.加载kafka的topic——重要&常用6.加载自定义数据源
雷神乐乐·2023-09-14 13:05

mac安装kafka详细教程

mac环境安装kafkaHomebrew方式安装1brewinstallkafka，kafka依赖zookeeper，所以安装后会生成kafka、zookeeper两个文件夹，分别位于/usr/local
小光滚雪球·2023-09-14 12:07
上一页 110 111 112 113 114 115 116 117 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他