Kafka架构设计

【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:19

【Kafka-3.x-教程】-【五】Kafka-监控-Eagle

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:19

Kafka-基础(同步消息、异步消息、事务消息、分区规则、Leader选举、分区副本、分区分配策略、消息消费)

Kafka-基础Kafka是基于发布/订阅的消息队列，主要用于大数据实时处理领域，Kafka是一个开源的分布式事件流平台，被数千家公式用于高性能数据管道、流分析、数据集成、关键任务应用等消息队列类型目前在企业中比较常见的消息队列重排主要有
JolyouLu·2024-01-11 06:18

【总结】消息队列 - Kafka

3.kafka相关概念1）producer（生产者）：消息生产者，发布消息到kafka集群的终端或服务。produ
tianya3530·2024-01-11 06:48

kafka，zookeper的搭建 消息队列---------基于linux

Kafka和RabbitMQ的区别首先是在不考虑一些非功能性限制（如运营成本，开发人员对两个平台的了解等）的情况下：优先选择RabbitMQ的条件高级灵活的路由规则。
kjshuan·2024-01-11 06:14

Kafka - Broker 详解

目录零、前置一、KafkaBroker工作流程1.Zookeeper存储的Kafka信息2.KafkaBroker总体工作流程模拟Kafka上下线，Zookeeper中数据变化3.Broker重要参数二
不会调制解调的猫·2024-01-11 06:41

【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:40

【Kafka-3.x-教程】-【七】Kafka 生产调优、Kafka 压力测试

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程
bmyyyyyy·2024-01-11 06:40

09、Kafka ------ 通过修改保存时间来删除消息（retention.ms 配置）

目录通过修改保存时间来删除消息★删除指定主题的消息演示1、修改kafka检查过期消息的时间间隔2、修改主题下消息的过期时间3、查看修改是否生效4、先查看下主题下有没有消息5、添加几条消息看效果6、查看消息是否被删除
_L_J_H_·2024-01-11 06:39

08、Kafka ------ 消息存储相关的配置--＞消息过期时间设置、查看主题下的消息存活时间等配置

目录消息存储相关的配置★消息的存储介绍★消息过期时间及处理方式演示：log.cleanup.policy属性配置★修改指定主题的消息保存时间演示：将test2主题下的消息的保存时间设为10个小时1、先查看test2主题下的配置2、然后设置消息的保存时间3、然后再查一遍test2的配置，看是否修改成功★查看指定主题的配置命令1：查看所有对象的信息命令2：查看特定主题的信息消息存储相关的配置★消息的存
_L_J_H_·2024-01-11 06:09

kafka连接失败时springboot项目启动停机问题

问题：springboot整合kafka，作为消费端，对端的kafka系统是在生产环境，在本地开发测试时配置了对端的生产环境的kafka地址。
行善积德_Fei·2024-01-11 06:38

使用Springboot+websocket+kafka模拟实时数据传输

文章目录使用Springboot+websocket+kafka模拟实时数据传输环境准备数据源读取WebSocket服务器网页启动使用Springboot+websocket+kafka模拟实时数据传输环境准备环境
叶梦璃愁·2024-01-11 06:36

Kafka Connect 启动服务以及提交任务初体验

Kafka提供两种启动方式，一种是单机版standalone，一种是分布式版distributed，与之想对应的配置文件也是分开的单机版的配置文件：connect-standalone.properties
LijunYe·2024-01-11 05:08

Kafka之集群搭建

1.为什么要使用kafka集群单机服务下，Kafka已经具备了非常高的性能。TPS能够达到百万级别。但是，在实际工作中使用时，单机搭建的Kafka会有很大的局限性。消息太多，需要分开保存。
瑜伽娃娃·2024-01-11 03:22

Spring Boot 2.X(十四)：日志功能 Logback

主要特点是效率更高，架构设计够通用，适用于不同的环境。Logback分为三个模块：logback-core，logback-classic和logback-access。
朝雾轻寒·2024-01-11 02:27

9.2、增量表数据同步

1、数据通道2、Flume配置1）Flume配置概述Flume需要将Kafka中topic_db主题的数据传输到HDFS，故其需选用KafkaSource以及HDFSSink，Channel选用FileChannel
施小赞·2024-01-11 02:16

2021-05-19 Kafka Docker安装配置

1.下载docker镜像kafka镜像dockerpullwurstmeister/kafkazookeeper镜像dockerpullwurstmeister/zookeeper2.启动ZK容器dockerrun-d
四川辣条协会会长·2024-01-11 01:13

分布式系统架构设计之分布式消息队列 VS 分布式事务

1、分布式事务的挑战在分布式系统中，事务的处理变得尤为复杂，传统的数据库事务（ACID）在单一数据库中可以确保数据的完整性和一致性，但在多个分布式节点间保证事务的原子性、一致性、隔离性和持久性变得极具挑战性。01原子性（Atomicity）确保所有操作要么全部完成，要么全部不完成，在分布式环境中，由于网络故障、节点宕机等原因，可能导致部分操作成功，部分操作失败。02一致性（Consistency）
灸哥漫谈·2024-01-11 01:06

Java面试题整理（带答案）

题目来源是https://blog.csdn.net/sufu1065/article/details/88051083我删除了自己不使用的框架技术栈，像Hibernate、Kafka、Zookeeper
隔壁老赵·2024-01-11 00:37

细谈八种架构设计模式及其优缺点概述

一、什么是架构我想这个问题，十个人回答得有十一个答案，因为另外的那一个是大家妥协的结果。哈哈，我理解，架构就是骨架，如下图所示：人类的身体的支撑是主要由骨架来承担的，然后是其上的肌肉、神经、皮肤。架构对于软件的重要性不亚于骨架对人类身体的重要性。二、.什么是设计模式这个问题我问过的面试者不下于数十次，回答五花八门，在我看来，模式就是经验，设计模式就是设计经验，有了这些经验，我们就能在特定情况下使用
风平浪静如码·2024-01-11 00:05

Kafka 基本概念和术语

1、消息Record：Kafka是消息引擎嘛，这里的消息就是指Kafka处理的主要对象。2、主题Topic：主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。
Java-Talk·2024-01-11 00:15

springCould中的Bus-从小白开始【11】

目前支持RabbitMQ和Kafka。S
会敲代码的小张·2024-01-10 23:56

项目构建和基础知识--Django播客系统(三)

Django播客系统(三)概述安装Django创建Django项目数据库配置MySQL数据库驱动创建应用注册应用模型Model创建User的Model类Django后台管理路由概述Django采用MVC架构设计的开源的
带着梦想飞翔·2024-01-10 23:44

黑马头条(APP端)

项目包含三个部分用户移动app端用户自媒体端管理平台端涉及技术栈：SpringBoot+SpringCloud+nacos+swagger+freemarker+OSS+ElasticSearch+Redis+Kafka
一码一上午·2024-01-10 23:41

离线数仓构建案例一

数据采集日志数据（文件）到Kafka自己写个程序模拟一些用户的行为数据，这些数据存在一个文件夹中。接着使用flume监控采集这些文件，然后发送给kafka中待消费。
躺着听Jay·2024-01-10 22:06

【高效开发工具系列】idea注释设置

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-10 22:30

你写得API接口代码这么差，难道不能对返回格式统一处理一下吗？

随着互联网各岗位精细化分工的普及，出现了很多的系统架构设计，比如常见的前后端分离架构，后端提供接口给前端，前端根据接口的数据进行渲染，大家各执其职，效率也非常的高，但是随着接口的增加，如果不统一的规范就会额外的增加大量的沟通成本以及学习成本
风平浪静如码·2024-01-10 21:45

81、Spark Streaming之DStream以及基本工作原理

它支持从很多种数据源中读取数据，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCPSocket。
ZFH__ZJ·2024-01-10 20:43

面试|Kafka常见面试问题总结

[TOC]现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。
tracy_668·2024-01-10 19:22

docker 快速启动 Confluent Kafka

文章目录参考资料来自ConfluentKafka与Confluent创建docker-compose.yml启动服务创建Topic向quickstart中写入数据消费quickstart中的数据关闭Kafka
秀强·2024-01-10 16:20

Kafka 中 topic、partition、offset、replica、ISR 等概念详解

文章目录消息的数据结构topic和partition位移（offset）replicaleader和followerISR先说一个题外话，就是Kafka名字的由来：IthoughtthatsinceKafkawasasystemoptimizedforwritingusingawriter
秀强·2024-01-10 16:20

互联网的智算架构设计

前言什么是人工智能？当被问到这个问题时，我们很容易联想到一个例子：给计算机发一张图片，计算机根据图片中的一些特征，判断图片中这个动物是猫还是狗。说到AIphaGo，我想你也不会陌生，“17年3:0完胜世界冠军柯洁”让大家真切感受到AI的威力。这两个看似天差地别的例子，其实可以用一种模型来表述，那就是分类。不同的是前面的结果队列只有两个参数：猫/狗，要么是[1,0]，要么是[0,1]，而AIphaG
H3C-Navigator·2024-01-10 16:14

AI时代架构设计新模式

云原生架构原则云原生架构本身作为一种架构，也有若干架构原则作为应用架构的核心架构控制面，通过遵从这些架构原则可以让技术主管和架构师在做技术选择时不会出现大的偏差。服务化原则当代码规模超出小团队的合作范围时，就有必要进行服务化拆分了，包括拆分为微服务架构、小服务(MiniService)架构，通过服务化架构把不同生命周期的模块分离出来，分别进行业务迭代，避免迭代频繁模块被慢速模块拖慢，从而加快整体的
桃花键神·2024-01-10 16:40

Java内存泄漏问题分析

内存泄漏也是一个老八股文了，下面来看看实际项目中内存泄漏的场景分析时间回到9月某一天分析阶段一现象：在当时各种请求在那段时间响应很慢，特别是kafka异步消费线程不足点：当时主业务基本不可用，有点急，未及时
北i·2024-01-10 15:38

FlinkSQL设置sink的并行度

pt_dtstring,proc_timetimestamp,ctimetimestamp,PRIMARYKEY(tqi_id)NOTENFORCED)with('connector'='upsert-kafka
青云游子·2024-01-10 15:51

《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-10 14:58

如何有效提高ThinkPHP5.1的应用性能

首先要强调一点：框架并不是应用性能的瓶颈，架构设计、数据库和人才是。框架在设计之初，出于通用性考虑，不会特意针对某个应用做深入优化，但提供了一些可能的手段和配置参数让你进行针对性的调优，下面
kseven_steve·2024-01-10 14:39

分布式系统架构设计之分布式消息队列中间件的技术选型报告

1、主流消息队列中间件01Kafka基本原理Kafka基于发布-订阅模式，它维护了一个或多个Topic，生产者将消息发送到Topic，消费者从Topic中读取消息。
灸哥漫谈·2024-01-10 13:38

日志系统二（ilogtail+kafka+logstash+es+kibana）

流程介绍：ilogtail日志采集写入kafka指定TopicLogstash消费kafak消息写入ESKibana展示数据注：ilogtail采集的日志也能直接写入ES，需求ES版本8.0+一、ilogtail
`Liar`·2024-01-10 13:24

SSM练习-Boot客户管理系统的实现--项目介绍篇

SSM练习-Boot客户管理系统的实现项目介绍系统功能模块系统架构设计根据功能不同，项目结构可以划分为以下层次持久对象层（持久层）:该层由若干持久化类（实体类）组成数据访问层（DAO层）:该层由若干的DAO
suxiaoling@·2024-01-10 12:09

用hextoraw解决update、delete语句执行慢

问题描述    近期在做数据同步功能，各模块数据经过AOP拦截，形成insert、update、delete语句，统一进入Kafka，然后由消费端取出消费到Oracle。    
活宝战斗机·2024-01-10 12:51

【2024系统架构设计】 系统架构设计师第二版-通信系统架构设计理论与实践

目录一通信系统网络架构二网络构建的关键技术三网络构建和设计方法四案例分析注：本节内容可作为知识储备，做一个基本的了解即可。
Jackilina_Stone·2024-01-10 12:43

Kafka的bug解决方法 -ERROR Shutdown broker because all log dirs in xxx have failed(kafka.log.LogManager)

报错问题我弄了三个broker节点，但是老是出问题，所以我把kafka配置的存储数据文件的文件夹删除了，重启发现目录虽然出现了，但是启动kafka这个节点失败。而且已经删除的主题也还在。
_L_J_H_·2024-01-10 11:34

07、Kafka ------ 消息生产者（演示 发送消息） 和 消息消费者（演示 监听消息）

目录Kafka---消息生产者★消息★消息的分发机制★分发到哪个分区★轮询策略（round-robin）★使用命令行工具发送消息演示添加消息Kafka---消息消费者★消息消费者命令▲监听【指定主题】的所有消息
_L_J_H_·2024-01-10 11:23

2024系统分析师---论设计模式及其应用

在该项目组中我担任系统架构师一职，主要负责系统整体架构设计。本文以该项目为例，讨论软件设计模型的应用，包括问题的分析，以及如何选择和应用设计模式。
喜欢猪猪·2024-01-10 11:12

kafka: 基础概念回顾（生产者客户端和机架感知相关内容）

一、kafka生产者客户端在kafka体系结构中有如下几个重要的概念：Producer：生产者，负责生产消息并投递到kafkabroker的某个的分区中Consumer：消费者，负责消费kafka若干个分区中的消息
玉成226·2024-01-10 11:41

kafka KRaft 集群搭建

kafkaKRaft集群安装包下载https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgzkafka集群构建好后的数据目录结构[root
liao__ran·2024-01-10 11:07

命令行重置kafka消费最新数据 —— 筑梦之路

kafka消费能力不足，消息积压太多，现需要重置消费，使其消费最新的数据kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--grouptest_topic_group1
筑梦之路·2024-01-10 11:07

kafka入门(六)：日志分段（LogSegment）

日志分段（LogSegment）Kafka的一个主题可以分为多个分区。一个分区可以有一至多个副本，每个副本对应一个日志文件。每个日志文件对应一个至多个日志分段（LogSegment）。
乐之者v·2024-01-10 11:03

关于springboot项目集成kafka的常见错误

Acomponentrequiredabeanoftype‘org.apache.kafka.clients.consumer.KafkaConsumer’thatcouldnotbefound.程序运行后
Everybody_up·2024-01-10 11:03
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他