Kafka架构设计

40张图看懂分布式追踪系统原理及实践

本文将会从以下几个方面来阐述分布式追踪系统原理及作用SkyWalking的原理及架构设计我司在分布式调用链上的实践分布式追踪系统的原理及作用
倾听铃的声·2024-01-28 14:59

spark-streaming与kafka的整合

1.概述在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-basedApproach，
王大为学习笔记·2024-01-28 14:47

【字节跳动】资深后端开发工程师-平台应用服务

A04493职位描述负责商业化基础服务系统能力建设，参与千亿级广告基础数据服务研发和优化，参与广告平台通用组件的设计和实现；负责多样化的商业平台应用服务研发，为客户提供智能、高效的营销能力；负责服务端系统架构设计研发
探小虎·2024-01-28 12:48

MetaGPT( The Multi-Agent Framework)：颠覆AI开发的革命性多智能体元编程框架

一个多智能体元编程框架，给定一行需求，它可以返回产品文档、架构设计、任务列表和代码。这个项目提供了一种创新的方式来管理和执行项目，将需求转化为具体的文档和任务列表，使项目管理变得高效而智能。
AAI机器之心·2024-01-28 11:39

OO第三次博客作业

目录DesignbyContractJML语言的理论基础JML设计目的书写规范主要表达式JML应用工具链情况部署JMLUnitNG架构设计与两次迭代第一次作业第二次作业第三次作业bug分析心得体会参考资料
weixin_30530339·2024-01-28 09:51

HBase入门、基础原理介绍

HBase良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于
幸福右手牵·2024-01-28 09:07

Kafka-服务端-ControllerChannelManager、ControllerContext、ControllerBrokerRequestBatch

ControllerChannelManagerControllerLeader通过发送多种请求管理集群中的其他Broker,KafkaController使用ControllerChannelManager
Andy技术支援·2024-01-28 07:11

【Kafka】高级特性：消费者

目录消息消费消息消费流程信息注册消息消费消费方式反序列化拦截器消费者原理剖析消费者组和消费者心跳机制消费者位移概述位移管理位移提交再平衡何时发生再平衡避免重平衡再平衡原理消费组状态机参数配置消息消费消息消费流程参考：https://mp.weixin.qq.com/s/v6jUK8TIPi1Debfd40GU3w消费者消费也主要分为两个阶段：信息注册阶段，即整个消费者组向集群注册消费信息等信息消费
Ethan-running·2024-01-28 07:39

Kafka入门

文章目录基础架构工作流程文件存储生产者producer消息发送分区策略producer发送消息流程RecordAccumulator（记录累加器）生产者高级设计之自定义数据结构生产者高级设计之内存池设计producerACK是什么Leader何时发送ack?生产者ACK策略Broker副本数据一致性问题follower故障和leader故障AtLeastOnce+幂等性=ExactlyOnceZo
FREE_GIFT_白给怪·2024-01-28 07:08

Python网络爬虫实战——实验8：Python爬虫项目部署与kafka消息队实战

【实验内容】本实验主要介绍关于在Linux云环境下部署和运行爬虫项目并使用kafka发送消息队列。
武汉唯众智创·2024-01-28 07:37

Kafka-服务端-PartitionLeaderSelector、ReplicaStateMachine

PartitionLeaderSelector通过对前面的分析可知，PartitionMachine将Leader副本选举、确定ISR集合的工作委托给了PartitionLeaderSelector接口实现，PartitionMachine可以专注于管理分区状态。这是策略模式的一种典型的应用场景。图展示了PartitionLeaderSelector的实现类，这五个不同的实现提供了不同的策略。Pa
Andy技术支援·2024-01-28 07:37

Java技术栈 —— Kafka入门（一）

Java技术栈——Kafka入门（一）一、什么是Kafka？二、如何安装Kafka？一、什么是Kafka？Kafka是一种消息队列，通过订阅-发布机制可以实现解耦合，用异步处理代替同步处理[1]。
键盘国治理专家·2024-01-28 07:07

【Kafka】高级特性：主题

目录主题的管理创建主题查看主题修改主题删除主题增加分区分区副本的分配必要参数配置KafkaAdminClient应用功能操作示例主题的管理使用kafka-topics.sh脚本。
Ethan-running·2024-01-28 07:36

springboot2.2.9整合kafka之KafkaListener实现原理

1、开启kafka的注解@EnableKafka通过开启kafka注解可以看到Import的类KafkaListenerConfigurationSelector加载一个配置类KafkaBootstrapConfiguration
室内篮球·2024-01-28 07:36

kafka-JVM采集器安装

Kafka采集器安装说明①下载安装采集器下载采集器，并上传至服务器https://github.com/prometheus/jmx_exporterkafka_jmx_exporter.tar.gz②
长空~·2024-01-28 07:27

软件系统架构黄金法则：可观测性在现代架构中的角色

1.背景介绍1.1软件系统架构的演变随着软件系统的不断发展和复杂化，架构设计变得越来越重要。过去，软件系统通常是单体的，由一个大型的应用程序组成。然而，
OpenChat·2024-01-28 06:30

系统架构设计师教程（十八）安全架构设计理论与实践

安全架构设计理论与实践18.1安全架构概述18.1.1信息安全面临的威胁18.1.2安全架构的定义和范围18.1.3与信息安全相关的国内外标准及组织18.2安全模型18.2.1状态机模型18.2.2Bell-LaPadula
赫凯·2024-01-28 06:00

Zookeeper+Kafka+Log4j日志采集与管理系统

1、Zookeeper+Kafka+Log4j-日志采集与管理随着系统规模变大和复杂度上升，我们的日志管理变得复杂，一个完整的系统通常会有几十上百个节点。
ff&yy·2024-01-28 06:28

MQ面试题之Kafka

本人毕业到现在使用的都是公司内部产品，对于通用产品无实际经验，但是各种消息中间件大差不差，故而本次选择一个相对较熟悉的Kafka进行详细介绍。
for62·2024-01-28 05:39

ES面试题合集

前言前文介绍了消息中间件之Kafka，我们的知识体系逐渐丰满。本文将继续深入，介绍搜索引擎ES。ES面试题合集Elasticsearch有哪些特性？
for62·2024-01-28 05:09

多租户架构的数据迁移和合并：策略和最佳实践

1.背景介绍在现代互联网企业中，多租户架构已经成为主流的系统架构设计。
OpenChat·2024-01-28 04:44

java 分布式 日志方案_ELK + kafka 分布式日志解决方案

本文介绍使用ELK(elasticsearch、logstash、kibana)+kafka来搭建一个日志系统。
kimi无悔-618·2024-01-28 02:37

Kafka的安装部署、基本操作、集群环境

1、Kafka的安装部署下载kafkakafka_2.11-2.0.0.tgz安装过程安装过程非常简单，只需要解压就行，因为这个是编译好之后的可执行程序tar-zxvfkafka_2.11-2.0.0.
有梦想的虫子_2018·2024-01-28 01:46

RESTful API 学习学习

可以总结为一句话：REST是所有Web应用都应该遵守的架构设计指导原则。RepresentationalStateTransfer，翻译是”表现层状态转化”。
宇VS然·2024-01-28 00:26

30天精通Nodejs--第二十八天：微服务架构设计

目录引言理解微服务架构的核心原则基于Node.js构建微服务使用java和nodejs开发微服务架构优缺点使用Java开发微服务的优缺点使用Node.js开发微服务的优缺点结语引言随着技术的发展，微服务架构逐渐成为现代应用开发的主流模式，它通过将复杂的应用系统拆分成一系列小型、独立的服务进行构建，每个服务都围绕着特定业务功能进行设计，并能独立部署和扩展。在众多开发语言中，Node.js以其非阻塞I
bdawn·2024-01-28 00:47

架构评审与人工智能：挑战与机遇

架构评审(ArchitectureReview)是一种软件开发过程中的活动，旨在评估软件系统的架构设计，以确保其
OpenChat·2024-01-27 22:22

JVM系列-9.性能调优

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-27 21:19

对于mysql，redis，Kafka，zookeeper磁盘缓存技术使用分析

对于mysql，redis，Kafka，zookeeper磁盘缓存技术使用分析大部分组件是基于磁盘存储的，但由于CPU速度和磁盘速度之间的鸿沟，都会使用缓存技术来提高性能，缓存简单来说就是一块内存区域，
魏春雨·2024-01-27 21:07

基于SSM的华强手机商城--57726（免费领源码）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、全套文案

华强手机商城系统分析2.1可行性分析2.2系统流程分析2.2.1数据流程3.3.2业务流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4系统用例分析2.5本章小结3华强手机商城总体设计3.1系统架构设计
QQ_785101605·2024-01-27 20:43

MQ消息队列主流消息服务规范及代表产品

市面上消息队列的种类繁多，我们经常在做技术选型的时候，就会搜“RabbitMQ/RocketMQ/Kafka…的区别”这样的字眼，为了就是更好地选型，结合业务需求以及消息队列的性能、功能特性、设计规范来综合考虑
c_zyer·2024-01-27 18:13

【代码随想录-数组】移除元素

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-27 18:08

抗住千万流量的大型分布式系统架构设计

点击上方“码农突围”，马上关注这里是码农充电第一站，回复“666”，获取一份专属大礼包真爱，请设置“星标”或点个“在看”本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。一、大型分布式网站架构技术1、大型网站的特点用户多，分布广泛大流量，
Ch97CKd·2024-01-27 17:26

【分布式技术专题】「分布式技术架构」 探索Tomcat集群架构原理和开发分析指南

探索Tomcat技术架构设计模式的奥秘Tomcat集群原理Tomcat集群能带来什么Tomcat集群产生什么问题Tomcat单服务体系架构Tomcat集群"简单版"首先要解决Session共享的问题典型负载均衡策略分析
洛神灬殇·2024-01-27 17:55

SpringBoot activemq收发消息、配置及原理

与Springframework相比，SpringBoot更近了一步，通过auto-configuration机制实现了对jms及amqp主流框架如ActiveMQ、RabbitMQ以及Kafka的自动配置
weixin_44612246·2024-01-27 17:16

Kafka-4.1-工作原理综述

1Kafka工作原理详解1.1工作流程Kafka集群将Record流存储在称为Topic的类中，每个记录由⼀个键、⼀个值和⼀个时间戳组成。
江中散人·2024-01-27 16:47

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图1.2集群部署官方下载地址：ApacheKafka（1）安装和Hadoop
江中散人·2024-01-27 16:16

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

1命令操作1.1主题命令操作查看操作主题命令参数：[atguigu@hadoop102kafka]$bin/kafka-topics.sh参数描述--bootstrap-server，连接的KafkaBroker
江中散人·2024-01-27 16:16

【Spring连载】使用Spring访问 Apache Kafka（十六）----空payload和‘Tombstone‘记录的日志压缩

【Spring连载】使用Spring访问ApacheKafka（十六）----空payload和'Tombstone'记录的LogCompaction当你使用LogCompaction时，你可以发送和接收具有空
85程序员老王·2024-01-27 16:26

【Spring连载】使用Spring访问 Apache Kafka（十七）----处理异常

【Spring连载】使用Spring访问ApacheKafka（十七）----处理异常HandlingExceptions一、监听器错误处理程序ListenerErrorHandlers二、容器错误处理程序
85程序员老王·2024-01-27 16:26

【Spring连载】使用Spring访问 Apache Kafka（十八）----非阻塞重试

【Spring连载】使用Spring访问ApacheKafka（十八）----非阻塞重试Non-BlockingRetries一、HowThePatternWorks二、BackOffDelayPrecision
85程序员老王·2024-01-27 16:26

【Spring连载】使用Spring访问 Apache Kafka（十）----监控

【Spring连载】使用Spring访问ApacheKafka（十）----监控Monitoring一、监控监听器性能MonitoringListenerPerformance二、监控KafkaTemplate
85程序员老王·2024-01-27 16:56

【Spring连载】使用Spring访问 Apache Kafka（十一）----事务

【Spring连载】使用Spring访问ApacheKafka（十一）----事务Transactions一、概览二、使用KafkaTransactionManager三、事务同步TransactionSynchronization
85程序员老王·2024-01-27 16:56

【Spring连载】使用Spring访问 Apache Kafka（六）----应用程序事件

【Spring连载】使用Spring访问ApacheKafka（六）----应用程序事件ApplicationEvents一、检测空闲和无响应的Consumers二、事件消费EventConsumption
85程序员老王·2024-01-27 16:55

【Spring连载】使用Spring访问 Apache Kafka（七）----Topic/Partition初始偏移量&定位到特定的偏移量

【Spring连载】使用Spring访问ApacheKafka（七）----Topic/Partition初始偏移量&定位到特定的偏移量一、Topic/Partition的初始偏移量InitialOffset
85程序员老王·2024-01-27 16:55

【Spring连载】使用Spring访问 Apache Kafka（三）----接收消息

【Spring连载】使用Spring访问ApacheKafka（三）----接收消息一、消息监听器MessageListeners二、消息监听器容器MessageListenerContainers2.1
85程序员老王·2024-01-27 16:25

【Spring连载】使用Spring访问 Apache Kafka（十五）----消息头

【Spring连载】使用Spring访问ApacheKafka（十五）----消息头MessageHeadersApacheKafkaclient中提供了对消息中headers的支持。
85程序员老王·2024-01-27 16:53

架构分层：我们为什么一定要这么做？

架构分层和高并发架构设计又有什么关系呢？本节课，我将带你寻找答案。什么是分层架构软件架构分层在软件工程中是一种常见的设计方式，它是将整体系统
燕山暮雪·2024-01-27 16:41

微前端与单页面应用：如何将两种架构结合

1.背景介绍在现代网络应用中，微服务和单页面应用(SPA)是两种非常常见的架构设计。微服务架构是一种分布式系统的架构，其中系统被分解为多个小的服务，这些服务可以独立部署和扩展。
OpenChat·2024-01-27 15:42

《系统架构设计师教程（第2版）》第5章-软件工程基础知识-01-软件工程

文章目录1.软件工程概述1.1软件工程的定义1.2软件工程过程2.软件过程模型2.1瀑布模型(WaterfallModel)2.2原型化模型/快速原型(PrototypeModel)1）原型开发阶段2）目标软件开发阶段2.3螺旋模型(SpiralModel)1）概述2）螺旋每一层的4个阶段3）螺旋结构3.敏捷模型3.1敏捷方法的核心思想1）是适应型（而非可预测型）2）以人为本（非以过程为本）3）迭
玄德公笔记·2024-01-27 14:39

《系统架构设计师教程（第2版）》第5章-软件工程基础知识-02-需求工程

文章目录1.概述1.1需求1）需求的含义2）需求的三个层次1.2需求工程1.需求获取1.1需求获取的基本步骤1）开发高层的业务模型2）定义项目范围和高层需求3）识别用户角色和用户代表4）获取具体的需求5）确定目标系统的业务工作流6）需求整理与总结1.2需求获取方法1）用户面谈2）需求专题讨论会3）问卷调查4）现场观察5）原型化方法6）头脑风暴法2.需求变更2.1变更控制过程1）变更管理过程：2）常
玄德公笔记·2024-01-27 14:39
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他