Kafka源码分析

鸿蒙轻内核A核源码分析系列七 进程管理 (2)

本文先熟悉下进程管理的文件kernel\base\core\los_process.c中的内部接口，读读代码，做些记录。1、LiteOS-A内核进程全局变量⑴是进程池，存放各个进程控制块LosProcessCB的信息。⑵处开始的g_freeProcess是空闲进程链表，挂载各个空闲进程控制块；g_processRecycleList是待回收进程控制块链表，挂载各个等待回收的进程控制块。⑶处开始的g
OpenHarmony_小贾·2024-09-11 17:59

鸿蒙原生开发——轻内核A核源码分析系列三 物理内存（2）

3.1.2.3函数OsVmPhysLargeAlloc当执行到这个函数时，说明空闲链表上的单个内存页节点的大小已经不能满足要求，超过了第9个链表上的内存页节点的大小了。⑴处计算需要申请的内存大小。⑵从最大的链表上进行遍历每一个内存页节点。⑶根据每个内存页的开始内存地址，计算需要的内存的结束地址，如果超过内存段的大小，则继续遍历下一个内存页节点。⑷处此时paStart表示当前内存页的结束地址，接下来
OpenHarmony_小贾·2024-09-11 17:29

老版本kafka查询topic消费情况(python查询)

由于老版本的kafka缺少shell，导致无法通过命令直接进行查询，所以通过python代码，实现消费情况查询安装必须的包#pyhon2.5pipinstallkafka-python==1.4.7python
代码是谁·2024-09-11 12:56

【Python系列】使用切片移动元素位置

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室·2024-09-11 08:25

字节架构师：来说说 Kafka 的消费者客户端详解，你都搞懂了吗？

发布订阅模式模式就是kafka中的分区消息可以被不同消费者组的消费者消费。这就是一对多的广播模式应用。当然，消费者组是一个逻辑的概念，通过客户端参数group.id来配置，默认值为空字符串。
2401_84049200·2024-09-11 07:49

JsonCpp源码分析——Reader

1、与Writer模块功能相反，可以将Reader理解成一个反序列化的工具，Writer的作用主要是将Value对象转成string或者流式的结构，Reader的作用主要是将流式的结构转成Value类型的对象。Reader类的主要职责有3个，解析JSON字符串：将JSON格式的字符串读取并解析成相应的C++数据结构。处理不同的数据类型，支持解析JSON对象、数组、字符串、数字、布尔值和null。处
哎呦，帅小伙哦·2024-09-11 06:48

vue源码分析-挂载流程和模板编译

前面几节我们从newVue创建实例开始，介绍了创建实例时执行初始化流程中的重要两步，配置选项的资源合并,以及响应式系统的核心思想，数据代理。在合并章节，我们对Vue丰富的选项合并策略有了基本的认知，在数据代理章节我们又对代理拦截的意义和使用场景有了深入的认识。按照Vue源码的设计思路，初始化过程还会进行很多操作，例如组件之间创建关联，初始化事件中心，初始化数据并建立响应式系统等，并最终将模板和数据
yyzzabc123·2024-09-11 05:05

Java Kafka生产者实现

欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记，该笔记专栏
stormsha·2024-09-11 01:09

python调用rocketmq的api_Python：Rocketmq消息队列使用

rocketmq可以与kafka等一起使用，用于实时消息处理。
weixin_39914868·2024-09-10 11:35

鸿蒙内核解析,鸿蒙内核源码分析(内存概念篇)|解读鸿蒙源码

本系列全部文章进入鸿蒙源码分析(总目录)查看目录最难讲的章节坦白讲内存是整个系列里面最
刘轩鸿·2024-09-10 09:53

鸿蒙轻内核A核源码分析系列七 进程管理 (3)

本文记录下进程相关的初始化函数，如OsSystemProcessCreate、OsProcessInit、OsProcessCreateInit、OsUserInitProcess、OsDeInitPCB、OsUserInitProcessStart等。1、LiteOS-A内核进程创建初始化通用函数先看看一些内部函数，不管是初始化用户态进程还是内核态进程，都会使用这些函数，包含进程控制块初始化函数
OpenHarmony_小贾·2024-09-10 09:20

鸿蒙轻内核A核源码分析系列五 虚实映射（6）虚拟映射修改转移

6.1映射属性修改函数LOS_ArchMmuChangeProt函数LOS_ArchMmuChangeProt用于修改进程空间虚拟地址区间的映射保护属性，其中参数archMmu为进程空间的MMU结构体，vaddr为虚拟地址，count为映射的页数，flags为映射使用的新标签属性信息。其中函数名称中的Prot是英文Protect的简写。⑴处对参数进行校验，⑵处查询虚拟地址映射的物理地址，如果没有映
OpenHarmony_小贾·2024-09-10 09:50

鸿蒙轻内核A核源码分析系列五 虚实映射（1）基础概念

虚实映射是指系统通过内存管理单元（MemoryManagementUnit，MMU）将进程空间的虚拟地址(VA)与实际的物理地址(PA)做映射，并指定相应的访问权限、缓存属性等。程序执行时，CPU访问的是虚拟内存，通过MMU找到映射的物理内存，并做相应的代码执行或数据读写操作。MMU的映射由页表（PageTable）来描述，页表保存虚拟地址和物理地址的映射关系以及访问权限等。每个进程在创建的时候都
OpenHarmony_小贾·2024-09-10 09:20

鸿蒙轻内核A核源码分析系列四（3） 虚拟内存

4.2函数LOS_RegionAlloc函数LOS_RegionAlloc用于从地址空间中申请空闲的虚拟地址区间。参数较多，LosVmSpace*vmSpace指定虚拟地址空间，VADDR_Tvaddr指定虚拟地址，当为空时，从映射区申请虚拟地址；当不为空时，使用该虚拟地址。如果该虚拟地址已经被映射，会先相应的解除映射处理等。size_tlen指定要申请的地区区间的长度。UINT32regionF
OpenHarmony_小贾·2024-09-10 09:19

鸿蒙轻内核A核源码分析系列四（1）虚拟内存进程空间编号

在熟悉下OpenHarmony鸿蒙轻内核提供的虚拟内存（Virtualmemory）管理模块之前，作为预备基础知识，我们先了解下虚拟内存进程空间编号，进程空间编号功能相对独立，源代码文件单独维护。涉及的头文件和C源代码文件分别为arch/arm/arm/include/los_asid.h和arch/arm/arm/src/los_asid.c。本文先介绍OpenHarmony鸿蒙轻内核LiteO
OpenHarmony_小贾·2024-09-10 09:49

鸿蒙轻内核A核源码分析系列一 数据结构-双向循环链表

在学习OpenHarmony鸿蒙轻内核源代码的时候，常常会遇到一些数据结构的使用。如果没有掌握它们的用法，会导致阅读源代码时很费解、很吃力。本文会给读者介绍源码中重要的数据结构，双向循环链表DoublyLinkedList。在讲解时，会结合数据结构相关绘图，培养读者们的数据结构的平面想象能力，帮助更好的学习和理解这些数据结构的用法。本文中所涉及的源码，以OpenHarmonyLiteOS-A内核为
OpenHarmony_小贾·2024-09-10 09:49

Netty源码分析:NioEventLoopGroup

Netty源码分析:NioEventLoopGroup在工作之余，看到自己公司的超哥（俞超）关于Netty的系列博文，讲解的很好，因此，自己在学习之余也跟了下源代码，来了解Netty，也做了相关的笔记，
HelloWorld_EE·2024-09-10 07:09

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小
u013250861·2024-09-10 03:09

Tinywebserver数据库连接池源码分析day0

Tinywebserver的第一天源自github：GitHub-qinguoyi/TinyWebServer::fire:Linux下C++轻量级WebServer服务器这是项目的数据库连接池一共有两个文件，.h/.cpp先看md文档数据库连接池*单例模式，保证唯一*list实现连接池*连接池为静态大小*互斥锁实现线程安全直接看sql_connection_pool.cpp，在代码里看看具体是怎
winsons_lu·2024-09-10 02:02

Kafka2.8.0集群安装教程

Kafka2.8.0集群安装教程准备工作node01~node04（四个节点机器，三台也可以），kafka安装node01~~node03启动zookeeper，这里依次启动node131，node132
请叫我你好·2024-09-09 21:48

【HarmonyOS】- HAR与HSP区别及使用原则

文章目录知识回顾前言源码分析1.2.3.拓展知识总结知识回顾前言HAR与HSP源码分析1.2.3.拓展知识总结系统提供了两种共享包，HAR静态共享包和HSP动态共享包。
数的羊都睡了·2024-09-09 20:41

实时数仓之实时数仓架构(Hudi)(1)

实时数仓架构图如下：技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据
2401_84164527·2024-09-09 19:34

2024年大数据最新实时数仓之实时数仓架构(Hudi)

技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务
2401_84185556·2024-09-09 19:34

在ELFK架构中加入kafka

要进行日志的分析处理，而filebeat至进行日志的收集和发送，处理过程较为简单，所以当日志量非常巨大的时候，logstash会由于处理不及时导致日志或数据的丢失，这时候可以在filebeat和logstash之间加入kafka
beretxj_·2024-09-09 15:31

Kafka【问题 03】Connection to node -1 ( IP 9092) could not be established(1)

还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！】93道网络安全面试题需要体系化学习资料的朋友，可以加我V获取：vip204888（备注网络安全
2401_84265972·2024-09-09 14:26

fescar源码分析4-TM

一、概要说明这里重点分析下TM的实现。下面是TM的定义：TransactionManager(TM):明确全局事务的范围：开始一个全局事务，提交或者回滚一个全局事务简单来说，就是分布式事务的业务发起方。二、配置定义GlobalTransactionScanner。构造函数如下。applicationId和txServiceGroup我们这里可以理解为一个分布式事务的唯一标识。可以用于保存一个事务的
leiwingqueen·2024-09-09 12:39

Leveldb源码分析--9

6SSTable之36.5读取sstable文件6.5.1类层次Sstable文件的读取逻辑在类Table中，其中涉及到的类还是比较多的，如图6.5-1所示。图6.5-1Table类导出的函数只有3个，先从这三个导出函数开始分析。其中涉及到的类（包括上图中为画出的）都会一一遇到，然后再一一拆解。本节分析sstable的打开逻辑，后面再分析key的查找与数据遍历。6.5.2Table::Open()
sparkliang·2024-09-09 04:23

鸿蒙轻内核M核源码分析系列二十 Newlib C

LiteOS-M内核LibC实现有2种，可以根据需求进行二选一，分别是musllibC和newlibc。本文先学习下NewlibC的实现代码。文中所涉及的源码，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。使用MuslC库的时候，内核提供了基于LOS_XXX适配实现pthread、mqeue、fs、semaphore、time等模块
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十七（2） 异常钩子函数的注册操作

本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核异常钩子模块代码主要在components\exchook目录下。异常钩子函数的注册、解注册、异常钩子类型定义在utils\los_debug.h|.c。1、异常钩子函数节点结构体和异常钩子函数节点数组在文件
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十五 CPU使用率CPUP

CPUP（CentralProcessingUnitPercentage，CPU占用率）分为系统CPU占用率和任务CPU占用率。用户通过系统级的CPU占用率，判断当前系统负载是否超出设计规格。通过系统中各个任务的CPU占用情况，判断各个任务的CPU占用率是否符合设计的预期。系统CPU占用率是指周期时间内系统的CPU占用率，用于表示系统一段时间内的闲忙程度，也表示CPU的负载情况。系统CPU占用率的
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十六 MPU内存保护单元

本文主要分析鸿蒙轻内核MPU模块的的源码。本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核支持的ARMCortex-M芯片架构都支持MPU的，代码都是一样的，以kernel\arch\arm\cortex-m4\gcc\los_mpu.c为例进行讲解。1、
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十三 消息队列Queue

队列（Queue）是一种常用于任务间通信的数据结构。任务能够从队列里面读取消息，当队列中的消息为空时，挂起读取任务；当队列中有新消息时，挂起的读取任务被唤醒并处理新消息。任务也能够往队列里写入消息，当队列已经写满消息时，挂起写入任务；当队列中有空闲消息节点时，挂起的写入任务被唤醒并写入消息。如果将读队列和写队列的超时时间设置为0，则不会挂起任务，接口会直接返回，这就是非阻塞模式。消息队列提供了异步
OpenHarmony_小贾·2024-09-09 04:20

Kafka是如何实现高性能的

将写磁盘的过程变为顺序写Kafka的整个设计中，Partition相当于一个非常长的数组，而Broker接收到的所有消息顺序写入这个大数组中。
明斯克开源·2024-09-09 04:19

Spring常用中间件

（2）Kafka:分布式流处理平台，适合处理大规模数
贺仙姑·2024-09-08 23:15

HashMap源码分析

一.HashMap类结构二.属性解析1.默认初始容量staticfinalintDEFAULT_INITIAL_CAPACITY=1MAXIMUM_CAPACITY)initialCapacity=MAXIMUM_CAPACITY;if(loadFactor>>1;n|=n>>>2;n|=n>>>4;n|=n>>>8;n|=n>>>16;return(n=MAXIMUM_CAPACITY)?MAX
SimpleRecord·2024-09-08 17:01

【Python系列】中位数计算

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室·2024-09-08 15:24

Kafka、RabbitMQ、RocketMQ 之间的区别是什么

Kafka、RabbitMQ、RocketMQ之间的区别是什么?
m0_67394230·2024-09-08 07:54

Kafka高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解

大家都知道Kafka是将数据存储于磁盘的，而磁盘读写性能往往很差，但Kafka官方测试其数据读写速率能达到600M/s，那么为什么Kafka性能会这么高呢？
大数据学习与分享·2024-09-08 05:12

pyspark kafka mysql_数据平台实践①——Flume+Kafka+SparkStreaming(pyspark)

蜻蜓点水Flume——数据采集如果说，爬虫是采集外部数据的常用手段的话，那么，Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent：包含Source、Channel和Sink的主体，它是这3个组件的载体，是组成Flume的数据节点。Event：Flume数据传输的基本单元。Source：用来接收Event，并将Event批量传
weixin_39793638·2024-09-08 04:34

Spring Boot 2.x实战94 - 事件驱动3 - Kafka与Kafka Streams

3.KafkaApacheKafka以Topic为导向，提供消息中间件的功能。一个类型的数据称之为一个Topic。3.1安装Kafka使用dockercompose安装ApacheKafka。
汪云飞记录本·2024-09-08 02:50

基于 Kafka 实现分布式事件驱动

事件驱动是一种灵活的系统设计方法，在事件驱动的系统中，当数据发生变化时系统会产生、发布一个对应的事件，其它对这个事件感兴趣的部分会接收到通知，并进行相应的处理。事件驱动设计最大的好处在我看来有两点：一是它为系统提供了很好的扩展能力，比如我们可以对某类事件增加一个订阅者来对系统进行扩展，最主要的是我们并不需要修改任何已有的代码，它完全符合开闭原则；二是它实现了模块间的低偶合，系统间各个部分不是强依赖
weixin_33785972·2024-09-08 02:48

Linux驱动学习--网络设备驱动架构介绍及底层源码分析

------>网络协议接口层------>sk_buff------>sk_buff的操作函数------>网络设备接口层------>net_device相关介绍------>设备驱动接口层四、驱动源码分析
文艺小少年·2024-09-08 00:41

View绘制流程（三） - onLayout

onLayout了，作用是确定view的位置；performTraversals__>perforLayouthost.layout__>view.onLayout__>viewgroup.onLayout2.源码分析
世道无情·2024-09-07 21:31

Mapbox源码分析（1）样式加载

简介:通过源码，我们来一步步分析Mapbox地图引擎如何进行不同样式的数据加载的，这里是基于5.3.0的版本．通过官网案例，我们知道在SDK中配置了不同的style样式给我们使用，通过配置不同style,便可加载不同的类型地图，那么我们便可以从setStyleUrl()这个方法着手．这里我们从MapView的setStyleUrl()方法看起这里我们看到，他将相关配置直接往下传到底层了，从nati
一个观察世界的普通人·2024-09-07 19:17

pyflink 滚动窗口实例

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者
菜鸟社长·2024-09-07 15:31

【Flink】Flink 写入到 CSV BucketingSink 的使用方法

1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的，flink读取kafka数据，然后写入到csv，但是写入的时候，要求写入一个文件，然后在监听到配置文件变化的时候，将写入到另外一个文件
九师兄·2024-09-07 15:00

第五章 Kafka 构建TB级异步消息系统

第五章Kafka构建TB级异步消息系统1、阻塞队列模拟阻塞队列publicclassBlockingQueueTest{publicstaticvoidmain(String[]args){//容量为10
跟风。·2024-09-07 13:48

kubernetes集群下部署kafka+zookeeper单机部署方案

背景：注：在kubernetes集群上部署单机版的zookeeper+kafka服务，是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn·2024-09-07 12:17

Kafka，构建TB级异步消息系统

：使用数据的线程实现类ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.Kafka
Fern977·2024-09-07 12:15

仿论坛项目--Kafka，构建TB级异步消息系统

Kafka入门•Kafka简介Kafka是一个分布式的流媒体平台。
HUT_Tyne265·2024-09-07 12:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他