E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka源码分析
python调用rocketmq的api_Python:Rocketmq消息队列使用
rocketmq可以与
kafka
等一起使用,用于实时消息处理。
weixin_39914868
·
2024-09-10 11:35
鸿蒙内核解析,鸿蒙内核
源码分析
(内存概念篇)|解读鸿蒙源码
本系列全部文章进入鸿蒙
源码分析
(总目录)查看目录最难讲的章节坦白讲内存是整个系列里面最
刘轩鸿
·
2024-09-10 09:53
鸿蒙内核解析
鸿蒙轻内核A核
源码分析
系列七 进程管理 (3)
本文记录下进程相关的初始化函数,如OsSystemProcessCreate、OsProcessInit、OsProcessCreateInit、OsUserInitProcess、OsDeInitPCB、OsUserInitProcessStart等。1、LiteOS-A内核进程创建初始化通用函数先看看一些内部函数,不管是初始化用户态进程还是内核态进程,都会使用这些函数,包含进程控制块初始化函数
OpenHarmony_小贾
·
2024-09-10 09:20
OpenHarmony
鸿蒙开发
HarmonyOS
harmonyos
嵌入式硬件
OpenHarmony
鸿蒙嵌入式
鸿蒙开发
鸿蒙内核
进程关联
鸿蒙轻内核A核
源码分析
系列五 虚实映射(6)虚拟映射修改转移
6.1映射属性修改函数LOS_ArchMmuChangeProt函数LOS_ArchMmuChangeProt用于修改进程空间虚拟地址区间的映射保护属性,其中参数archMmu为进程空间的MMU结构体,vaddr为虚拟地址,count为映射的页数,flags为映射使用的新标签属性信息。其中函数名称中的Prot是英文Protect的简写。⑴处对参数进行校验,⑵处查询虚拟地址映射的物理地址,如果没有映
OpenHarmony_小贾
·
2024-09-10 09:50
鸿蒙开发
HarmonyOS
OpenHarmony
harmonyos
OpenHarmony
移动开发
驱动开发
鸿蒙内核
鸿蒙轻内核A核
源码分析
系列五 虚实映射(1)基础概念
虚实映射是指系统通过内存管理单元(MemoryManagementUnit,MMU)将进程空间的虚拟地址(VA)与实际的物理地址(PA)做映射,并指定相应的访问权限、缓存属性等。程序执行时,CPU访问的是虚拟内存,通过MMU找到映射的物理内存,并做相应的代码执行或数据读写操作。MMU的映射由页表(PageTable)来描述,页表保存虚拟地址和物理地址的映射关系以及访问权限等。每个进程在创建的时候都
OpenHarmony_小贾
·
2024-09-10 09:20
鸿蒙开发
HarmonyOS
OpenHarmony
harmonyos
嵌入式硬件
鸿蒙开发
OpenHarmony
鸿蒙嵌入式
鸿蒙内核
鸿蒙轻内核A核
源码分析
系列四(3) 虚拟内存
4.2函数LOS_RegionAlloc函数LOS_RegionAlloc用于从地址空间中申请空闲的虚拟地址区间。参数较多,LosVmSpace*vmSpace指定虚拟地址空间,VADDR_Tvaddr指定虚拟地址,当为空时,从映射区申请虚拟地址;当不为空时,使用该虚拟地址。如果该虚拟地址已经被映射,会先相应的解除映射处理等。size_tlen指定要申请的地区区间的长度。UINT32regionF
OpenHarmony_小贾
·
2024-09-10 09:19
OpenHarmony
HarmonyOS
鸿蒙开发
harmonyos
OpenHarmony
鸿蒙内核
移动开发
驱动开发
系统开发
鸿蒙轻内核A核
源码分析
系列四(1)虚拟内存进程空间编号
在熟悉下OpenHarmony鸿蒙轻内核提供的虚拟内存(Virtualmemory)管理模块之前,作为预备基础知识,我们先了解下虚拟内存进程空间编号,进程空间编号功能相对独立,源代码文件单独维护。涉及的头文件和C源代码文件分别为arch/arm/arm/include/los_asid.h和arch/arm/arm/src/los_asid.c。本文先介绍OpenHarmony鸿蒙轻内核LiteO
OpenHarmony_小贾
·
2024-09-10 09:49
OpenHarmony
HarmonyOS
鸿蒙开发
harmonyos
移动开发
鸿蒙内核
鸿蒙开发
OpenHarmony
鸿蒙轻内核A核
源码分析
系列一 数据结构-双向循环链表
在学习OpenHarmony鸿蒙轻内核源代码的时候,常常会遇到一些数据结构的使用。如果没有掌握它们的用法,会导致阅读源代码时很费解、很吃力。本文会给读者介绍源码中重要的数据结构,双向循环链表DoublyLinkedList。在讲解时,会结合数据结构相关绘图,培养读者们的数据结构的平面想象能力,帮助更好的学习和理解这些数据结构的用法。本文中所涉及的源码,以OpenHarmonyLiteOS-A内核为
OpenHarmony_小贾
·
2024-09-10 09:49
OpenHarmony
鸿蒙开发
HarmonyOS
数据结构
harmonyos
链表
OpenHarmony
移动开发
鸿蒙内核
鸿蒙开发
Netty
源码分析
:NioEventLoopGroup
Netty
源码分析
:NioEventLoopGroup在工作之余,看到自己公司的超哥(俞超)关于Netty的系列博文,讲解的很好,因此,自己在学习之余也跟了下源代码,来了解Netty,也做了相关的笔记,
HelloWorld_EE
·
2024-09-10 07:09
netty源码分析
源代码
netty
EventLoop
深度学习部署:Triton(Triton inference server)【旧称:TensorRT serving,专门针对TensorRT设计的服务器框架,后来变为Triton,支持其他推理后端】
本系列讲解重点是结合实际的应用场景以及
源码分析
,以及写一些triton周边的插件、集成等。非速成,适合同样喜欢深入的小
u013250861
·
2024-09-10 03:09
#
LLM/部署
深度学习
人工智能
Tinywebserver数据库连接池
源码分析
day0
Tinywebserver的第一天源自github:GitHub-qinguoyi/TinyWebServer::fire:Linux下C++轻量级WebServer服务器这是项目的数据库连接池一共有两个文件,.h/.cpp先看md文档数据库连接池*单例模式,保证唯一*list实现连接池*连接池为静态大小*互斥锁实现线程安全直接看sql_connection_pool.cpp,在代码里看看具体是怎
winsons_lu
·
2024-09-10 02:02
数据库
oracle
Kafka
2.8.0集群安装教程
Kafka
2.8.0集群安装教程准备工作node01~node04(四个节点机器,三台也可以),
kafka
安装node01~~node03启动zookeeper,这里依次启动node131,node132
请叫我你好
·
2024-09-09 21:48
安装教程
kafka
【HarmonyOS】- HAR与HSP区别及使用原则
文章目录知识回顾前言
源码分析
1.2.3.拓展知识总结知识回顾前言HAR与HSP
源码分析
1.2.3.拓展知识总结系统提供了两种共享包,HAR静态共享包和HSP动态共享包。
数的羊都睡了
·
2024-09-09 20:41
HarmonyOS
harmonyos
华为
鸿蒙
ArkTS
实时数仓之实时数仓架构(Hudi)(1)
实时数仓架构图如下:技术框架
Kafka
:用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过
Kafka
缓冲接入业务数据
2401_84164527
·
2024-09-09 19:34
程序员
架构
2024年大数据最新实时数仓之实时数仓架构(Hudi)
技术框架
Kafka
:用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过
Kafka
缓冲接入业务数据可以忽略;Flink:用于数据ETL,包括接入数据、处理数据及输出数据全链路数据计算任务
2401_84185556
·
2024-09-09 19:34
程序员
大数据
架构
在ELFK架构中加入
kafka
要进行日志的分析处理,而filebeat至进行日志的收集和发送,处理过程较为简单,所以当日志量非常巨大的时候,logstash会由于处理不及时导致日志或数据的丢失,这时候可以在filebeat和logstash之间加入
kafka
beretxj_
·
2024-09-09 15:31
kafka
分布式
大数据
elk
Kafka
【问题 03】Connection to node -1 ( IP 9092) could not be established(1)
还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!【完整版领取方式在文末!!】93道网络安全面试题需要体系化学习资料的朋友,可以加我V获取:vip204888(备注网络安全
2401_84265972
·
2024-09-09 14:26
2024年程序员学习
网络安全
web安全
面试
fescar
源码分析
4-TM
一、概要说明这里重点分析下TM的实现。下面是TM的定义:TransactionManager(TM):明确全局事务的范围:开始一个全局事务,提交或者回滚一个全局事务简单来说,就是分布式事务的业务发起方。二、配置定义GlobalTransactionScanner。构造函数如下。applicationId和txServiceGroup我们这里可以理解为一个分布式事务的唯一标识。可以用于保存一个事务的
leiwingqueen
·
2024-09-09 12:39
Leveldb
源码分析
--9
6SSTable之36.5读取sstable文件6.5.1类层次Sstable文件的读取逻辑在类Table中,其中涉及到的类还是比较多的,如图6.5-1所示。图6.5-1Table类导出的函数只有3个,先从这三个导出函数开始分析。其中涉及到的类(包括上图中为画出的)都会一一遇到,然后再一一拆解。本节分析sstable的打开逻辑,后面再分析key的查找与数据遍历。6.5.2Table::Open()
sparkliang
·
2024-09-09 04:23
Leveldb
分布式系统
鸿蒙轻内核M核
源码分析
系列二十 Newlib C
LiteOS-M内核LibC实现有2种,可以根据需求进行二选一,分别是musllibC和newlibc。本文先学习下NewlibC的实现代码。文中所涉及的源码,均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。使用MuslC库的时候,内核提供了基于LOS_XXX适配实现pthread、mqeue、fs、semaphore、time等模块
OpenHarmony_小贾
·
2024-09-09 04:50
HarmonyOS
鸿蒙开发
OpenHarmony
harmonyos
c语言
移动开发
鸿蒙内核
鸿蒙开发
openharmony
开发语言
鸿蒙轻内核M核
源码分析
系列十七(2) 异常钩子函数的注册操作
本文中所涉及的源码,以OpenHarmonyLiteOS-M内核为例,均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核异常钩子模块代码主要在components\exchook目录下。异常钩子函数的注册、解注册、异常钩子类型定义在utils\los_debug.h|.c。1、异常钩子函数节点结构体和异常钩子函数节点数组在文件
OpenHarmony_小贾
·
2024-09-09 04:50
OpenHarmony
HarmonyOS
鸿蒙开发
harmonyos
移动开发
openharmony
鸿蒙开发
鸿蒙内核
HarmonyOS
嵌入式硬件
鸿蒙轻内核M核
源码分析
系列十五 CPU使用率CPUP
CPUP(CentralProcessingUnitPercentage,CPU占用率)分为系统CPU占用率和任务CPU占用率。用户通过系统级的CPU占用率,判断当前系统负载是否超出设计规格。通过系统中各个任务的CPU占用情况,判断各个任务的CPU占用率是否符合设计的预期。系统CPU占用率是指周期时间内系统的CPU占用率,用于表示系统一段时间内的闲忙程度,也表示CPU的负载情况。系统CPU占用率的
OpenHarmony_小贾
·
2024-09-09 04:50
OpenHarmony
鸿蒙开发
HarmonyOS
harmonyos
鸿蒙内核
移动开发
数据结构
OpenHarmony
性能优化
嵌入式硬件
鸿蒙轻内核M核
源码分析
系列十六 MPU内存保护单元
本文主要分析鸿蒙轻内核MPU模块的的源码。本文中所涉及的源码,以OpenHarmonyLiteOS-M内核为例,均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核支持的ARMCortex-M芯片架构都支持MPU的,代码都是一样的,以kernel\arch\arm\cortex-m4\gcc\los_mpu.c为例进行讲解。1、
OpenHarmony_小贾
·
2024-09-09 04:50
HarmonyOS
鸿蒙开发
OpenHarmony
harmonyos
嵌入式硬件
鸿蒙嵌入式
鸿蒙开发
OpenHarmony
鸿蒙内核
移动开发
鸿蒙轻内核M核
源码分析
系列十三 消息队列Queue
队列(Queue)是一种常用于任务间通信的数据结构。任务能够从队列里面读取消息,当队列中的消息为空时,挂起读取任务;当队列中有新消息时,挂起的读取任务被唤醒并处理新消息。任务也能够往队列里写入消息,当队列已经写满消息时,挂起写入任务;当队列中有空闲消息节点时,挂起的写入任务被唤醒并写入消息。如果将读队列和写队列的超时时间设置为0,则不会挂起任务,接口会直接返回,这就是非阻塞模式。消息队列提供了异步
OpenHarmony_小贾
·
2024-09-09 04:20
鸿蒙开发
HarmonyOS
OpenHarmony
移动开发
鸿蒙内核
HarmonyOS
openharmony
鸿蒙开发
消息队列
嵌入式硬件
Kafka
是如何实现高性能的
将写磁盘的过程变为顺序写
Kafka
的整个设计中,Partition相当于一个非常长的数组,而Broker接收到的所有消息顺序写入这个大数组中。
明斯克开源
·
2024-09-09 04:19
Java
经验分享
架构
java
Spring常用中间件
(2)
Kafka
:分布式流处理平台,适合处理大规模数
贺仙姑
·
2024-09-08 23:15
spring
中间件
java
HashMap
源码分析
一.HashMap类结构二.属性解析1.默认初始容量staticfinalintDEFAULT_INITIAL_CAPACITY=1MAXIMUM_CAPACITY)initialCapacity=MAXIMUM_CAPACITY;if(loadFactor>>1;n|=n>>>2;n|=n>>>4;n|=n>>>8;n|=n>>>16;return(n=MAXIMUM_CAPACITY)?MAX
SimpleRecord
·
2024-09-08 17:01
【Python系列】中位数计算
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-09-08 15:24
s2
Python
python
开发语言
Kafka
、RabbitMQ、RocketMQ 之间的区别是什么
Kafka
、RabbitMQ、RocketMQ之间的区别是什么?
m0_67394230
·
2024-09-08 07:54
面试
学习路线
阿里巴巴
android
前端
后端
Kafka
高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解
大家都知道
Kafka
是将数据存储于磁盘的,而磁盘读写性能往往很差,但
Kafka
官方测试其数据读写速率能达到600M/s,那么为什么
Kafka
性能会这么高呢?
大数据学习与分享
·
2024-09-08 05:12
Kafka
kafka
大数据
java
pyspark
kafka
mysql_数据平台实践①——Flume+
Kafka
+SparkStreaming(pyspark)
蜻蜓点水Flume——数据采集如果说,爬虫是采集外部数据的常用手段的话,那么,Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent:包含Source、Channel和Sink的主体,它是这3个组件的载体,是组成Flume的数据节点。Event:Flume数据传输的基本单元。Source:用来接收Event,并将Event批量传
weixin_39793638
·
2024-09-08 04:34
pyspark
kafka
mysql
Spring Boot 2.x实战94 - 事件驱动3 -
Kafka
与
Kafka
Streams
3.
Kafka
Apache
Kafka
以Topic为导向,提供消息中间件的功能。一个类型的数据称之为一个Topic。3.1安装
Kafka
使用dockercompose安装Apache
Kafka
。
汪云飞记录本
·
2024-09-08 02:50
Spring
Boot2.x实战全集
spring
boot
kafka
kafka
streams
KafkaListener
基于
Kafka
实现分布式事件驱动
事件驱动是一种灵活的系统设计方法,在事件驱动的系统中,当数据发生变化时系统会产生、发布一个对应的事件,其它对这个事件感兴趣的部分会接收到通知,并进行相应的处理。事件驱动设计最大的好处在我看来有两点:一是它为系统提供了很好的扩展能力,比如我们可以对某类事件增加一个订阅者来对系统进行扩展,最主要的是我们并不需要修改任何已有的代码,它完全符合开闭原则;二是它实现了模块间的低偶合,系统间各个部分不是强依赖
weixin_33785972
·
2024-09-08 02:48
大数据
java
数据库
Linux驱动学习--网络设备驱动架构介绍及底层
源码分析
------>网络协议接口层------>sk_buff------>sk_buff的操作函数------>网络设备接口层------>net_device相关介绍------>设备驱动接口层四、驱动
源码分析
文艺小少年
·
2024-09-08 00:41
网络设备驱动
linux
驱动程序
net
View绘制流程(三) - onLayout
onLayout了,作用是确定view的位置;performTraversals__>perforLayouthost.layout__>view.onLayout__>viewgroup.onLayout2.
源码分析
世道无情
·
2024-09-07 21:31
Mapbox
源码分析
(1)样式加载
简介:通过源码,我们来一步步分析Mapbox地图引擎如何进行不同样式的数据加载的,这里是基于5.3.0的版本.通过官网案例,我们知道在SDK中配置了不同的style样式给我们使用,通过配置不同style,便可加载不同的类型地图,那么我们便可以从setStyleUrl()这个方法着手.这里我们从MapView的setStyleUrl()方法看起这里我们看到,他将相关配置直接往下传到底层了,从nati
一个观察世界的普通人
·
2024-09-07 19:17
pyflink 滚动窗口实例
写在前头:更多大数据相关精彩内容请进我的知识星球,每周定期更新正篇技术路线:模拟
kafka
生产者发送数据——>flink对
kafka
数据实时计算处理——>处理后的数据发送到
kafka
1、模拟客流数据的生产者
菜鸟社长
·
2024-09-07 15:31
菜鸟的大数据进阶之路
大数据进阶之路
kafka
big
data
python
flink
【Flink】Flink 写入到 CSV BucketingSink 的使用方法
1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的,flink读取
kafka
数据,然后写入到csv,但是写入的时候,要求写入一个文件,然后在监听到配置文件变化的时候,将写入到另外一个文件
九师兄
·
2024-09-07 15:00
大数据-flink
flink
BucketingSink
csv
第五章
Kafka
构建TB级异步消息系统
第五章
Kafka
构建TB级异步消息系统1、阻塞队列模拟阻塞队列publicclassBlockingQueueTest{publicstaticvoidmain(String[]args){//容量为10
跟风。
·
2024-09-07 13:48
仿牛客社区论坛
kafka
java
分布式
kubernetes集群下部署
kafka
+zookeeper单机部署方案
背景:注:在kubernetes集群上部署单机版的zookeeper+
kafka
服务,是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn
·
2024-09-07 12:17
消息队列服务
kubernetes
kafka
zookeeper
Kafka
,构建TB级异步消息系统
:使用数据的线程实现类ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.
Kafka
Fern977
·
2024-09-07 12:15
牛客论坛学习笔记
kafka
java
分布式
仿论坛项目--
Kafka
,构建TB级异步消息系统
Kafka
入门•
Kafka
简介
Kafka
是一个分布式的流媒体平台。
HUT_Tyne265
·
2024-09-07 12:14
kafka
分布式
大数据系列 |
Kafka
架构分析及应用
大数据系列|
Kafka
架构分析及应用1.消息系统介绍2.
Kafka
原理分析3.
Kafka
架构分析4.
Kafka
的安装与配置4.1.Zookeeper集群安装配置4.2.安装
Kafka
集群4.3.配置
kafka
降世神童
·
2024-09-07 07:42
大数据技术专栏
大数据
kafka
架构
SpringBoot+
Kafka
+ELK 完成海量日志收集(超详细)
SpringBoot项目准备引入log4j2替换SpringBoot默认log,demo项目结构如下:pomIndexController测试Controller,用以打印日志进行调试InputMDC用以获取log中的[%X{hostName}]、[%X{ip}]、[%X{applicationName}]三个字段值NetUtil启动项目,访问/index和/ero接口,可以看到项目中生成了app
2401_83703797
·
2024-09-07 00:25
程序员
spring
boot
kafka
elk
Kafka
Broker处于高负载状态(例如消息处理量大或系统资源不足),无法及时响应消费者的请求
Causedby:org.apache.
kafka
.common.errors.TimeoutException:Timeoutof60000msexpiredbeforethepositionforpartitionactivity
战族狼魂
·
2024-09-06 22:42
消息队列
java
kafka
分布式
Kafka
常用的传输和序列化数据方式
Kafka
常用的传输和序列化数据方式。不同的方式有不同的优缺点,选择哪种方式通常取决于具体的应用场景、性能要求、数据兼容性需求等。
傲雪凌霜,松柏长青
·
2024-09-06 21:38
后端
大数据
kafka
分布式
kafka
3.7.1 单节点 KRaft部署&测试发送和接收消息
一、环境准备
kafka
3.7.1包下载地址:https://mirrors.nju.edu.cn/apache/
kafka
/3.7.1/
kafka
_2.13-3.7.1.tgzopenjdk11.0.2
运维小弟| srebro.cn
·
2024-09-06 19:51
openeuler
kafka
运维
运维
云原生
Kafka
如何保证消息不丢失
1、生产者1.1丢失原因:
kafka
生产端异步发送消息后,不管broker是否响应,立即返回,伪代码producer.send(msg),由于网络抖动,导致消息压根就没有发送到broker端;
kafka
阳光倾洒
·
2024-09-06 15:55
Kafka
kafka
分布式
java
学习
开发语言
Kafka
如何保证数据不丢失?不重复
1.高可用型配置:acks=all,retries>0retry.backoff.ms=100(毫秒)(并根据实际情况设置retry可能恢复的间隔时间)优点:这样保证了producer端每发送一条消息都要成功,如果不成功并将消息缓存起来,等异常恢复后再次发送。缺点:这样保证了高可用,但是这会导致集群的吞吐量不是很高,因为数据发送到broker之后,leader要将数据同步到fllower上,如果网
优秀后端工程师
·
2024-09-06 15:23
Java程序员
kafka
linq
分布式
【
Kafka
专栏 11】深入理解
Kafka
的网络线程模型:是谁在幕后“操纵”数据流?
作者名称:夏之以寒作者简介:专注于Java和大数据领域,致力于探索技术的边界,分享前沿的实践和洞见文章专栏:夏之以寒-
kafka
专栏专栏介绍:本专栏旨在以浅显易懂的方式介绍
Kafka
的基本概念、核心组件和使用场景
夏之以寒
·
2024-09-06 14:16
夏之以寒-kafka专栏
kafka
网络
分布式
网络模型
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他