零拷贝Zero-Copy

IO零拷贝

在介绍零拷贝之前我们先看看传统的Java网络IO编程是怎样的。下面代码展示了一个典型的Java网络程序。
Linging_24·2024-01-05 01:55

linux 的直接direct io

目录什么是DirectIOjava支持使用场景数据库反思在之前的文章零拷贝基础上，有一个针对那些不需要在操作系统的pagecache里保存的情况，即绕过pagecache，对于linux提供了directio
zlpzlpzyd·2024-01-01 18:31

linux支持的零拷贝类型以及java对应的支持

在之前整理的零拷贝文章基础上https://blog.csdn.net/zlpzlpzyd/article/details/135321197https://blog.csdn.net/zlpzlpzyd
zlpzlpzyd·2024-01-01 18:31

JAVA面试题分享二百四十四：彻底理解零拷贝技术( DMA、PageCache)

目录DMAmmap+writesendfilekafka和Nginx都使用了零拷贝技术大文件传输：异步IO+直接IO总结DMA直接内存访问（DirectMemoryAccess）什么是DMA？
之乎者也··2024-01-01 18:00

Java NIO 本地零拷贝transferFrom、transferTo与Buffer拷贝

原理流程图从Buffer中拷贝publicstaticvoidmain(String[]args)throwsException{//===========读===========//拿到文件Filefile=newFile("d:\\test\\write.txt");FileInputStreaminputStream=newFileInputStream(file);//创建管道，把文件放入
热爱技术的小陈·2024-01-01 18:00

计算机操作系统学习笔记(11)——零拷贝

文章目录一、DMA二、传统文件IO三、如何实现零拷⻉？mmap+writesendfile四、PageCache一、DMADMA(直接内存存取)为什么要有DMA技术?没有DMA的时候，IO整个数据的传输过程，都要需要CPU亲⾃参与搬运数据的过程，⽽且这个过程，CPU是不能做其他事情的。有了DMA技术。在进⾏I/O设备和内存的数据传输的时候，数据搬运的⼯作全部交给DMA控制器，⽽CPU不再参与任何与
码农BookSea·2024-01-01 18:59

论最强IO：MappedByteBuffer VS FileChannel

这些MQ有一个共同的特点就是：引入了IO性能优化之王MappedByteBuffer（零拷贝之内存
布道·2024-01-01 18:59

java零拷贝zero copy MappedByteBuffer

未使用mmap的文件通过网络传输的过程使用mmap的文件通过网络传输的过程使用例子调用操作系统的sendfile()在java中的具体实现mmap的优劣mmap的不足mmap的优点mmap的使用场景对于零拷贝
zlpzlpzyd·2024-01-01 18:28

Kafka_01_Kafka初识

Kafka_01_Kafka初识Kafka基础概念延迟任务KafkaKafka:ZooKeeper协调的分布式消息系统基于Scala语言编写的高性能、多分区、多副本Kafka高性能的原因：页缓存、顺序IO、零拷贝具有以下特性
爱喝可乐的w·2023-12-31 20:48

kafka 的零拷贝原理

文章目录kafka的零拷贝原理今天来跟大家聊聊kafka的零拷贝原理是什么？
皮皮攻城狮·2023-12-31 16:19

YashanDB个人版体验总结

此外，YashanDB数据库还注重高性能，采用了多种优化技术，如内存计算、异步IO和零拷贝等，以提升系统的性能。另外，YashanDB数据库支持ACID事务，保证数据的一
i查拉图斯特拉如是·2023-12-28 19:05

MMKV 数据存储(零拷贝技术)

MMKV是基于mmap内存映射的key-value组件，底层序列化/反序列化使用protobuf实现，性能高，稳定性强。从2015年中至今在微信上使用，其性能和稳定性经过了时间的验证。近期也已移植到Android/macOS/Win32/POSIX平台，一并开源。MMKV原理内存准备通过mmap内存映射文件，提供一段可供随时写入的内存块，App只管往里面写数据，由操作系统负责将内存回写到文件，不必
Mr_Leixiansheng·2023-12-28 12:31

Kafka的高性能原理

Kafka高性能设计的全景图生产消息的性能优化手段批量发送消息消息压缩高效序列化内存池复用存储消息的性能优化手段IO多路复用.磁盘顺序写PageCache分区分段结构消费消息的性能优化手段稀疏索引.mmap零拷贝批量拉取本文小结什么是高性能设计我们暂且把
wh柒八九·2023-12-28 10:11

Netty学习（一）：初识Netty

章节1、Netty学习（一）：初识Netty2、Netty学习（二）：Netty的核心组件3、Netty学习（三）：Netty的流程分析4、Netty学习（四）：Netty零拷贝(转载)5、Netty学习
如我般骄傲·2023-12-28 08:48

kafka高吞吐量的原因

kafa吞吐量高的原因顺序读写kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写零拷贝在
香港十大金曲·2023-12-27 23:59

RK3588平台开发系列讲解（AI 篇）RKNN rknn_query函数详细说明

接口)四、查询输出tensor属性(用于通用API接口)五、查询模型推理的逐层耗时六、查询模型推理的总耗时七、查询模型的内存占用情况八、查询模型里用户自定义字符串九、查询原始输入tensor属性(用于零拷贝
内核笔记·2023-12-27 01:36

【IO】IO模型与零拷贝

前言：正在运行的程序其实就是系统中的一个进程，操作系统会为每一个进程分配内存空间，而内存空间分为两部分，一部分是用户空间，这是用户进程访问的内存区域；另一部分是内核空间，是操作系统内核访问的内存区域。如网络、磁盘IO等操作，出于安全性考虑，用户进程不能直接与外部设备进行数据交互，用户进程只能向操作系统发起IO调用请求，由操作系统内核与外部设备进行数据交互，完成真正的IO操作。IO模型：首先明确一个
Annancqxxx·2023-12-25 16:11

RPC 实战与原理

零拷贝什么是零拷贝？为什么需要零拷贝？如何实现零拷贝？Netty的零拷贝有何不同？动态代理实现HTTP/2特性为什么需要服务发现？为什么不用DNS？定时任务&时间轮定时任务的问题？
鱼找水需要时间·2023-12-25 15:13

一文道破Java中的深拷贝，浅拷贝，零拷贝

根据拷贝的层次和方式不同，可以分为深拷贝、浅拷贝和零拷贝。本篇文章我们将详细介绍这三种拷贝方式的概念、实现方法以及使用场景，方便大佬学习及面试。
小威要向诸佬学习呀·2023-12-25 15:40

netty零拷贝图解

传统IO问题传统的IO将一个文件通过socket写出Filef=newFile("helloword/data.txt");RandomAccessFilefile=newRandomAccessFile(file,"r");​byte[]buf=newbyte[(int)f.length()];file.read(buf);​Socketsocket=...;socket.getOutputSt
黄晓琪·2023-12-25 10:54

零拷贝原理详解

什么是零拷贝？零拷贝是一种优化技术，通过减少数据传输时的拷贝次数，降低CPU负担，提高系统性能的方式。它避免了数据在应用层、内核层、用户空间、内核空间之间的多次拷贝。
Memory_2020·2023-12-24 06:15

Netty高性能的原因

零拷贝：Netty支持零拷贝技术，通过直接
友谊之路·2023-12-23 22:58

ffmpeg 硬件解码零拷贝unity 播放

ffmpeg硬件解码问题ffmpeg在硬件解码，一般来说，我们解码使用cuda方式，当然，最好的方式是不要确定一定是cuda，客户的显卡不一定有cuda，windows下，和linux下要做一些适配工作，最麻烦的不是这个，二是ffmpeg解码后，颜色空间的转换，如果使用cuda，那么可以使用cuda去在gpu中直接转码，如果没有cuda，那么我们希望的是不要转颜色空间。ffmpeg硬件解码相信下面
qianbo_insist·2023-12-23 07:43

RocketMQ系统性学习-RocketMQ高级特性之消息存储的高效与刷盘策略、Broker 快速读取消息机制

首先是通过对磁盘进行顺序写可以保证高性能的文件存储：随机写速度10KB/s顺序写速度600MB/s（图片来源于网络）文件拷贝利用了零拷贝以及内存映射技术（MMP）通过使用零拷贝减少数据拷贝次数利用内存映射技术
11来了·2023-12-23 00:03

nio java 内核拷贝_有必要了解一下Linux中零拷贝原理 | NIO零拷贝技术实践

本文导读：什么是零拷贝传统IO数据拷贝原理什么是DMAsendfile数据零拷贝原理mmap数据零拷贝原理Java中NIO零拷贝实现JavaIO与NIO实战案例分析什么是零拷贝关于零拷贝，WIKI上给出的定义如下
weixin_39968640·2023-12-20 00:49

Netty由浅到深_第三章_ NIO与零拷贝

在java程序中，常用的零拷贝有mmap(内存映射)和sendFile。
44478788·2023-12-20 00:49

Java NIO 零拷贝

一、什么是零拷贝零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
会飞的IT蜗牛·2023-12-20 00:49

linux零拷贝 nio,NIO零拷贝的深入分析

什么是零拷贝维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
weixin_39671405·2023-12-20 00:48

第13节NIO与零拷贝

那所谓的零拷贝就是指在进行IO读写时，尽量减少拷贝次数，尤其是cpu拷贝。零拷贝主要是由操作系统来支持，和javaapi无关。2.相关概念须知在详细介绍零拷贝前，先需要了解以下个概念
一只胡说八道的猴子·2023-12-20 00:16

NIO与零拷贝

目录一、零拷贝的基本介绍二、传统IO数据读写的劣势三、mmap优化四、sendFile优化五、mmap和sendFile的区别六、零拷贝实战6.1传统IO6.2NIO中的零拷贝6.3运行结果一、零拷贝的基本介绍零拷贝是网络编程的关键
玉面大蛟龙·2023-12-20 00:46

Netty学习笔记：三、NIO零拷贝

1、传统IO4次上下文切换、4次内存拷贝上图中，上半部分表示用户态和内核态的上下文切换。下半部分表示数据复制操作。下面说说他们的步骤：read调用导致用户态到内核态的一次变化，同时，第一次复制开始：DMA（DirectMemoryAccess，直接内存存取，即不使用CPU拷贝数据到内存，而是DMA引擎传输数据到内存，用于解放CPU）引擎从磁盘读取index.html文件，并将数据放入到内核缓冲区。
象话·2023-12-20 00:46

5、java NIO 零拷贝技术

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言传统的文件传输过程零拷贝技术技术1：mmap+write（）技术2：sendfile技术2：LInux内核2.4对sendfile
香树·2023-12-20 00:16

7、深究NIO中的零拷贝

一、零拷贝概述零拷贝说起来似乎是一个很高大上的东西，但是理解了之后也就那么会事，挺简单的。了解NIO中的零拷贝之前需要知道计算机在运行的过程中是分为两种状态的——用户态、核心态。
码涤生·2023-12-20 00:15

第六章 NIO与零拷贝

目录零拷贝基本介绍传统IO数据读写NIO与零拷贝传统IOmmap优化sendFile优化零拷贝的再次理解mmap和sendFile的区别NIO零拷贝案例传统IO模式零拷贝方式AIOBIO、NIO、AIO
幺零二肆·2023-12-20 00:45

5.NIO零拷贝与传统IO的文件传输性能比较

【README】1.本文总结自B站《netty-尚硅谷》，很不错；2.本文部分内容参考自NIO效率高的原理之零拷贝与直接内存映射-腾讯云开发者社区-腾讯云【1】零拷贝原理【1.1】传统IO的文件拷贝【图解
PacosonSWJTU·2023-12-20 00:45

第三章 第三节NIO零拷贝

1.NIO与零拷贝1.1零拷贝基本介绍零拷贝是网络编程的关键，很多性能优化都离不开Java程序中，常用的零拷贝有mmap(内存映射)和sendFile。
--believe·2023-12-20 00:14

Netty 源码分析 —— NIO 基础（五）之零拷贝与其它源码解读

本文基于Netty4.1.45.Final-SNAPSHOT1、NIO堆外内存与零拷贝
小安的大情调·2023-12-19 04:53

kafka介绍

顺序读写零拷贝：在Linuxkernel2.2之后出现了一种叫做"零拷贝(zero-co
海若Hero·2023-12-19 02:53

RocketMQ-RocketMQ高性能核心原理--（零拷贝）

五、关于零拷贝与顺序写1、刷盘机制保证消息不丢失在操作系统层面，当应用程序写入一个文件时，文件内容并不会直接写入到硬件当中，而是会先写入到操作系统中的一个缓存PageCache中。
长情知热爱·2023-12-16 07:50

03-Netty编解码，粘包拆包及零拷贝详解

Netty编解码Netty涉及到编解码的组件有Channel、ChannelHandler、ChannelPipe等，先大概了解下这几个组件的作用。ChannelHandlerChannelHandler充当了处理入站和出站数据的应用程序逻辑容器。例如，实现ChannelInboundHandler接口（或ChannelInboundHandlerAdapter），你就可以接收入站事件和数据，这些
liuhehe321·2023-12-04 02:51

RocketMQ源码解析——存储部分(1)消息存储的底层`MappedFile`

其实也就是我们说的零拷贝。关于零拷贝网上有很多讲解，后续也可以专门介绍一下零拷贝相关的。 前面也说过Rock
szhlcy·2023-12-01 18:40

Linux scatterlist 详解

ARM64内存架构：UMACONFIG_ARM64_VA_BITS：39CONFIG_ARM64_PAGE_SHIFT：12CONFIG_PGTABLE_LEVELS：30.前言之前在《LinuxDMA...零拷贝
私房菜·2023-12-01 11:27

netty-websocket-spring-boot-starter基于netty的轻量级的高性能socket服务器

两大特性：NIO和零拷贝。netty-websocket-spring-boot-starter版本约定：0.9.5基于此版演绎的，因为每个版本有轻微区别本人已在生产运行超过一年之久。
RenegadePISTA·2023-11-29 20:05

常见面试题-Netty中ByteBuf类

Netty中并没有使用Java的ByteBuffer，而是使用了新的缓冲类型ByteBuf，特性如下：允许自定义缓冲类型复合缓冲类型中内置的透明的零拷贝实现开箱即用的动态缓冲类型，具有像StringBuffer
无敌少年小旋风·2023-11-28 10:41

消息队列中数一数二的“运动健将”Kafka，解密Kafka高性能背后的秘密

归纳原因主要有这四点原因，磁盘顺序读写、页缓存、零拷贝、批量操作。对比RocketMQ说到Kafka有一个话题我们无法回避，就是与其他消息队列的对比。
-JAVA高级架构·2023-11-27 07:10

Kafka面试题

零拷贝技术：Kafka利用零拷贝技术在数据传输过程中避免了数据的多次复制，有效地降低了CPU和内存的消耗。生产者将数据直接写入内核空间的soc
JebLin02·2023-11-26 23:49

什么是零拷贝 、零拷贝优化方案 - 真正的零拷贝，哪些地方会用到零拷贝技术

文章目录什么是零拷贝3、零拷贝优化方案-真正的零拷贝哪些地方会用到零拷贝技术现在来谈谈零拷贝，以及在开发中哪些地方使用到零拷贝。
皮皮攻城狮·2023-11-26 11:23

图文并茂|彻底搞懂零拷贝（Zero-Copy）技术

一，前言Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
玩转Linux内核·2023-11-25 23:45

【Netty技术专题】「原理分析系列」Netty强大特性之ByteBuf零拷贝技术原理分析

零拷贝Zero-Copy我们先来看下它的定义："Zero-copy"describescomputeroperationsinwhichtheCPUdoesnotperformthetaskofcopyingdatafromonememoryareatoanother.ThisisfrequentlyusedtosaveCPUcyclesandmemorybandwidthwhentransmit
洛神灬殇·2023-11-25 22:26

go unsafe包使用指南

1.指针类型转换2.访问修改结构体私有成员变量二、使用unsafe包实现[]byte和字符串的零拷贝转换1.slice底层结构2.string底层结构3.具体实现总结前言与c语言相似，go语言为开发人员提供了指针
Gopher 修炼笔记·2023-11-24 16:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他