零拷贝Zero-Copy

5.NIO零拷贝与传统IO的文件传输性能比较

【README】1.本文总结自B站《netty-尚硅谷》，很不错；2.本文部分内容参考自NIO效率高的原理之零拷贝与直接内存映射-腾讯云开发者社区-腾讯云【1】零拷贝原理【1.1】传统IO的文件拷贝【图解
PacosonSWJTU·2023-12-20 00:45

第三章 第三节NIO零拷贝

1.NIO与零拷贝1.1零拷贝基本介绍零拷贝是网络编程的关键，很多性能优化都离不开Java程序中，常用的零拷贝有mmap(内存映射)和sendFile。
--believe·2023-12-20 00:14

Netty 源码分析 —— NIO 基础（五）之零拷贝与其它源码解读

本文基于Netty4.1.45.Final-SNAPSHOT1、NIO堆外内存与零拷贝
小安的大情调·2023-12-19 04:53

kafka介绍

顺序读写零拷贝：在Linuxkernel2.2之后出现了一种叫做"零拷贝(zero-co
海若Hero·2023-12-19 02:53

RocketMQ-RocketMQ高性能核心原理--（零拷贝）

五、关于零拷贝与顺序写1、刷盘机制保证消息不丢失在操作系统层面，当应用程序写入一个文件时，文件内容并不会直接写入到硬件当中，而是会先写入到操作系统中的一个缓存PageCache中。
长情知热爱·2023-12-16 07:50

03-Netty编解码，粘包拆包及零拷贝详解

Netty编解码Netty涉及到编解码的组件有Channel、ChannelHandler、ChannelPipe等，先大概了解下这几个组件的作用。ChannelHandlerChannelHandler充当了处理入站和出站数据的应用程序逻辑容器。例如，实现ChannelInboundHandler接口（或ChannelInboundHandlerAdapter），你就可以接收入站事件和数据，这些
liuhehe321·2023-12-04 02:51

RocketMQ源码解析——存储部分(1)消息存储的底层`MappedFile`

其实也就是我们说的零拷贝。关于零拷贝网上有很多讲解，后续也可以专门介绍一下零拷贝相关的。 前面也说过Rock
szhlcy·2023-12-01 18:40

Linux scatterlist 详解

ARM64内存架构：UMACONFIG_ARM64_VA_BITS：39CONFIG_ARM64_PAGE_SHIFT：12CONFIG_PGTABLE_LEVELS：30.前言之前在《LinuxDMA...零拷贝
私房菜·2023-12-01 11:27

netty-websocket-spring-boot-starter基于netty的轻量级的高性能socket服务器

两大特性：NIO和零拷贝。netty-websocket-spring-boot-starter版本约定：0.9.5基于此版演绎的，因为每个版本有轻微区别本人已在生产运行超过一年之久。
RenegadePISTA·2023-11-29 20:05

常见面试题-Netty中ByteBuf类

Netty中并没有使用Java的ByteBuffer，而是使用了新的缓冲类型ByteBuf，特性如下：允许自定义缓冲类型复合缓冲类型中内置的透明的零拷贝实现开箱即用的动态缓冲类型，具有像StringBuffer
无敌少年小旋风·2023-11-28 10:41

消息队列中数一数二的“运动健将”Kafka，解密Kafka高性能背后的秘密

归纳原因主要有这四点原因，磁盘顺序读写、页缓存、零拷贝、批量操作。对比RocketMQ说到Kafka有一个话题我们无法回避，就是与其他消息队列的对比。
-JAVA高级架构·2023-11-27 07:10

Kafka面试题

零拷贝技术：Kafka利用零拷贝技术在数据传输过程中避免了数据的多次复制，有效地降低了CPU和内存的消耗。生产者将数据直接写入内核空间的soc
JebLin02·2023-11-26 23:49

什么是零拷贝 、零拷贝优化方案 - 真正的零拷贝，哪些地方会用到零拷贝技术

文章目录什么是零拷贝3、零拷贝优化方案-真正的零拷贝哪些地方会用到零拷贝技术现在来谈谈零拷贝，以及在开发中哪些地方使用到零拷贝。
皮皮攻城狮·2023-11-26 11:23

图文并茂|彻底搞懂零拷贝（Zero-Copy）技术

一，前言Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
玩转Linux内核·2023-11-25 23:45

【Netty技术专题】「原理分析系列」Netty强大特性之ByteBuf零拷贝技术原理分析

零拷贝Zero-Copy我们先来看下它的定义："Zero-copy"describescomputeroperationsinwhichtheCPUdoesnotperformthetaskofcopyingdatafromonememoryareatoanother.ThisisfrequentlyusedtosaveCPUcyclesandmemorybandwidthwhentransmit
洛神灬殇·2023-11-25 22:26

go unsafe包使用指南

1.指针类型转换2.访问修改结构体私有成员变量二、使用unsafe包实现[]byte和字符串的零拷贝转换1.slice底层结构2.string底层结构3.具体实现总结前言与c语言相似，go语言为开发人员提供了指针
Gopher 修炼笔记·2023-11-24 16:56

kafka 常见面试题

1、什么是零拷贝技术（Zero-Copy）传统数据文件拷贝过程  传统的数据文件拷贝过程如下图所示，大概可以分成四个过程：(1)操作系统将数据从磁盘中加载到内核空间的ReadBuffer（页缓存区）中。
hzau_itdog·2023-11-24 15:24

Linux 零拷贝sendfile函数

了解Linux中的sendfile函数在Linux系统编程中，sendfile函数是一个强大的系统调用，用于高效地在文件描述符之间传输数据，特别是用于网络编程中发送文件数据。它在处理大文件时能提供出色的性能优势。什么是sendfile函数？sendfile函数允许在两个文件描述符之间直接传输数据，而无需将数据从内核空间复制到用户空间再发送。它在Linux系统上首次出现于2.2内核版本。效率很高，这
@新法·2023-11-20 08:51

Linux 零拷贝splice函数

也是零拷贝操作.函数原型#includessize_tsplice(intfd_in,loff_t*off_in,intfd_out,loff_t*off_out,size_tlen,unsignedintflags
@新法·2023-11-20 08:10

面试八股整理

0.2java中只有值传递0.3什么是后缀表达式04什么是反射，反射的优缺点05深拷贝和浅拷贝06常用的git命令07常用的docker命令08常用的linux命令09零拷贝是什么10跨域11.java
ylyzzh·2023-11-17 05:09

Apache Arrow优点

增加了缓存命中率以及读取数据的效率采用列式存储，在单机计算的时候，可以利用SMID向量化处理，并且增加了查询效率（一般查询的时候只是查询几列）采用列式存储，IPC进程间通信传输的时候，提高了压缩率采用零拷贝
鸿乃江边鸟·2023-11-13 12:59

如何从零开始手写一个消息中间件（从宏观角度理解消息中间件的技术原理）

什么是消息中间件消息中间件的作用逐一拆解消息中间件的核心技术消息中间件核心技术总览IOBIONIOIO多路复用AIOIO多路复用详细分析selectpollepollJava中的IO多路复用协议序列化消息的存储消息的读写随机写、顺序写内存映射、零拷贝普通读写函数内存映射
黄俊懿·2023-11-13 00:34

使用零拷贝技术实现消息转发功能

零拷贝技术介绍：史上最全零拷贝总结-CSDN博客这是一个简单的基于epoll的LinuxTCP代理程序，通过匿名管道和零拷贝技术的splice函数，将两个TCP端口相互连接，并转发数据。
only_·2023-11-12 02:38

计算机网络——IP篇，零拷贝，网络模型（学习笔记）

前言  本文章为网络编程IP篇的学习笔记，文章中的图片，文字部分引用小林coding，阿秀的学习笔记，知识星球如有侵权，请联系删除。网络模型  当前存在三种网络模型划分的方式，分别是OSI七层模型，TCP/IP四层模型，五层模型。OSI七层网络模型的建立主要就是帮助不同类型的主机实现数据传输，优点就是将服务、接口和协议三个概念明确的区分，通过七层结构使不同的网络之间实现可靠的通讯。1、物理层：是最
饮水小思源·2023-11-11 08:37

Kafka为何可以实现高吞吐?

Kafka之所以可以实现高吞吐，主要依赖于以下5点:ZeroCopy(零拷贝)技术PageCache(页缓存)+磁盘顺序写分区分段+索引批量读写批量压缩首先说一下零拷贝技术：ZeroCopy传统I/O在
打酱油的葫芦娃·2023-11-11 01:51

Linux网络编程04

更高效的零拷贝发送方过程零拷贝sendfile发送文件方的零拷贝，虽然之前我们就可以使用mmap来实现零拷贝但是存在一个方法sendfile也可以直接实现数据从内核区发送到网络发送区socket直接把内核里面你的文件数据不经过用户态
一只叮铛·2023-11-10 05:12

零拷贝技术分类

二、零拷贝技术分类零拷贝技术的发展很多样化，现有的零拷贝技术种类也非常多，而当前并没有一个适合于所有场景的零拷贝技术的出现。对于Linux来说，现存的零拷贝技术也比较多，这些零
chuixue24·2023-11-09 12:09

Netty核心源码剖析

Netty线程模型图Netty高并发高性能架构设计精髓主从Reactor线程模型NIO多路复用非阻塞无锁串行化设计思想支持高性能序列化协议零拷贝(直接内存的使用)ByteBuf内存池设计灵活的TCP参数配置能力并发优化无锁串行化设计思想
Tacy0213·2023-11-08 00:45

耗时一个月总结出来的Netty实战笔记

不常用3.IO实例1).BIO：2).NIO:(1).Buffer：(2).Channel:(3).Selector:3).零拷贝:3.线程模型1)Reactor模式：4.Netty模型入门案例：5.源码分析任务队列中的
JMEATLIP·2023-11-07 08:13

UDP用户态协议栈详细实现

更高效主要是针对，网卡数据拷贝到协议栈这部分，如果采用用户态协议栈就可以进行一个零拷贝的过程，即利用mmap
响箭零零一·2023-11-06 06:19

什么是协议栈？ 用户态协议栈设计(udp协议栈)

每个协议层都有特定的功能和责任，从物理层到应用层，每一层都在不同的抽象级别上处理数据和通信任务）友情提示，请阅读代码的注释通过mmap可以将网卡里的数据映射到内存中去这里是零拷贝，指的是cpu指令没有参与
乖的小肥羊·2023-11-06 06:48

nio 零拷贝详解

传统IO问题传统的IO将一个文件通过socket写出Filef=newFile("helloword/data.txt");RandomAccessFilefile=newRandomAccessFile(file,"r");byte[]buf=newbyte[(int)f.length()];file.read(buf);Socketsocket=...;socket.getOutputStre
热血吊车尾~·2023-11-02 17:58

零拷贝原理详解

零拷贝原理一、概述传统IO的文件传输，数据读取和写入是从用户空间到内核空间来回复制，而内核空间的数据是通过操作系统层面的I/O接口从磁盘读取或写入。
Heloise_yangyuchang·2023-11-02 17:28

零拷贝详解（上）

在这里将会对比下传统的数据传输和零拷贝方式的传输，这两者有什么区别。
天地人性·2023-11-02 17:28

java 零拷贝_零拷贝详解 Java NIO学习笔记四（零拷贝详解）

什么是零拷贝维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
Xizhi Zhu·2023-11-02 17:28

内存零拷贝详解

目录前置知识标准设备标准协议利用中断减少CPU开销利用DMA进行继续优化零拷贝零拷贝之mmap
Bupt_Aurora·2023-11-02 17:28

看一遍就理解：零拷贝详解

若有收获,请记得分享和转发哦零拷贝是老生常谈的问题啦，大厂非常喜欢问。比如Kafka为什么快，RocketMQ为什么快等，都涉及到零拷贝知识点。
IT技术精选文摘·2023-11-02 17:57

面试必备：零拷贝详解

前言零拷贝是老生常谈的问题啦，大厂非常喜欢问。比如Kafka为什么快，RocketMQ为什么快等，都涉及到零拷贝知识点。最近技术讨论群几个伙伴分享了阿里、虾皮的面试真题，也都涉及到零拷贝。
二哥学Java·2023-11-02 17:57

操作系统零拷贝详解

概念在没有cpu干预的情况下，执行的一个存储区向另外一个存储区拷贝任务；可以减少总线周期和内存带宽；普通I/O实现（4次用户态到内核态切换+4次拷贝）应用程序调用系统调用read，进行第一次用户态到内核态上线文切换；将磁盘文件加载到kernelbuffer，进行第一次拷贝；将kernelbuffer的数据拷贝到用户态的userbuffer中，进行第二次拷贝；read系统调用返回，进行第二次用户态到
清风1981·2023-11-02 17:57

零拷贝详解

一、什么是零拷贝零拷贝并不是指在数据的传输过程中发生拷贝的次数为零，而是指数据在传输过程中从内核空间到用户空间之间的数据拷贝次数为零，数据可以直接从内核缓冲区拷贝到应用程序中，避免了数据的多次拷贝，从而提高了数据传输的效率
qq_547026179·2023-11-02 17:27

[RKNN] 2. 模型转换和推理--API介绍&以yolox为例

系列文章目录[RKNN]1.入门介绍[RKNN]2.模型转换和推理–API介绍&以yolox为例[RKNN]3.零拷贝接口推理[RKNN]4.基于零拷贝接口封装文章目录系列文章目录前言一、模型转换1.1API
0zzx0·2023-11-02 04:22

零拷贝接口推理

系列文章目录[RKNN]1.入门介绍[RKNN]2.模型转换和推理–API介绍&以yolox为例[RKNN]3.零拷贝接口推理[RKNN]4.基于零拷贝接口封装文章目录系列文章目录前言一、零拷贝推理yolox1.1
0zzx0·2023-11-02 04:22

基于零拷贝接口封装

系列文章目录[RKNN]1.入门介绍[RKNN]2.模型转换和推理–API介绍&以yolox为例[RKNN]3.零拷贝接口推理[RKNN]4.基于零拷贝接口封装文章目录系列文章目录前言一、思路推理基类后处理类实际任务类二
0zzx0·2023-11-02 04:22

[RKNN] 1. 入门介绍

系列文章目录[RKNN]1.入门介绍[RKNN]2.模型转换和推理--API介绍&以yolox为例[RKNN]3.零拷贝接口推理[RKNN]4.基于零拷贝接口封装目录平台介绍上位机配置及使用开发板环境配置
0zzx0·2023-11-02 04:21

Netty核心源码剖析

Netty线程模型Netty高并发高性能架构设计精髓主从Reactor线程模型NIO多路复用非阻塞无锁串行化设计思想支持高性能序列化协议零拷贝(直接内存的使用)ByteBuf内存池设计灵活的TCP参数配置能力并发优化无锁串行化设计思想在大多数场景下
Firechou·2023-10-29 07:39

X86 SMAP(Supervisor Mode Access Prevention)机制引入的一个问题分析

在Linux系统中，当涉及到用户态和内核态数据拷贝的时候，如果不考虑建立kernelspace和userspace的共享映射实现的零拷贝情况，一般是调用copy_from_user/copy_to_user
papaofdoudou·2023-10-28 23:17

linux的IO多路复用技术epoll详解

零拷贝技术：是指socket通信，在内存中零拷贝，但是仍然有磁盘到内存、内存到网络IO的拷贝。网络IO模型同步异步是针对读写操作由谁来完成，阻塞非阻塞是从函数调用者的角度来说是否需要等待。
Mountainest·2023-10-27 20:28

Kafka入门05——基础知识

目录副本数据同步原理HW和LEO的更新流程第一种情况第二种情况数据丢失的情况解决方案Leader副本的选举过程日志清除策略和压缩策略日志清除策略日志压缩策略Kafka存储手段零拷贝（Zero-Copy）
Elaine202391·2023-10-26 23:40

Netty框架详解

高性能：Netty采用了一系列优化策略，如零拷贝技术、内存池和可定制的线程模型等，以提供出色的性能
qq_547026179·2023-10-26 01:07

面试中被问到：Netty中的零拷贝机制是怎么样的？

零拷贝(Zero-copy),CPU不需要为数据在内存之间的拷贝消耗资源。
弯_弯·2023-10-23 10:05
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他