零拷贝Zero-Copy

《图解系统》笔记（一）

一、什么是零拷贝1.CPU完成内存与磁盘的数据传输的工作：2.DMA进行I/O设备和内存的数据传输：DMA即直接内存访问（DirectMemoryAccess）：在进行I/O设备和内存的数据传输的时候，
yuanbo_小菜鸡·2023-06-10 12:32

Kafka和其它中间件共同的优化（五）

均使用零拷贝和epoll等不同点存储Kafka采用partition，每个t
arthur.dy.lee·2023-06-10 12:31

【操作系统】Linux 中的 Page Cache

LinuxPageCache调优在Kafka中的应用【操作系统】一文带你深入浅出零拷贝技术【操作系统】如何避免预读失效和缓存污染的问题？
小颜-·2023-06-08 09:13

NIO vs BIO，零拷贝，同步阻塞、同步非阻塞、同步多路复用、异步非阻塞

同是IO，NIO和BIO有什么区别？什么是同步阻塞、同步非阻塞、同步多路复用、异步非阻塞？他们是如何工作的？已经有了IO了NIO是干什么的？这篇文章将带你解决这些疑惑在学习Java基础是说起IO就不得不说起stream和NIO对应的channel那stream与channel有何差别？缓冲区差别：普通的stream不会缓冲数据，不带缓冲数据，频繁的进行读写切换导致性能不是很高，所以在stream使
Alie鱼·2023-04-21 20:35

C++拷贝/复制一张图片 读写二进制文件

但为啥没显示出来百思不得其解，起初是怀疑图片是二进制文件保存的，所以按正常文件读写是不对的，想了之后决定用sendfile函数（Linux的一个系统函数，也叫零拷贝函数，没用过的同学可以翻翻man手册或者搜搜了解一下
dxgzg·2023-04-21 19:40

零拷贝浅析

前言在介绍零拷贝之前，我们先通过简单的例子了解普通的数据传输模式有什么弊端，然后再看看零拷贝技术解决了哪些问题。
·2023-04-21 19:38

零拷贝浅析

前言在介绍零拷贝之前，我们先通过简单的例子了解普通的数据传输模式有什么弊端，然后再看看零拷贝技术解决了哪些问题。
·2023-04-21 18:58

模拟kafka测试零拷贝和磁盘顺序写的速度

接收端使用nio+io多路复用+零拷贝+磁盘顺序写packagecom.chun.multiplexing;importjava.io.File;importjava.io.IOException;importjava.io.RandomAccessFile
春_·2023-04-21 12:57

BIO/NIO/Netty网络通信编程

2.4NIO-Channel2.4.1files相关操作2.4.2channel网络通信2.4.3处理消息边界2.4.4buffer大小分配2.4.5处理大量写事件2.5selector-Epoll2.6IO模型2.7零拷贝
呆萌小新@渊洁·2023-04-20 05:56

Netty的高性能体现在哪些方面

文章目录Netty的高性能体现在哪些方面1.非阻塞I/O2.零拷贝3.内存池4.线程模型Netty的高性能体现在哪些方面Netty是一个高性能、异步事件驱动的网络应用程序框架，它具有出色的稳定性和灵活性
青山师·2023-04-20 03:18

C++中使用FFmpeg适配自定义编码器的实现方法

目录1编码流程1.1整体流程1.2内部流程2适配接口2.1init、close2.2option2.3receive2.4encode2.5零拷贝的设计1编码流程FFmpeg是一个开源的多媒体框架，底层可对接实现多种编解码器
·2023-04-19 19:33

文件传输和零拷贝

DMA技术传统的文件传输过程1、read调用从用户态切换到内核态2、CPU发起IO请求，然后返回，磁盘控制器将数据放入磁盘控制缓冲区，然后发起IO中断信号3、将数据从磁盘控制缓冲区拷贝到PageCache4、将数据从PageCache拷贝到用户缓冲区5、内核态切换为用户态CPU将数据从磁盘控制缓冲区一个字节一个字节的传输的过程，CPU要一直参与，不能做其他的事情，导致效率很低，高并发场景下非常慢什
彳亍口巴·2023-04-18 18:32

java nio中的ByteBuffer扩展

nio是newinput/output的简称，nio的效率要比传统io效率高，主要原因就是nio利用了系统底层的零拷贝技术和多路复用技术。
ะัี潪ิื·2023-04-17 05:09

Kafka概念及组件介绍

数据读取速度可以达到O(1)——预读，后写（按顺序，ABCDE，正读A,预读B；尾部追加写）对磁盘的顺序访问比内存访问还快）一、kafka快原因：1.cache缓存+2.顺序写入（写数据，磁盘顺序)+3.零拷贝
GoAI·2023-04-17 02:55

HDSF 简介

目录一、HDFS的设计特点是二、什么零拷贝2.1传统情况：2.2零拷贝技术：三、什么是DMA四、HDFS的关键元素五、HDFS运行原理六、HDFS数据合并原理七、HDFS写的原理八、HDFS读的原理九、
冷艳无情的小妈·2023-04-16 20:26

java nio中的ByteBuffer扩展

nio是newinput/output的简称，nio的效率要比传统io效率高，主要原因就是nio利用了系统底层的零拷贝技术和多路复用技术。
ะัี潪ิื·2023-04-16 19:48

零拷贝简介

是什么什么是零拷贝呢?
烟草的香味.·2023-04-16 07:23

使用NIO中的transferTo方法传输数据精度丢失的问题

最近在学习NIO时遇到一个问题，使用transferTo()方法和transferFrom()方法做零拷贝复制文件时数据丢失。
半路出道晓码农·2023-04-16 04:19

零拷贝原理详解

引言传统的Linux操作系统的标准I/O接口是基于数据拷贝操作的，即I/O操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘I/O的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘I/O操作。但是数据传输过程中的数据拷贝操作却导致了极大的CPU开销，限制了操作系统有效进行数据传输操作
Alfie20·2023-04-15 21:22

浅析零拷贝（Zero-copy）

[TOC]零拷贝（Zero-copy）是一种高效的数据传输机制，在追求低延迟的传输场景中十分常用。本文先通过传统方案引出零拷贝机制，然后分析其细节，最后介绍它的部分应用。
tracy_668·2023-04-15 18:05

RDMA如何实现高IO低延时

需要配置支持RDMA技术的网卡，最具代表性的是CX-5、CX-61.零拷贝指的是不需要内核和应用层进行拷贝数据，从而降低内核态和用户态切换2.kernalbypass指的是传统网络数据包需要使用linux
3333333_·2023-04-14 13:50

字节跳动开源 Shmipc：基于共享内存的高性能 IPC

动手点关注干货不迷路简介CloudWeGo-Shmipc是字节跳动服务框架团队研发的高性能进程间通讯库，它基于共享内存构建，具有零拷贝的特点，同时它引入的同步机制具有批量收割IO的能力，相对于其他进程间通讯方式能明显提升性能
字节跳动技术团队·2023-04-13 13:38

零拷贝内存 & 固定内存

一、总览虚拟内存是一种计算机内存管理的技术，它让程序认为程序自身有一段完整的连续可用的内存（一个地址空间）。当程序运行时所占的内存空间大于物理空间容量，操作系统可以将暂时不用的数据放入到磁盘，用的时候再拿出来，这样磁盘有一部分空间就是用来存放这样的数据，即ram与硬盘的临时空间结合使用，这个临时空间就叫虚拟内存。每个程序用的虚拟地址相互独立，不同的程序可以使用相同的虚拟地址。物理地址就是物理内存上
Codiplay·2023-04-13 11:32

深入理解kafka-1

1.1kafka是什么1.2kafka基础架构1.3kafka模块概述2、kafkka结构剖析2.1kafka工作流程2.2kafka文件存储2.2.1顺序写2.2.2分片，索引2.2.3页缓存2.2.4零拷贝
竹光&散影^O^少军·2023-04-13 08:47

详细讲解零拷贝机制的进化过程

一、传统拷贝方式（一）操作系统经过4次拷贝CPU负责将数据从磁盘搬运到内核空间的PageCache中；CPU负责将数据从内核空间的PageCache搬运到用户空间的缓冲区；CPU负责将数据从用户空间的缓冲区搬运到内核空间的Socket缓冲区中；CPU负责将数据从内核空间的Socket缓冲区搬运到的网络中；（二）4次上下文切换read系统调用时：用户态切换到内核态；read系统调用完毕：内核态切换回
gegeyanxin·2023-04-13 06:53

RDMA send/recv 和 read/write操作

RECEIVE是双边操作，即需要通信双方的参与，并且RECEIVE要先于SEND执行，这样对方才能发送数据，当然如果对方不需要发送数据，可以不执行RECEIVE操作，因此该过程和传统通信相似，区别在于RDMA的零拷贝网络技术和内核旁路
Sylviawuuuu·2023-04-13 03:48

【FFmpeg】自定义编码器适配

目录1编码流程1.1整体流程1.2内部流程2适配接口2.1init、close2.2option2.3receive2.4encode2.5零拷贝的设计1编码流程FFmpeg是一个开源的多媒体框架，底层可对接实现多种编解码器
卡咖喱·2023-04-11 03:25

kafka终极版

零拷贝是指将数据在内核空间直接从磁盘文件复制到网卡中，而不需要经由用户态的应用程序之手。减少内核到外核拷贝上下文切换，提高数据传输效率。DMA，又称之为直接内存访问，是零拷贝技术的基石。
跟着爸爸走·2023-04-10 08:40

三种不同实现ublk的零拷贝I/O的方法

用户态块设备ublk，就是提供/dev/ublkbX这样的标准块设备给业务，业务读写这个块的实际IO处理由编写的用户态的代码决定。这就好比使用FUSE，所有对挂载于FUSE的目录的读写都是编写的IOhandler来处理一样。使用用户态块设备，可以方便地向上层业务以块设备/dev/ublkbX的形式提供您的自定义存储系统（如ceph）的服务，上层业务只需要对块设备执行标准的读写操作即可。ublk是社
rayylee·2023-04-10 08:48

八股文(Linux&操作系统)

文章目录一.linux常用命令1.命令汇总2.高频考题二.进程线程协程三.零拷贝1.DMA(直接内存访问)技术**2.传统的文件传输3.如何优化文件传输性能4.如何实现零拷贝？
studyForMokey·2023-04-09 17:56

java克隆数值,Java NIO中的Zero-copy（零拷贝）技术

Zero-copy技术介绍零复制(英语：Zero-copy；也译零拷贝)技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域，从而可以减少上下文切换及CPU的拷贝时间，通常用于通过网络传输文件时节省
weixin_39681621·2023-04-09 14:50

GoLang之如何实现字符串和byte切片的零拷贝转换

文章目录GoLang之如何实现字符串和byte切片的零拷贝转换GoLang之如何实现字符串和byte切片的零拷贝转换这是一个非常精典的例子。
GoGo在努力·2023-04-08 16:19

深入理解 Linux 零拷贝以及 Linux 中 I/O 的底层原理，在kafka、nginx、golang等等各种文件传输场景中不同的优化手段和实际应用

深入理解Linux零拷贝以及Linux中I/O的底层原理，在kafka、nginx、golang等等各种文件传输场景中不同的优化手段和实际应用。
代码讲故事·2023-04-08 16:18

零拷贝及一些引申内容

内容在极客时间的两个专栏：倪朋飞《Linux性能优化实战》02，03节陶辉《系统性能调优必知必会》04节这个属于高频面试题的一个，很可能是作为Kafka的延伸出来，之前可能我在掘金也已经有大概说过了，可是一直没有详细的去总结一下。我之前被许多读者问过，同事也问过，在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多，在看了的部分相关内容后，现在再回过头去提一下子，应该算
说出你的愿望吧丷·2023-04-08 16:15

图文并茂|彻底搞懂零拷贝（Zero-Copy）技术

1.前言Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
简说Linux内核·2023-04-08 16:45

零拷贝摘录

在看kafka的时候看到kafka的高效的原因,是因为用了0拷贝技术.这里看了https://developer.ibm.com/articles/j-zerocopy/这篇文章简单做一下笔记在web场景中,我们需要将硬盘的数据传输到socket中做网络推送.我们编写的应用程序作为媒介,如果使用传统的文件拷贝技术的话将会出现4次拷贝,非常影响效率.1、传统的数据拷贝方式,经历了4次拷贝在上图中,a
hello_读书就是赚钱·2023-04-08 16:43

零拷贝技术第一篇：综述

零拷贝(zerocopy)在一些语境下指代的意思有所不同,本文讲的零拷贝就是大家常说的，通过这个技术让CPU释放出来不去执行内存中数据拷贝的功能，或者避免不必要的拷贝，所以说零拷贝不是没有数据的拷贝(复制
Go中国·2023-04-08 16:12

零拷贝技术第二篇：Go语言中的应用

书接上回:零拷贝技术第一篇：综述[1],我们留了一个小尾巴，还没有介绍Go语言中零拷贝技术的应用，那么本文将带你了解Go标准库中零拷贝技术。
Go中国·2023-04-08 16:42

Go语言中的零拷贝优化，值得大家收藏

)/io.ReaderFrom等接口和方法不陌生，它们是使用Go操作各类I/O进行数据传输经常需要使用到的API，其中基于TCP协议的socket在使用上述接口和方法进行数据传输时利用到了Linux的零拷贝技术
简说Linux·2023-04-08 16:11

高级java开发必问面试题

封装继承多态==和equals比较hashCode与equals重载和重写的区别Final类加载器spring是什么AOP的理解谈谈你对IOC的理解零拷贝RocketMQ架构设计RocketMq事务消息原理
evanYang_·2023-04-08 12:27

史上最全零拷贝总结

一、传统方式下消息读取发送很多应用程序在发送文件时，可以等价为进行如下的系统调用File.read(file,buf,len);Socket.send(socket,buf,len);例如消息中间件Kafka就是这个应用场景，从磁盘中读取一批消息后原封不动地写入网卡（NIC，Networkinterfacecontroller）进行发送。在没有任何优化技术使用的背景下，操作系统为此会进行4次数据拷
ikunkun0406·2023-04-08 09:28

深入浅出kafka原理-2-Kafka为何那么快（高效）

目录前言：Kafka为何那么快（高效）1.文件系统2.降低时间复杂度3.零拷贝4.下一节预告前言：Kafka为何那么快（高效）利用磁盘顺序写的优势预读取后写入尽量避免使用in-memorycache将消息打包降低大量小型
进阶架构师·2023-04-08 04:08

Android系列-ION内存管理简介

Android系列-ION内存管理简介一、ION相关介绍Android的ION子系统的目的主要是通过在硬件设备和用户空间之间分配和共享内存，实现设备之间零拷贝共享内存。说来简单，其实不易。
QuietHeart·2023-04-08 04:10

2022-01-19_netty服务端ServerBootstrap如何接受连接并后续处理读写事件学习笔记

20220119_netty服务端ServerBootstrap如何接受连接并后续处理读写事件学习笔记1概述非阻塞NIO,异步Future,高性能(单线程无锁),零拷贝(ByteBuf),Netty是基于
kikop·2023-04-08 02:57

RocketMQ 简介

RocketMQ采用零拷贝原理实现了超大量消息的堆积能力。支持顺序消息。RocketMQ可以保证消息消费者按照消息发送的顺序对消息进行消费。消息分为全局有序消息和局部
丁真的小马·2023-04-07 04:08

LwRB 使用说明

LwRB使用说明LwRB(lightweightringbuffer)是一个轻量级的环形缓冲区，除了支持ringbuffer常规的读写操作，它还有自己的特色，比如支持读写事件通知，支持DMA零拷贝收发数据
tang_jia·2023-04-07 03:22

0.NDSPI接口-provider实例化

1.版本2.0NetworkDirect架构为应用程序开发人员提供了一套网络接口，利用这套接口可以完成应用程序之间的零拷贝数据传输，I/O内核旁路的发送生成和完成处理，以及单向的数据传输操作。
敩科炼技堂·2023-04-06 23:27

ara:com API架构说明

高阶配置系列总目录文章目录ara:comAPI的一些属性ara:comAPI重要知识点ara:comAPI的一些属性使用经典的Proxy/Skeleton架构模式独立于协议的API与可配置的接收方缓存进行排队通信具有零拷贝能力的
车端·2023-04-06 23:29

当场懵 了蚂蚁二面卒，面试官问我零拷贝的实现原理

一面还可以，二面面试官问我零拷贝的原理，懵逼了...这块内容没去研究过""哦，这个知识点，我之前应该有讲过，你没注意到？""这东西工作中用不到，可能被我忽略了""啧啧啧...""哎，有空和我讲讲？""
芒果不是程序猿·2023-04-06 16:17

零拷贝

零拷贝普通传输File.read();Socket.send();这种传输经过了四次数据拷贝首先是两个概念用户态和内核态想要了解用户态和内核态就需要了解进程的用户空间和内存空间浅谈用户态和内核态以及用户空间和内核空间用户态和内核态的理解和区别用户空间与内核空间
旧炉新酒几杯·2023-04-06 16:02
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他