零拷贝Zero-Copy

面试刷题12:zero copy是怎么回事？

我是李福春，我在准备面试，今天的问题是：zero-copy是怎么回事？操作系统的空间划分为内核态空间，用户态空间；内核态空间相对操作系统具备更高的权限和优先级；用户态空间即普通用户所处空间。
李福春·2020-03-26 10:00

通过zero-copy进行高效的数据传输(译)

这篇文章翻译自Efficientdatatransferthroughzerocopy。由于译者水平有限，有的地方翻译的可能不正确，所以读者应当先查看原文。Web应用程序为了提供静态内容，需要先从磁盘中读出数据，然后将这些数据写入到Socket中。虽然这个过程不会占用太多CPU资源，但是它确实效率不高。内核从磁盘读取数据，需要在内核态和用户态之间切换，然后将它写入到Socket时，又需要从用户态切
AlstonWilliams·2020-03-25 20:18

Zero-Copy的原理简介

单独从理论上理解可能会有些晦涩，我在这从一个实际的场景进行阐述，一步一步演进Zero-Copy的原理。
Yang0503·2020-03-23 14:11

Netty 分享之 Zero Copy

我们或多或少了解过一些零拷贝的概念，而零拷贝也正是netty能够实现高性能的原因之一，因此我们有必要深入了解netty的零拷贝。
逅弈·2020-03-12 00:20

一文读懂之nginx

概述1.1nginx简介1.2nginx对比apache的优缺点1.3Tengine介绍1.4nginx的安装1.5nginx的工作模型1.6nginx参数详解1.6.1工作模式与连接上限1.6.2开启零拷贝
吴成伟0122·2020-03-09 21:01

netty 零拷贝

首先将它与传统的I/Oread和write操作作对比，看看有什么不同，首先需要理解一下用户态和内存态的概念用户态(UserMode)和内核态(KernelMode)，也可以叫用户空间和内核用户态：受限的访问内存，并且不允许访问硬件设备。内核态：本质上是一个软件，可以控制计算机的硬件资源（如网卡，硬盘），可以访问内存所有数据。用户程序都是运行在用户态中的，比如JVM，就是用户程序，所以它运行在用户态
scottzcw·2020-03-07 14:23

Kafka 入门1：系统架构、基本概念以及伪集群搭建方法

本质上是一种消息中间件，用来可靠传递消息事件，用来管理消息队列（MessageQueue），具有如下特点：分布式的，支持在线水平扩展；高吞吐、高性能：kafka具有高的吞吐量，内部采用消息的批量处理，zero-copy
alexlee666·2020-03-06 19:04

NIO效率高的原理之零拷贝与直接内存映射

首先澄清，零拷贝与内存直接映射并不是Java中独有的概念，并且这两个技术并不是等价的。零拷贝零拷贝是指避免在用户态(User-space)与内核态(Kernel-space)之间来回拷贝数据的技术。
全菜工程师小辉·2020-03-06 05:51

zero-copy

场景：从本地磁盘读取数据，然后将这些数据通过socket发送到远端。read(file,user_buf,len);//readdatafromdiskwrite(socket,tmp_buf,len);//writedataintoNIC.完整过程如下：1：将文件从磁盘读到kernel2：将kernel中的数据copy到user_buffer//readdone.3:将user_buffer中数
一只搬砖的傻狗·2020-03-05 22:14

Zero-Copy

转载：原文链接考虑这样一种常用的情形：你需要将静态内容（类似图片、文件）展示给用户。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到一个内存buf中，然后将这个buf通过socket传输给用户，进而用户或者静态内容的展示。这看起来再正常不过了，但是实际上这是很低效的流程，我们把上面的这种情形抽象成下面的过程：read(file,tmp_buf,len);write(socket,tmp_
SnailFast·2020-03-05 10:28

Java通过零拷贝实现高效的数据传输

零拷贝，零开销本文仅是中文版本，原文由SathishPalaniappan,PramodNagaraja发布于2008年09月2号。
大哥你先走·2020-03-02 12:54

零拷贝

所谓的零拷贝：是指不需要cpu参与的拷贝传统I/O(read/write):->代表数据流向read:磁盘-->DMA->内核缓冲->用户缓冲（其中内核->用户是需要cpu进行拷贝，需要切换2次用户态/
简书徐小耳·2020-02-29 02:16

BIO、NIO、AIO 网络通信区别

当有客户端请求时，会先把客户端的数据存储到系统缓存，等数据发送完毕，程序再开启一个线程去系统缓存拉去数据或者对数据其他处理（如文件数据直接存入硬盘，是零拷贝数据
真海ice·2020-02-27 09:31

UCLOUD的负载均衡

用户空间驱动，完全Zero-Copy采用批处理摊销单个报文处理的成本充分利用硬件特性IntelDataDirectI/OTechnology(IntelDDIO)NUMAHugePages，CacheAlignment
cyberhorse·2020-02-26 04:41

Kafka为什么这么快

【编者的话】本文从客户端设计优化，到服务端日志的持久性、批处理、压缩、零拷贝I/O和并行流处理角度分析Kafka的性能。Kafka虽然不是最快的消息中间件，吞吐量也不是最大的。
cainzhong·2020-02-24 23:00

零拷贝（Zero-copy）及其应用详解

目录前言传统的数据传输方法零拷贝的数据传输方法“基础的”零拷贝机制对Scatter/Gather的支持对内存映射（mmap）的支持零拷贝机制的应用在Kafka中的应用在Spark中的应用TheEnd前言这是一个多月之前留下的烂尾文
LittleMagic·2020-02-23 13:04

有关zero-copy,mmap,direct-memory的一切

  本文专门解释关于高性能IO的基层技术，关于zero-copy,mmap,direct-memory，这些都是Linux/Windows/MacOS都支持的底层api，但我会用Java作为主语言。
Skymiles·2020-02-22 14:26

Zero-Copy

服务器将硬盘上的文件，传给用户，需要几次拷贝？解决这个问题，需要明白具体的工作流程是什么？read(file,buf,len);//把文件读到缓冲区buf中write(socket,buf,len);//把buf中的内容发送给用户关于哪个步骤需要拷贝：把磁盘中文件拷贝到kernelbuf把kernelbuf拷贝到userbuf把userbuf拷贝到socket中的kernelbuf把socketb
packet·2020-02-20 17:46

IO/NIO/AIO & Netty

NIO主要有buffer、channel、selector三种技术的整合，通过零拷贝的buffer取得数据，每一个客户端通过channel在selector（多路复用器）上进行注册。
maven_hz·2020-02-19 02:39

linux内核编程 linux内核教程 Linux内核网络工程师 linux内核与驱动工程师视频

┣━━09章项目培训[952.3M]┃┣━━09章-01节-零拷贝入门实验.mp4[91.1M]┃┣━━09章-02节-构建内核网络数据源.mp4[90.1M]┃┣━━09章-03节-零拷贝实验环境搭建
java20192019·2020-02-16 04:13

netty学习笔记04 - NIO与零拷贝

零拷贝基本介绍零拷贝是网络编程的关键，很多性能优化都离不开。在Java程序中，常用的零拷贝有mmap(内存映射)和sendFile。那么，他们在OS里，到底是怎么样的一个的设计？
魔舞清华·2020-02-14 13:33

Netty学习(三)高性能之ByteBuf源码解析(篇幅较长)

Netty高性能之ByteBuf解析(篇幅较长)Netty高性能的原因除了前面提到的NIO的Reactor线程模型,零拷贝也是其高性能的一个重要原因.零拷贝省去了数据从用户进程到内核的拷贝(jvm堆内的数据
疾风老头·2020-02-14 00:33

nginx 开启高效文件传输模式

(1)sendfile参数用于开启文件的高效传输模式，该参数实际上是激活了sendfile()功能，sendfile()是作用于两个文件描述符之间的数据拷贝函数，这个拷贝操作是在内核之中的，被称为"零拷贝
我只是一个小白木木·2020-02-11 09:42

Netty中的零拷贝

一.零拷贝的定义Zero-copy,就是在操作数据时,不需要将数据buffer从一个内存区域拷贝到另一个内存区域.因为少了一次内存的拷贝,因此CPU的效率就得到的提升.在OS层面上的Zero-copy通常指避免在用户态
叫我不矜持·2020-02-08 04:58

零拷贝，NIO，Reactor和Netty

1.NIO阅读本节前，请先阅读我的NIO基础文章：https://www.jianshu.com/nb/8788241NIO是Java中的一种同步非阻塞IO，NIO是面向buffer的非阻塞IO。其中最重要的的三个核心概念是：Channel，Buffer和Selector。ChannelChannel类似于BIO中的流，可以从中读取或者写入数据。但它和流有以下区别：Channel是双向的，既可以读
伊凡的一天·2020-02-07 23:30

【Linux编程】大冒险之零拷贝技术探究

原文:https://blog.csdn.net/lk_wkqd/article/details/50242523对于网络数据传输或I/O数据拷贝而言，零拷贝技术主要指的是避免内核缓冲区和用户缓冲区中的不必要的数据拷贝操作
laosijikaichele·2020-02-06 07:31

对于 Netty ByteBuf 的零拷贝(Zero Copy) 的理解

https://www.cnblogs.com/94cool/p/5453033.html此文章已同步发布在我的segmentfault专栏.根据Wiki对Zero-copy的定义:"Zero-copy"describescomputeroperationsinwhichtheCPUdoesnotperformthetaskofcopyingdatafromonememoryareatoanoth
_寒_寒_·2020-02-05 18:25

对于netty零拷贝的理解

首先，零拷贝并不代表没有数据的拷贝，而是减少了拷贝的次数。
ZMRWEGo·2020-02-02 22:44

零拷贝

概念零拷贝CPU不执行数据从一个存储区域到另一个存储区域的任务。所以同一个存储区域之间的拷贝也属于零拷贝。DMADMA(DirectMemoryAccess,直接存储器访问)。
开了肯·2020-01-17 19:00

零拷贝技术_

引文##在写一个服务端程序时（WebServer或者文件服务器），文件下载是一个基本功能。这时候服务端的任务是：将服务端主机磁盘中的文件不做修改地从已连接的socket发出去，我们通常用下面的代码完成：while((n=read(diskfd,buf,BUF_SIZE))>0)write(sockfd,buf,n);基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket。
忧伤还是快乐EL·2020-01-10 16:00

浅析Linux中的零拷贝技术

本文探讨Linux中主要的几种零拷贝技术以及零拷贝技术适用的场景。
卡巴拉的树·2020-01-08 04:14

深入理解NIO零拷贝及用户空间与内核空间切换

1、什么是零拷贝维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
寅务·2020-01-07 02:08

Kafka 设计详解之网络通信

Kafka的流行源于他优秀的设计，如依靠磁盘（以及操作系统的PageCache）而不是内存来存储队列数据、充分使用零拷贝（zero-copy）以减少数据在不同内存空间间的拷贝、数据尽可能的使用顺序读写等
两棵橘树·2020-01-06 00:12

64行代码实现零拷贝go的TCP拆包粘包

64行代码实现零拷贝go的TCP拆包粘包前言这段时间想用go写一个简单IM系统，就思考了一下go语言TCP的拆包粘包。TCP的拆包粘包有一般有三种解决方案。
AlberLiu·2020-01-05 14:14

浅谈 Linux下的零拷贝机制

什么是零拷贝维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
tomas家的小拨浪鼓·2020-01-05 13:25

Linux 中的零拷贝技术

【转自】：https://www.ibm.com/developerworks/cn/linux/l-cn-zerocopy2/index.htmlLinux中的直接I/O如果应用程序可以直接访问网络接口存储，那么在应用程序访问数据之前存储总线就不需要被遍历，数据传输所引起的开销将会是最小的。应用程序或者运行在用户模式下的库函数可以直接访问硬件设备的存储，操作系统内核除了进行必要的虚拟存储配置工作
lxqfirst·2020-01-04 00:01

Netty的零拷贝

https://www.cnblogs.com/xys1228/p/6088805.htmlJava的零拷贝-FileChannel.transferTo通过java的FileChannel.transferTo
技术灭霸·2020-01-03 22:14

NIO与零拷贝

一、零拷贝1.介绍零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
Qmillet·2020-01-03 21:00

Netty架构设计

还支持通过实行编码解码逻辑来实现自定义协议Core核心可扩展事件模型、通用通信API、支持零拷贝的ByteBuf缓冲对象模块组件Bootstrap、ServerBootstrapBootst
Jacknolfskin·2019-12-31 21:52

Java NIO

在前面2篇文章《什么是Zero-Copy?》和《NIO相关基础篇》中我们学习了NIO的相关理论知识，而在本篇中我们一起来学习一下JavaNIO的实战知识。全文较长，建议先马后看（记得关注不迷路）。
卖肾割阑尾·2019-12-30 21:00

2018-08-21 准备开源一个网络库

想通过这次机会弥补一下之前在网路这方面的短板.设计大概是如下的几个方面：Buffer/Codec/Protocol.这个模块的功能是实现可中断、可恢复的消息协议解析.可选的功能有基于复制的buffer和基于零拷贝的
Quasars·2019-12-30 11:11

Kafka 高性能原因分析

Kafka作为一款基于磁盘存储的高吞吐消息中间件，常作为log、event等流式数据的通道，在流式计算领域也有丰富应用，下面简单分析其高吞吐、高性能的几点原因零拷贝普通的数据传输一般涉及read、write
sleep_NULL·2019-12-28 21:34

如何编写一个 SendFile 服务器

如何编写一个SendFile服务器前言之前讨论零拷贝的时候，我们知道，两台机器之间传输文件，最快的方式就是sendfile，众所周知，在Java中，该技术对应的则是FileChannel类的transferTo
莫那一鲁道·2019-12-24 15:27

虚拟化网络中的零拷贝

根据数据包流向，零拷贝可以分为HosttoVM的零拷贝和VMtoVM的零拷贝，前者主要适用于一般的情况，后者更适用于NFV。本文简单枚举下现有的零拷贝的虚拟化网络实现。
少阁主_enfj·2019-12-24 00:47

sendfile“零拷贝”、mmap内存映射、DMA

先说说零拷贝零拷贝并不是不需要拷贝，而是减少不必要的拷贝次数。通常是说在IO读写过程中。
保罗大哥·2019-12-22 02:58

一、基本知识（BIO、NIO、AIO）

Netty提供了易于使用的API的客户端/服务器框架特点：并发高-NIO传输快-零拷贝二、阻塞与非阻塞线程访问资源的时候，该资源是否准备就绪的一种处理方式。
Tinner丶·2019-12-19 08:03

Realm二次封装实现增删查改

imageRealm是SQLite和CoreData的替代者，得益于其零拷贝的设计，Realm比任何ORM都要快很多。几分钟内就能学会使用Realm。
jackyshan·2019-12-19 01:12

Netty高性能ByteBuf源码解析

本文地址:https://juejin.im/post/5db8ea...Netty高性能的原因除了前面提到的NIO的Reactor线程模型,零拷贝也是其高性能的一个重要原因.零拷贝省去了数据从用户进程到内核的拷贝
吴浩南·2019-12-18 12:35

零拷贝-zero copy

在阅读RocketMQ的官方文档时，发现Chapter6.1中关于零拷贝的叙述中有点不理解，因此查阅了相关资料，来解释文中的说法。
forlab·2019-12-17 21:19

Kafka高吞吐低延迟原理

目录顺序读写PageCache零拷贝分区分段+索引批量读写批量压缩顺序读写  Kafka将消息记录持久化到本地磁盘中，实际上不管是内存还是磁盘，快或慢关键在于寻址的方式，磁盘分为顺序读写与随机读写，内存也一样分为顺序读写与随机读写
K. Bob·2019-12-15 15:23
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他