零拷贝Zero-Copy

零拷贝 - 用户态分析

翻译转载自：https://blog.biezhi.me/2019/01/zero-copy-user-mode-perspective.html现在几乎所有人都听过Linux下的零拷贝技术，但我经常遇到对这个问题不能深入理解的人
寒沧·2019-05-09 17:04

精选(10) 关于零拷贝的一点认识

关于零拷贝的一点认识前言从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能；这个词我们也经常在javanio，netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点
大神，快来碗里·2019-05-03 09:34

Java NIO？看这一篇就够了！

在前面2篇文章《什么是Zero-Copy?》和《NIO相关基础篇》中我们学习了NIO的相关理论知识，而在本篇中我们一起来学习一下JavaNIO的实战知识。全
方志朋·2019-04-30 17:31

网卡驱动描述符助手功能浅析

DMA描述符空间又会采用到CACHE和零拷贝技术，以往都是驱动自己去申请、关联内存和刷新（flush和invalidate）CACHE。
tent1·2019-04-30 15:08

linux零拷贝技术

在看Kafka相关设计时，注意到一个零拷贝技术。对其做一简要介绍：为什么需要零拷贝技术?
analanxingde·2019-04-24 18:13

你真的理解零拷贝了吗？

从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能；这个词我们也经常在javanio，netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点；下面从I/O的几个概念开始，进而在分析零拷贝
小一的生肖解码图·2019-04-20 21:54

零拷贝总结（zero copy)

前言在学习netty的过程中，发现Netty对缓存做了很多优化，其中零拷贝一直令我迷惑，所以在网上找了一些博客进行学习，并作此总结定义零复制（英语：Zero-copy；也译零拷贝）技术是指计算机执行操作时
aozeliu·2019-04-14 00:00

关于零拷贝的一点认识

前言从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能；这个词我们也经常在javanio，netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点；下面从I/O的几个概念开始，进而在分析零拷贝
ksfzhaohui·2019-04-10 00:00

twemproxy-内存管理机制

mbuf启用零拷贝，因为客户端接收请求使用到的内存结构，后端服务器可以复用。同样，从服务器端接收响应时使用的mbuf，也可在客户端复用。此外，使用重用池管理mbuf的内存。
Gitter_·2019-04-08 11:32

CUDA 零拷贝内存

一个简单的测试程序：#include#include__global__voidsumArraysZeroCopy(float*A,float*B,float*C,constintN){inti=blockIdx.x*blockDim.x+threadIdx.x;if(i>>(d_A,d_B,d_C,num+1);cudaMemcpy(gpuBuf,d_C,sizeof(float)*num,cu
czw0723·2019-04-03 01:42

netty-性能优化

以下为ppttodo内容epoll深挖线程分配策略零拷贝原理selectorhashset替换为数组大量使用cas，原子更新器重写了threadlocalhashedweeltime时间轮算法
coderljx·2019-03-23 13:46

UIO,大页内存,CPU亲和性,NUMA机制等

DPDK使用UIO机制使网卡驱动程序运行在用户态，并采用轮询和零拷贝方式从网卡收取报文，提高收发报文的性能。
isLiuhy·2019-03-15 16:00

消息中间件如何实现每秒几十万的高并发写入？

精品学习资料获取通道，参见文末目录1、页缓存技术+磁盘顺序写2、零拷贝技术3、最后的总结“这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。
游离于移动互联网边缘·2019-03-05 11:43

RocketMQ4.3.X笔记（7）：消息队列的核心机制 Broker

文章目录信息存储与发送顺序写mmap"零拷贝"消息存储结构ConsumeQueueCommitLog概述设计机制高可用性机制同步刷盘和异步刷盘概述详解同步复制和异步复制总结参考Broker是RocketMQ
Sam Sho·2019-02-13 11:05

从BIO到NIO在到Netty线程模型详解

从BIO到NIO在到Netty线程模型（零拷贝）摘要：NIO和netty是面试中被频繁问到的，NIO在网络编程中通过少数几个线程处理大量连接数的核心，是tomcat，netty等框架的底层网络传输基础，
jet_qi·2019-01-16 23:21

使用零拷贝函数———sendfile函数以提高服务器性能

一、函数说明sendfie函数在两个文件描述符之间直接传递数据，其中的操作完全在内核中执行，从而避免了内核缓冲区和用户缓冲区之间的数据拷贝，大大提高了效率，被称为零拷贝。
judgejames·2018-12-04 17:04

彻底理解Netty-----零拷贝

数据从磁盘读取到内核的readbuffer2.数据从内核缓冲区拷贝到用户缓冲区3.数据从用户缓冲区拷贝到内核的socketbuffer4.数据从内核的socketbuffer拷贝到网卡接口（硬件）的缓冲区零拷贝的概念明显上面的
爱琴孩·2018-12-02 16:58

Android ION内存分配

通过ION就可以在硬件以及userspace之间实现zero-copy的内存sh
willhua·2018-11-27 21:00

RDMA

将传输协议固化于硬件，同时使用内核旁路（kernelbypass）的零拷贝技术来达到最小化系统开销，极大的降低了延迟时间，并且使CPU的负载几乎为零。
YDDMAX_Y·2018-11-12 16:36

Springboot2构建基于Netty的高性能Websocket服务器(netty-websocket-spring-boot-starter)

Netty为什么传输快Netty的传输快其实也是依赖了NIO的一个特性——零拷贝。
Moshow郑锴·2018-11-02 23:46

Netty4.0源码解析：字节容器UnpooledHeapByteBuf

ByteBuf有以下几大优点：1、它可以被用户自定义的缓冲区类型扩展2、通过内置的复合缓冲区类型实现了透明的零拷贝3、容量可以按需增长4、读写切换无需调用ByteBuffer的filp方法5
A__Plus·2018-10-31 18:38

浅谈NIO与零拷贝

传统IO传统IO的数据拷贝流程如下图：数据需要从磁盘拷贝到内核空间，再从内核空间拷到用户空间（JVM）。程序可能进行数据修改等操作再将数据拷贝到内核空间，内核空间再拷贝到网卡内存，通过网络发送出去（或拷贝到磁盘）。即数据的读写（这里用户空间发到网络也算作写），都至少需要两次拷贝。当然磁盘到内核空间属于DMA拷贝（DMA即直接内存存取，原理是外部设备不通过CPU而直接与系统内存交换数据）。而内核空间
冉椿林博客·2018-10-27 00:35

Java NIO？看这一篇就够了！

在前面2篇文章《什么是Zero-Copy?》和《NIO相关基础篇》中我们学习了NIO的相关理论知识，而在本篇中我们一起来学习一下JavaNIO的实战知识。全文较长，建议先马后看（记得关注不迷路）。
carryxu123456·2018-10-26 11:59

从用户模式角度看零拷贝

到目前为止，每个人都听说过Linux下所谓的零拷贝功能，但我遇到有些人对这个主题没有完全理解，正因为如此，我决定写几篇文章来更深入研究下这个问题，希望能够阐明这个有用的特性；这本文中，我们将从用户模式的应用程序角度来看看零拷贝
杨辉·2018-09-11 00:00

dpvs源代码分析——简介

二、dpvs的优势是什么为了达到高性能，使用了多种不同技术绕过内核（在用户空间实现）每个cpu的关键数据无共享（无锁）RX控制和CPU亲合性绑定（避免上下文切换）批处理TX/RX零拷贝技术（避免数据包拷贝和系统调用
codergeek·2018-09-04 00:00

kafka学习

kafka高性能：1.高效使用磁盘2.零拷贝3.批处理和压缩4.partition5.ISR1.1顺序写磁盘，性能高于随机写零拷贝(没有用户态参与的拷贝，只是在内核态进行的拷贝)：1.传统模式下数据从文件传输到网络需要四次拷贝
有章·2018-08-17 23:27

走进科学之揭开神秘的"零拷贝"！

前言"零拷贝"这三个字，想必大家多多少少都有听过吧，这个技术在各种开源组件中都使用了，比如kafka,rocketmq,netty,nginx等等开源框架都在其中引用了这项技术。
Java后端技术·2018-08-13 08:00

Netty之ByteBuf零拷贝

我们或多或少了解过一些零拷贝的概念，而零拷贝也正是netty能够实现高性能的原因之一，因此我们有必要深入了解netty的零拷贝。
猎户星座。·2018-07-17 10:22

感悟优化——Netty对JDK缓冲区的内存池零拷贝改造

ByteBuf对ByteBuffer做了大量的优化，比如说内存池，零拷贝，引用计数（不依赖GC），本文主要是分析这些优化，学习这些优化思想，学以致用，在实际工程中，借鉴这些优化方案和思想。
Janti·2018-07-12 09:00

Netty零拷贝原理实现

转载自：李林锋Netty系列之Netty高性能之道很多用户都听说过Netty具有“零拷贝”功能，但是具体体现在哪里又说不清楚，本小节就详细对Netty的“零拷贝”功能进行讲解。
zhifeng687·2018-05-29 23:15

JavaNIO和零拷贝（Zero Copy）

文章目录一.Linux操作系统中的零拷贝1.1先从Linux的普通I/O过程说起1.3内核空间内部传输I/O1.4理想状态下的零拷贝I/O1.5splice()系统调用二.JavaNIO中的零拷贝2.1NIO
CringKong·2018-05-10 22:34

通过零拷贝实现高效的数据传输

（翻译自：https://www.ibm.com/developerworks/linux/library/j-zerocopy/）（这里的零拷贝指的是可以不需要cpu参与的拷贝）许多web应用提供大量的静态内容服务
SummerMangoZz·2018-05-07 20:59

io和nio对操作文件的效率对比

而nio是将输入流对应的channel直接transfer到输出流对应的channel，避免了中间的byte数组的缓冲区，这也是所谓零拷贝的一种。
Andyzhu_2005·2018-05-07 14:18

Netty零拷贝原理探究

Netty的“零拷贝”主要体现在如下几个方面：1)即所谓的Zero-copy,就是在操作数据时,不需要将数据buffer从一个内存区域拷贝到另一个内存区域.因为少了一次内存的拷贝,因此CPU的效率就得到的提升
Sysong88·2018-05-06 19:34

Kafka高性能架构之道

包含Kafka如何利用Partition实现并行处理和提供水平扩展能力，如何通过ISR实现可用性和数据一致性的动态平衡，如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效
cyony·2018-03-28 11:26

java面试整理三——常用框架

NIO的特点：事件驱动模型、单线程处理多任务、非阻塞I/O，I/O读写不再阻塞、基于block的传输比基于流的传输更高效、更高级的IO函数zero-copy、IO多路复用大大提高了Java网络应用的可伸缩性和实用性
cpjsjxy·2018-02-25 16:00

Netty中的零拷贝

原文：http://blog.onlycatch.com/post/Netty%E4%B8%AD%E7%9A%84%E9%9B%B6%E6%8B%B7%E8%B4%9DNetty中的零拷贝与我们传统理解的零拷贝不太一样
laosijikaichele·2018-02-25 11:24

第 5 章 ByteBuf

通过两个组件abstractclassByteBuf和interfaceByteBufHolder暴露它可以被用户自定义的缓冲区类型扩展通过内置的复合缓冲区类型实现了透明的零拷贝容量可以按需增长（类似于
FaDeo_O·2018-02-03 15:40

Spark性能调优-Shuffle调优[转]

•Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存。
_BD攻城师_·2017-12-10 09:31

零拷贝读取文件成go对象

我们观察到从文件读取到go对象，需要两次拷贝：从文件拷贝到内存，成为[]byte从[]byte，按照格式进行读取，拷贝到go对象上怎么样优化这个读取速度呢？利用mmap，把文件直接映射到内存，go允许把这片内存已经转化成[]byte来使用直接在这个[]byte上“展开”go对象所谓”展开“就是一个reinterpretcast，对一个指针的类型重新解读。varbytes=[]byte{16,0,0
taowen·2017-12-06 00:00

RPC入门总结（五）RPC IO基础：Netty高性能并发关键技术点

）RPCIO基础：Netty原理和使用转载：Netty系列之Netty线程模型转载：用Netty开发中间件：高并发性能优化转载：Java与Netty实现高性能高并发转载：对于NettyByteBuf的零拷贝
Zenhobby·2017-11-22 00:34

Linux内核追踪[4.14] 网络报文send的ZERO-COPY（零拷贝）

需求：ZERO-COPY对于有性能要求的大数据报文的网络应用来说是一个比较好的优化思路。在之前的内核中，ZERO-COPY只发生在sendfile、splice接口中。
qixuan.wu·2017-11-21 00:59

NIO 零拷贝深入分析

什么是零拷贝零拷贝大概的理解就是在操作数据时,不需要将数据从一个内存区域拷贝到另一个内存区域.因为少了内存的拷贝,因此CPU的效率就得到的提升，同时它是操作系统层面上的操作LINUX与WINDOWS操作的区别相当大我们来
远处的海亲吻着天·2017-10-13 10:27

CUDA Samples: dot product(使用零拷贝内存)

以下CUDAsample是分别用C++和CUDA实现的点积运算code，CUDA包括普通实现和采用零拷贝内存实现两种，并对其中使用到的CUDA函数进行了解说，code参考了《GPU高性能编程CUDA实战
fengbingchun·2017-08-02 10:14

CUDA零复制(Zero Copy)(零拷贝内存)

零复制(ZeroCopy)(零拷贝内存)零复制是一种特殊形式的内存映射，它允许你将主机内存直接映射到GPU内存空间上。
Johan007·2017-07-12 17:24

【Netty基础】Netty的“零拷贝”

零拷贝的定义Zero-copy,就是在操作数据时,不需要将数据buffer从一个内存区域拷贝到另一个内存区域.因为少了一次内存的拷贝,因此CPU的效率就得到的提升.在OS层面上的Zero-copy通常指避免在用户态
白夜行515·2017-06-16 21:14

Netty学习(十)-Netty文件上传

而使用netty来进行文件传输也是利用netty天然的优势：零拷贝功能。很多同学都听说过nett
rickiyang·2017-05-28 14:52

hadoop源码解析之hdfs读取数据全流程分析

阅读更多概述DataXceiverServer介绍了解DataXceiverServer初始化工作工作原理DataXceiver介绍Op类介绍处理逻辑BlockSender读取数据传统方式实现数据传输零拷贝实现数据传输原理具体操作客户端读数据流程分析
zhangjun5965·2017-05-20 20:00

hadoop源码解析之hdfs读取数据全流程分析

阅读更多概述DataXceiverServer介绍了解DataXceiverServer初始化工作工作原理DataXceiver介绍Op类介绍处理逻辑BlockSender读取数据传统方式实现数据传输零拷贝实现数据传输原理具体操作客户端读数据流程分析
zhangjun5965·2017-05-20 20:00

hadoop?????hdfs?????????

概述DataXceiverServer介绍了解DataXceiverServer初始化工作工作原理DataXceiver介绍Op类介绍处理逻辑BlockSender读取数据传统方式实现数据传输零拷贝实现数据传输原理具体操作客户端读数据流程分析
zhangjun5965·2017-05-20 20:00
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他