零拷贝Zero-Copy

ByteBuf：Netty的数据容器

1.ByteBufAPI的优点可以被扩展通过内置的复合缓冲区类型实现了透明的零拷贝容量可以按需增长读写模式切换不需要调用flip方法读写使用不用的索引方法支持链式调用支持引用计数支持池化2.ByteBuf
tudouSmart·2019-12-15 14:05

零拷贝

前言零拷贝这三个字，一直是服务器网络编程的关键字，任何性能优化都离不开。在Java程序员的世界，常用的零拷贝有mmap和sendFile。那么，他们在OS里，到底是怎么样的一个的设计？
莫那一鲁道·2019-12-12 19:23

NIO 与 零拷贝

零拷贝介绍零拷贝是网络编程的关键,很多性能优化都需要零拷贝。在Java程序中,常用的零拷贝方式有m(memory)map[内存映射]和sendFile。它们在OS中又是怎样的设计?
wellDoneGaben·2019-12-09 10:00

【深入浅出Linux】零拷贝技术sendfile

前言在了解零拷贝之前，我们先来看看标准的的I/O操作..1.传统IO的原理标准I/O又被称作缓存I/O，大多数文件系统的默认I/O操作都是缓存I/O。
叫我不矜持·2019-12-06 10:14

转载:支撑百万并发的 “零拷贝” 技术，你了解吗？

转载:支撑百万并发的“零拷贝”技术，你了解吗？零拷贝（Zero-copy）技术指在计算机执行操作时，CPU不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及CPU的拷贝时间。
meng_philip123·2019-12-02 00:23

蚂蚁二面，面试官问我零拷贝的实现原理，当场懵了…

一面还可以，二面面试官问我零拷贝的原理，懵逼了...这块内容没去研究过""哦，这个知识点，我之前应该有讲过，你没注意到？""这东西工作中用不到，可能被我忽略了""啧啧啧...""
占小狼·2019-11-29 12:34

零拷贝的原理及Java实现

在谈论Kafka高性能时不得不提到零拷贝。Kafka通过采用零拷贝大大提供了应用性能，减少了内核和用户模式之间的上下文切换次数。那么什么是零拷贝，如何实现零拷贝呢？
攀山客·2019-11-07 19:19

对于 Netty ByteBuf 的零拷贝(Zero Copy) 的理解

此文章已同步发布在我的segmentfault专栏.根据Wiki对Zero-copy的定义:"Zero-copy"describescomputeroperationsinwhichtheCPUdoesnotperformthetaskofcopyingdatafromonememoryareatoanother.ThisisfrequentlyusedtosaveCPUcyclesandmemo
永顺·2019-11-02 10:59

kafka是如何做到高效的

总体架构：利用Partition实现并行处理ISR实现可用性与数据一致性的动态平衡具体设计：顺序写磁盘充分利用PageCache零拷贝批处理高效的序列化方式数据压缩降低网络负载Kafka客户端和服务端通信采取的是
txxs·2019-10-23 21:38

深入剖析Linux IO原理和几种零拷贝机制的实现

原文链接：https://zhuanlan.zhihu.com/p/83398714前言零拷贝（Zero-copy）技术指在计算机执行操作时，CPU不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及
mhHao·2019-10-21 11:45

零拷贝——sendfile

一、DMAio读写有两种方式：中断DMA用户进程发起数据读取请求系统调度为该进程分配cpucpu向io控制器(ide,scsi)发送io请求用户进程等待io完成，让出cpu系统调度cpu执行其他任务数据写入至io控制器的缓冲寄存器缓冲寄存器满了向cpu发出中断信号cpu读取数据至内存通过中断，cpu需要拷贝数据。2、DMA用户进程发起数据读取请求系统调度为该进程分配cpucpu向DMA发送io请求
赶路人儿·2019-10-16 16:47

[转帖]Linux 中的零拷贝技术，第 2 部分

Linux中的零拷贝技术，第2部分https://www.ibm.com/developerworks/cn/linux/l-cn-zerocopy2/index.htmlLinux中的直接I/O如果应用程序可以直接访问网络接口存储
济南小老虎·2019-10-11 08:00

[转帖]Linux 中的零拷贝技术，第 1 部分

Linux中的零拷贝技术，第1部分https://www.ibm.com/developerworks/cn/linux/l-cn-zerocopy1/index.html引言传统的Linux操作系统的标准
济南小老虎·2019-10-11 08:00

[转帖]零拷贝

零拷贝https://www.cnblogs.com/stateis0/p/10960579.html上下文切换用户态内核态DMA直接内存读取等等.图里面有一处应该是shared还不是shard前言零拷贝这三个字
济南小老虎·2019-10-11 07:00

DPDK收发包全景分析---以ixgbe分析

DPDK收发包全景分析---以ixgbe前言：DPDK收发包是基础核心模块，从网卡收到包到驱动把包拷贝到系统内存中，再到系统对这块数据包的内存管理，由于在处理过程中实现了零拷贝，数据包从接收到发送始终只有一份
313119992·2019-10-09 11:34

Netty 高性能之零拷贝

零拷贝是指避免在用户态（User-space）与内核态（Kernel-space）之间来回拷贝数据的技术。
程序猿进阶·2019-10-07 21:03

Java网络编程 -- Netty中的ByteBuf

Bytebuf的API操作更加便捷，可以动态扩容，提供了多种ByteBuf的实现，以及高效的零拷贝机制。
CodingDiary·2019-10-06 20:00

Java网络编程 -- Netty中的ByteBuf

Bytebuf的API操作更加便捷，可以动态扩容，提供了多种ByteBuf的实现，以及高效的零拷贝机制。
CodingDiary·2019-10-06 20:00

Netty对JDK缓冲区的内存池零拷贝改造

ByteBuf对ByteBuffer做了大量的优化，比如说内存池，零拷贝，引用计数（不依赖GC），本文主要是分析这些优化，学习这些优化思想，学以致
量子物理学·2019-09-27 14:25

深入剖析Linux IO原理和几种零拷贝机制的实现

前言零拷贝（Zero-copy）技术指在计算机执行操作时，CPU不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及CPU的拷贝时间。
零壹技术栈·2019-09-21 11:39

深入剖析Linux IO原理和几种零拷贝机制的实现

前言零拷贝（Zero-copy）技术指在计算机执行操作时，CPU不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及CPU的拷贝时间。
零壹技术栈·2019-09-20 22:07

深入剖析Linux IO原理和几种零拷贝机制的实现

前言零拷贝（Zero-copy）技术指在计算机执行操作时，CPU不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及CPU的拷贝时间。
零壹技术栈·2019-09-20 22:07

(重点)Netty中的零拷贝

Netty中的零拷贝与我们传统理解的零拷贝不太一样。传统的零拷贝指的是数据传输过程中，不需要CPU进行数据的拷贝。主要是数据在用户空间与内核中间之间的拷贝。
大神，快来碗里·2019-09-17 10:21

零拷贝

首发于我的个人博客概念零拷贝（zerocopy）指的是当拷贝发生时，CPU并不参与实际的拷贝过程（也可以指拷贝数据这个过程），CPU可以切换到其他线程，数据的拷贝过程异步进行，异步过程通常要由硬件DMA
wang·2019-09-15 00:00

NIO零拷贝

在Java体系的NIO和Netty中都存在着零拷贝这么一个东西，这项技术可以提升数据的读写速度，那到底什么是零拷贝呢，下面这张图可以很详细的说明。
石楠烟斗的雾·2019-09-08 14:14

netty-堆外内存与零拷贝

原文链接：https://www.cnblogs.com/zhxiansheng/p/11327808.html我们现在来深入理解一下Buffer在 堆内创建内存 和 堆外创建内存 的底层原理，与 零拷贝
a__17·2019-08-26 22:52

零拷贝Zero copy-linux and java

背景-几种拷贝方式方式1:CopyinginTwoSampleSystemCallsread(file,tmp_buf,len);write(socket,tmp_buf,len);首先，调用read时，文件Acopy到了kernel模式；之后，CPU控制将kernel模式数据copy到user模式下；调用write时，先将user模式下的内容copy到kernel模式下的socket的buffe
聚变归来·2019-08-20 12:00

Java中的零拷贝

哪些地方零拷贝？Java支持哪些零拷贝？带着这俩问题，我们一起来看下面的探究。哪里听说过零拷贝?真的0次拷贝吗?
消失er·2019-08-19 20:46

Java中的零拷贝

哪些地方零拷贝？Java支持哪些零拷贝？带着这俩问题，我们一起来看下面的探究。哪里听说过零拷贝?真的0次拷贝吗?
消失er·2019-08-19 20:46

彻底搞懂零拷贝

为了彻底搞懂零拷贝，我们趁热打铁，接着上一节来继续讲解零拷贝的底层原理。2|0感受一下NIO的速度之前的章节中我们说过，Nio并不能解决网络传输的速度。但是为什么很多人却说Nio的速度比传统IO快呢？
li123128·2019-08-19 17:11

Netty基础系列(5) --零拷贝底层分析

前言上一节（堆外内存与零拷贝）当中我们从jvm堆内存的视角解释了一波零拷贝原理，但是仅仅这样还是不够的。为了彻底搞懂零拷贝，我们趁热打铁，接着上一节来继续讲解零拷贝的底层原理。
正号先生·2019-08-19 17:00

java后端面试题（二）

零拷贝是什么？浅拷贝，深拷贝自己设计一个LRUCACHE(最少最远不用)IO/NIO是什么一千万个单次统计重复数最高的十个mysql不可重复读的含义回滚具体是怎么实现的？了解mysql视图吗？
旧木优子和二十原里美·2019-08-15 21:22

Kafka零拷贝

Kafka除了具备消息队列MQ的特性和使用场景外，它还有一个重要用途，就是做存储层。用kafka做存储层，为什么呢？一大堆可以做数据存储的MySQL、MongoDB、HDFS……因为kafka数据是持久化磁盘的，还速度快；还可靠、支持分布式……啥！用了磁盘，还速度快！！！没错，kafka就是速度无敌，本文将探究kafka无敌性能背后的秘密。首先要有个概念，kafka高性能的背后，是多方面协同后、最
消失er·2019-08-15 16:50

Kafka零拷贝

Kafka除了具备消息队列MQ的特性和使用场景外，它还有一个重要用途，就是做存储层。用kafka做存储层，为什么呢？一大堆可以做数据存储的MySQL、MongoDB、HDFS……因为kafka数据是持久化磁盘的，还速度快；还可靠、支持分布式……啥！用了磁盘，还速度快！！！没错，kafka就是速度无敌，本文将探究kafka无敌性能背后的秘密。首先要有个概念，kafka高性能的背后，是多方面协同后、最
消失er·2019-08-15 16:50

netty整理

传输快：依赖NIO的零拷贝特性。封装好：Netty对NIO大部分操作进行了封装，提供易于使用的API，使开发者能能够快速高效的构建一个稳健的高并发应用。
nnmxyz·2019-08-14 18:09

netty学习笔记（二）java之NIO编程

netty学习java之NIO编程NIO深入分析简介：flip源码：NIO堆外内存与零拷贝内存映射文件文件锁使用传统java的网络通信NIO非阻塞通信选择器Selector重要SelectionKey的
qq_32827043·2019-08-12 18:40

Netty基础系列(4) --堆外内存与零拷贝

我们现在来深入理解一下Buffer在堆内创建内存和堆外创建内存的底层原理，与零拷贝的具体实现。BufferBuffer是一个抽象类，首先我们来看看Buffer有哪些实现类。
正号先生·2019-08-12 11:00

kafka与rabbitMQ区别（简单概况）

kafka具有高的吞吐量，内部采用消息的批量处理，zero-copy机制，数据的存储和获取是本地磁盘顺序批量操作，具有O(1)的复杂度，消息处理的效率很高。
码虫码农·2019-08-11 00:56

网络IO 零拷贝解析

一、传统网络IO（read/write方式）场景：将一张本地图片展示给用户，首先将本地图片从磁盘中拷贝出来放到内存buffer中，然后将这个buffer通过socket传递给用户，这个过程抽象成下面的过程：read(file,tmp_buf,len);write(socket,tmp_buf,len);首先调用read将本地图片，读取到jvm内存中，然后调用write将jvm内存中的数据写道soc
我爱双面奶·2019-08-07 14:07

Kafka系列汇总

Kafka的零拷贝技术传统的文件拷贝传统的文件拷贝通常需要从用户态去转到核心态，经过readbuffer，然后再返回到用户态的应用层buffer，然后再从用户态把数据拷贝到核心态的socketbuffer
词林首席·2019-08-06 09:22

一文彻底搞懂Netty高性能之零拷贝

作为上一篇NIO效率高的原理之零拷贝与直接内存映射的补充，本文将针对Netty的零拷贝特性进行详细分析。
javaQQ群 866865133·2019-07-31 21:38

零拷贝

1.为什么使用零拷贝我们假设一个场景，将本地文件上传到网络上，伪代码如下：read(file,tmp_buf,len);write(socket,tmp_buf,len);注意，别看代码操作就读和写两个
绳命在于学系·2019-07-30 22:50

零拷贝技术(zero-copy)

传统读操作JAVA用传统方式进行读操作时，整体流程如上图，具体如下：1、应用程序发起读数据操作，JVM会发起read()系统调用。2、这时操作系统OS会进行一次上下文切换（把用户空间切换到内核空间）3、通过磁盘控制器把数据copy到内核缓冲区中，这里的就发生了一次DMACopy4、然后内核将数据copy到用户空间的应用缓冲区中，发生了一次CPUCopy5、read调用返回后，会再进行一次上下文切换
hagretd·2019-07-29 23:57

NIO零拷贝的深入分析

深入分析通过Socket进行数据文件传递中的传统IO的弊端以及NIO的零拷贝实现原理,及用户空间和内核空间的切换方式传统的IO流程在这个过程中:数据从磁盘拷贝进内核空间缓冲区从内核空间缓冲区拷贝到用户空间缓冲区从用户空间缓冲区拷贝回内核空间缓冲区在从内核空间缓冲区拷贝到
赐我白日梦·2019-07-08 12:00

Kafka设计解析（六）- Kafka高性能架构之道

包含Kafka如何利用Partition实现并行处理和提供水平扩展能力，如何通过ISR实现可用性和数据一致性的动态平衡，如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效利用
千淘万漉·2019-06-19 21:02

浅谈 Linux下的零拷贝机制

浅谈Linux下的零拷贝机制什么是零拷贝维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
wangxizzz·2019-06-13 11:27

Java IO 性能优化大PK，什么场景用啥，都给你总结好啦！

thinkinjava.cn前言Java在JDK1.4引入了ByteBuffer等NIO相关的类，使得Java程序员可以抛弃基于Stream，从而使用基于Block的方式读写文件.另外，JDK还引入了IO性能优化之王——零拷贝
架构师小秘圈·2019-06-02 22:18

从BIO到NIO在到Netty线程模型（零拷贝）

从BIO到NIO在到Netty线程模型（零拷贝）摘要：NIO和netty是面试中被频繁问到的，NIO在网络编程中通过少数几个线程处理大量连接数的核心，是tomcat，netty等框架的底层网络传输基础，
hp15·2019-05-31 11:44

高性能IO背后原理-零拷贝（zero copy）技术

概述：在刚开始接触Kafak、Netty、文件服务器都听高性能，但作为像Java、python这种高级语言的开发人员，对零拷贝这种特性，看不见摸不着的东西，总是了解不够深入和透彻。
small&snail·2019-05-30 14:12

MappedByteBuffer VS FileChannel 孰强孰弱？

前言Java在JDK1.4引入了ByteBuffer等NIO相关的类，使得Java程序员可以抛弃基于Stream，从而使用基于Block的方式读写文件，另外，JDK还引入了IO性能优化之王——零拷贝sendFile
莫那一鲁道·2019-05-12 22:40
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他