零拷贝Zero-Copy

操作系统IO之零拷贝技术

磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存10倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接I/O、异步I/O等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区
·2021-09-03 22:05

Netty 轻松实现文件上传功能

而使用netty来进行文件传输也是利用netty天然的优势：零拷贝功能。很多同学都听说过nett
·2021-08-25 10:13

一文彻底弄懂零拷贝原理以及java实现

目录零拷贝传统I/O操作存在的性能问题零拷贝技术原理虚拟内存mmap/write方式sendfile方式带有scatter/gather的sendfile方式splice方式总结零拷贝零拷贝（Zero-Copy
·2021-08-13 11:40

六.Netty入门到超神系列-Java NIO零拷贝实战

前言这一章我们来操作一下NIO的零拷贝，这里我会先写代码样式一下传统IO数据拷贝场景下的耗时，然后再对比NIO场景下的考别耗时，通过耗时差异就能看到NIO零拷贝和传统IO拷贝的区别了。
墨家巨子@俏如来·2021-08-06 23:40

五.Netty入门到超神系列-零拷贝技术

文章目录前言物理内存和虚拟内存内核空间和用户空间DMA传输原理传统IO流程DMAIO流程DMA的问题零拷贝技术MMAP模式Sendfile模式Sendfile+DMA优化Splice缓冲区共享总结前言本篇文章我们来探讨一下
墨家巨子@俏如来·2021-08-05 17:22

零拷贝

简介指计算机在执行操作的时候，cpu不需要先将数据从某处复制到一个特定地方，节省cpu的时钟周期和内存带宽常规流程image.pngDMA:DIRECTMEMORYACCESS这个东西不消耗cpu（从磁盘到内核read缓冲区，从内核socket缓冲区到网卡都是DMA）mmapimage.png实现原理：所有的操作系统都使用的是虚拟内存，取代物理内存，虚拟内存远大于物理内存，所有一个以上的虚拟内存可
张帆demo·2021-07-18 23:41

Netty编解码开发+多协议开发和应用+源码+高级特性笔记免费送

网络通信框架Netty已经逐渐成为了构建高可用分布式系统核心组件通信的基础，它的线程模型、零拷贝和多协议支持也让从业者们爱不释手。
java码农之路1·2021-07-16 10:43

瓜子保险

老的项目占用资源较多，导致其他项目一直pending，有没有优化的方式Kafka为什么适合高数据量的消息发送及收集零拷贝Kafka如何保证消息不丢失的？
wuhuaguo丶·2021-07-08 08:05

(5)零拷贝实现原理

场景：文件读出数据，传到另一台服务器上伪代码File.read(file,buf,len);Socket.send(socket,buf,len);4次数据拷贝，用户态和内核态区别1、read()一次上下文切换（用户态->内核态），底层用DMA（directmemoryaccess）读磁盘文件，存储到内核地址空间的读取缓存区2、程序无法访问内核地址空间数据，从读取拷贝到用户缓冲区。第二次切换（内核
hedgehog1112·2021-06-27 13:36

深入分析NIO的零拷贝

本章还是关于NIO的概念铺底，有关NIO相关的代码，我还是希望大家闲余时间取网上找一下有关使用JDKNIO开发服务端、客户端的代码，我会取写这些，但是具体的代码我不会很详细的取介绍，下一章的话可能就要上代码了，具体的规划如下：讲一下NIO基础API的使用、分析Netty的核心思想，使用Reactor模式仿写一个多线程版的Nio程序、再然后就是关于Netty的源码分析了！欢迎关注公众号【源码学徒】回
·2021-06-25 15:08

深入分析NIO的零拷贝

本章还是关于NIO的概念铺底，有关NIO相关的代码，我还是希望大家闲余时间取网上找一下有关使用JDKNIO开发服务端、客户端的代码，我会取写这些，但是具体的代码我不会很详细的取介绍，下一章的话可能就要上代码了，具体的规划如下：讲一下NIO基础API的使用、分析Netty的核心思想，使用Reactor模式仿写一个多线程版的Nio程序、再然后就是关于Netty的源码分析了！欢迎关注公众号【源码学徒】回
·2021-06-25 15:47

JAVA IO专题四：java顺序IO原理以及对应的应用场景

堆外内存和所谓的零拷贝到底是什么关系JAVAIO专题三：java的内存映射和应用场景JAVAIO专题四：java顺序IO原理以及对应的应用场景顺序I/O和随机I/O基本概念本次I/O
挡不住的柳Willow·2021-06-23 16:10

Kafka 为什么快？

我们可以从以下几个角度来分析以下：磁盘的读写速度数据检索零拷贝传统的文件读取过程当我们将服务器的磁盘文件读取发送到客户端,传统的过程大概是这样子：操作系统将磁盘数据读取到Kernel空间缓存页ReadBuf
code_solve·2021-06-23 14:48

零拷贝原理

从文件读取信息并发送到其它服务器的过程中普通文件读取和零拷贝的区别传统方式File.read(file,buf,len)读取文件内容到缓冲区buf里Socket.send(socket,buf,len)
策马踏清风·2021-06-22 08:13

千万不要错过的后端【纯干货】面试知识点整理 I

C++面试题语言相关基础题对象复用的了解，零拷贝的了解对象复用指得是设计模式，对象可以采用不同的设计模式达到复用的目的，最常见的就是继承和组合模式了。
·2021-06-18 22:13

2020-05-25：MQ应用场景、Kafka和rabbit区别?kafka为什么支撑高并发？

区别如下：高并发原因：1.页缓存技术；2.磁盘顺序写；3.零拷贝技术。评论
福大大架构师每日一题·2021-06-13 06:56

zero-copy

image.png黑色硬盘->kernel（buffer）->user->kernel(socketbuffer)->网络设备蓝色：系统内核Linux2.1硬盘->kernel（buffer）->kernel(socketbuffer)->网络设备红色：系统内核Linux2.4硬盘->kernel（buffer）->网络设备不经过kernelsocketbuffer，但是kernelsocketb
doublegao·2021-06-11 22:52

Java高级主题（三）下——NIO体系结构

在前面2篇文章《什么是Zero-Copy?》和《NIO相关基础篇》中我们学习了NIO的相关理论知识，而在本篇中我们一起来学习一下JavaNIO的实战知识。全文较长，建议先马后看（记得关注不迷路）。
路远处幽·2021-06-11 03:05

Netty中的ByteBuf

Bytebuf的API操作更加便捷，可以动态扩容，提供了多种ByteBuf的实现，以及高效的零拷贝机制。
CodingDiary·2021-06-10 21:35

Linux I/O 原理和 Zero-copy 技术全面揭秘

点击蓝字，关注我们导言如今的网络应用早已从CPU密集型转向了I/O密集型，网络服务器大多是基于C-S模型，也即客户端-服务端模型，客户端需要和服务端进行大量的网络通信，这也决定了现代网络应用的性能瓶颈：I/O。传统的Linux操作系统的标准I/O接口是基于数据拷贝操作的，即I/O操作会导致数据在操作系统内核地址空间的缓冲区和用户进程地址空间定义的缓冲区之间进行传输。设置缓冲区最大的好处是可以减少磁
公众号：极客重生·2021-06-10 10:49

阿里大佬总结出来的SpringBoot+Tomcat+Nginx+Netty面试题及答案

3.什么是Netty的零拷贝?4.Netty的优势有哪些?5.Netty的应用场景有哪些?
stone_tmp·2021-06-09 14:57

什么是Zero-Copy？

转自:https://mp.weixin.qq.com/s?__biz=MzU0MzQ5MDA0Mw==&mid=2247483913&idx=1&sn=2da53737b8e8908cf3efdae9621c9698&chksm=fb0be89dcc7c618b0d5a1ba8ac654295454cfc2fa81fbae5a6de49bf0a91a305ca707e9864fc&scene=2
GoJava·2021-06-07 18:51

零拷贝

我们在JavaNIO，Netty，Kafka等框架中经常见到零拷贝，通常作为其性能优异的一个重要表现。下面从I/O的几个概念开始，进而再分析零拷贝。
张凯_9908·2021-06-07 10:54

linux下的mmap和零拷贝技术

本文结合下面两个link的博文。https://blog.csdn.net/z_ryan/article/details/79604192这个博文没有代码和用户态,内核态切换的比较.https://www.freesion.com/article/7040248729/这个博文结构图没有上一个形象.目录image一基础知识文件缓冲区，socketbuffer，磁盘缓冲区，网卡缓冲区区别？image
mfdalf·2021-06-07 01:19

JAVA IO专题一：java InputStream和OutputStream读取文件并通过socket发送，到底涉及几次拷贝

堆外内存和所谓的零拷贝到底是什么关系前言关于这个问题，网上说法很多，有的说四次有的说五次，因此写这篇文章仔细梳理一下示例代码Filefile=newFile("/path");FileInputStreamin
挡不住的柳Willow·2021-06-06 12:39

零拷贝底层实现原理

零拷贝概述零拷贝可以避免无谓的copy动作,为了说清楚这一点,本文会先从传统的读写操作开始介绍。传统读操作当应用发起一个从磁盘读取文件的操作时,请求会先经过内核,由内核与磁盘进行交互。
姑苏寒山寺·2021-06-05 10:18

Netty零拷贝实现原理

1.传统数据传送传统数据从Socket网络中传送，需要4次数据拷贝和4次上下文切换：将磁盘文件，读取到操作系统内核缓冲区；将内核缓冲区的数据，拷贝到用户空间的缓冲区；数据从用户空间缓冲区拷贝到内核的socket网络发送缓冲区；数据从内核的socket网络发送缓冲区拷贝到网卡接口（硬件）的缓冲区，由网卡进行网络传输。传统方式，读取磁盘文件并进行网络发送，经过的4次数据拷贝和4次上下文切换是非常繁琐的
窜天猴Plus·2021-06-05 05:46

DPDK的高性能代码及编译执行优化

DPDK是INTEL公司开发的一款高性能的网络驱动组件，旨在为数据面应用程序提供一个简单方便的，完整的，快速的数据包处理解决方案，主要技术有用户态、轮询取代中断、零拷贝、网卡RSS、访存DirectIO
一口Linux·2021-06-03 22:10

2021-05-27

；3.零拷贝，什么情况下适用零拷贝，什么情况下不适用，一个文件传输的过程是怎样的；4.你做这个这个电商项目的动机是什么？；5.JWT说一下，JWT与session和cookie的区别；6.Thre
你的喵哥·2021-05-27 19:36

一篇文章让你10分钟就能玩懂“零拷贝和NIO”

前言相信大家应该对“零拷贝”这个词并不陌生了，这也算是大厂面试中的一个高频考点，玩过NETTY的朋友应该对此相当熟悉，NETTY的高并发很大程度上都是因为NIO，而NIO的核心就是零拷贝技术了，今天这篇文章就让你玩懂零拷贝
一口Linux·2021-05-19 14:13

Web 基础——Nginx

Nginx简介1.Nginx应用场景2.I/O模型介绍1）同步/异步与阻塞/非阻塞2）信号驱动型（异步半阻塞）Apache3）异步IO（异步非阻塞）Nginx3.Nginx高并发原理4.CPU亲和5.零拷贝二
愿许浪尽天涯·2021-05-15 10:17

详细总结Java堆栈内存、堆外内存、零拷贝浅析与代码实现

一、堆栈内存堆栈内存，顾名思义，指的是堆内存以及栈内存，其中，堆内存是由JavaGC进行管理的内存区域，而栈内存则是线程内存。关于栈内存，这里不去细说。以Hotspot为例，堆内存的简要结构如下图所示：而堆栈的关系，我们可以通过一行简单的代码来理解：publicstaticvoidmain(String[]args){Objecto=newObject();}上述代码主要完成了两件事，newObj
·2021-05-14 10:07

堆外内存和所谓的零拷贝到底是什么关系

堆外内存和所谓的零拷贝到底是什么关系JAVAIO专题三：java的内存映射和应用场景JAVAIO专题四：java顺序IO原理以及对应的应用场景内核的零拷贝内核的零拷贝，指的是不需要消
挡不住的柳Willow·2021-05-08 17:40

关于Linux的零拷贝技术详解

已同步更新到微信公众号，手机阅读更舒适~零拷贝机制原理分析之前，我们先来看下传统IO在数据拷贝的基本原理，从数据拷贝(I/O拷贝)的次数以及上下文切换的次数进行对比分析。
东升的思考·2021-05-06 22:50

Nginx概述

常见的HTTP服务（3）Nginx应用场景（4）I/O模型-同步异步、阻塞和非阻塞-模型介绍二、Nginx高并发原理（1）Nginx高并发使用的方式（2）为什么要绑定Nginx进程到不同的CPU上（3）零拷贝
礁之·2021-05-05 09:56

DPDK编程指南（翻译）（ 十八）

为了避免复制实际数据包的数据，使用零拷贝技术（rte_pktmbuf_attach）
半天妖·2021-05-03 14:45

kafka文章精选

Kafka在底层摒弃了Java堆缓存机制，采用了操作系统级别的页缓存，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO性能。
topwqp·2021-05-01 11:47

Linux 零拷贝技术

目录[TOC]简介零拷贝（zero-copy）技术可以减少数据拷贝和共享总线操作的次数，消除通信数据在存储器之间不必要的中间拷贝过程，有效地提高通信效率，是设计高速接口通道、实现高速服务器和路由器的关键技术之一
狼爷的号·2021-04-25 08:45

Netty - 零拷贝

本文主要在对于NettyByteBuf的零拷贝(ZeroCopy)的理解的基础上做修补根据Wiki对Zero-copy的定义:"Zero-copy"describescomputeroperationsinwhichtheCPUdoesnotperformthetaskofcopyingdatafromonememoryareatoanother.Thisisfrequentlyusedtosav
齐晋·2021-04-23 08:33

Netty实战（四）：数据结构ByteBuf简介

ByteBuf优点：可以被用户自定义的缓冲区类型扩展通过内置的复合缓冲区类型实现了透明的零拷贝容量按需增长在读写模式切换时，不需要像NIO一样调用ByteBuffer的flip()方法读和写使用了不同的
fageiguanbing·2021-04-20 00:10

Linux系统I/O操作与零拷贝

Linux系统I/OLinux中传统的I/O操作是一种缓存I/O，I/O过程中产生的数据传输通常需要在缓冲区中进行多次拷贝。当应用程序需要访问某个数据（read()操作）时，操作系统会先判断这块数据是否在内核缓冲区中，如果在内核缓冲区中找不到这块数据，内核会先将这块数据从磁盘中读出来放到内核缓冲区中，应用程序再从缓冲区中读取。当应用程序需要将数据输出（write()）时，同样需要先将数据拷贝到输出
晓鑫_·2021-04-19 16:43

白话NIO（一）：从零拷贝说起

sendfile（）这个系统调用是在两个文件描述符之间直接传递数据（这个操作是完全在内核态进行），从而避免了数据在内核缓冲区和用户缓冲区之间的拷贝，称之为零拷贝，操作效率很高--------------
Top2_头秃·2021-04-19 09:28

干货：Kafka设计解析- Kafka高性能架构，Kafka如何实现高性能？

包含Kafka如何利用Partition实现并行处理和提供水平扩展能力，如何通过ISR实现可用性和数据一致性的动态平衡，如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效利用
Java架构领域·2021-04-18 06:32

2019-10-29 零拷贝

参见：Java中的零拷贝先提出两个问题：IO过程中，哪些步骤进行了拷贝？哪些地方零拷贝？Java支持哪些零拷贝？带着这俩问题，我们一起来看下面的探究。哪里听说过零拷贝?真的0次拷贝吗?
小苏c·2021-04-17 15:46

JDK核心JAVA源码解析（4） - 堆外内存、零拷贝、DirectByteBuffer以及针对于NIO中的FileChannel的思考

想写这个系列很久了，对自己也是个总结与提高。原来在学JAVA时，那些JAVA入门书籍会告诉你一些规律还有法则，但是用的时候我们一般很难想起来，因为我们用的少并且不知道为什么。知其所以然方能印象深刻并学以致用。本篇文章针对堆外内存与DirectBuffer进行深入分析，了解Java对于堆外内存处理的机制，为下一篇文件IO做好准备Java堆栈内存与堆外内存首先我们扔出一个公式：java程序最大可能占用
干货满满张哈希·2021-04-15 11:16

Kafka（5）消息存储

Kafka采用顺序磁盘访问技术、紧凑的字节结构设计、页缓存以及零拷贝等技术保证了系统的高性能、低延迟、良好的扩展（50kb和50T
正义的杰克船长·2021-04-15 01:32

零拷贝简析及Java中的相关实现

零拷贝,DMA(DirectMemoryAccess)copy,即直接内存拷贝(不使用CPU拷贝),是网络编程的关键，很多IO相关的性能优化都离不开。
视频怪物·2021-04-15 00:10

Netty、Kafka中的零拷贝技术到底有多牛?

来自：掘金（作者：ksfzhaohui）原文链接：https://juejin.im/post/5cad6f1ef265da039f0ef5df零拷贝，从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能
夜空_2cd3·2021-04-14 22:01

Netty之二NIO与零拷贝

个人专题目录1.Nio与零拷贝零拷贝是服务器网络编程的关键，任何性能优化都离不开。在Java程序员的世界，常用的零拷贝有mmap和sendFile。那么，他们在OS里，到底是怎么样的一个的设计？
Java及SpringBoot·2021-04-14 20:45

Java中的零拷贝原理

哪些地方零拷贝？Java支持哪些零拷贝？哪里听说过零拷贝?真的0次拷贝吗?零拷贝(英语:Zero-copy)技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。
tracy_668·2021-04-13 17:17
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他