零拷贝Zero-Copy

从根上理解高性能、高并发(一)：深入计算机底层，理解线程与线程池

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
JackJiang2011·2021-04-13 06:44

妹妹10分钟就玩懂了零拷贝和NIO，也太强了

微信公众号：moon聊技术本文约3500字，完整阅读大概会花费你「10分钟」左右的时间[如果你觉得文章对你有帮助，欢迎关注，点赞，转发]前言'零拷贝'这个词大家应该不陌生了，也算是大厂面试中的一个高频考点
moon聊技术·2021-04-13 05:00

Java NIO——零拷贝

什么是零拷贝WIKI中对其有如下定义："Zero-copy"describescomputeroperationsinwhichtheCPUdoesnotperformthetaskofcopyingdatafromonememoryareatoanother
孤街酒客H·2021-04-13 01:28

Kafka基于磁盘顺序IO和零拷贝技术实现高性能文件读写

[TOC]一、概述Kafka作为一个支持大数据量写入写出的消息队列，由于是基于Scala和Java实现的，而Scala和Java均需要在JVM上运行，所以如果是基于内存的方式，即JVM的堆来进行数据存储则需要开辟很大的堆来支持数据读写，从而会导致GC频繁影响性能。考虑到这些因素，kafka是使用磁盘而不是kafka服务器broker进程内存来进行数据存储，并且基于磁盘顺序读写和MMAP技术来实现高
tracy_668·2021-04-12 23:17

什么是mmap？ 经典题目

这一类的问题都逃不过的一个点就是零拷贝，虽然还有一些其他的原因，但是今天我们的话题主要就是零拷贝。传统IO在开始谈零拷贝之前，首先要对传统的IO方式有一个概念。
艾小仙·2021-03-17 07:00

框架篇：ByteBuffer和netty.ByteBuf详解

jdk推出了ByteBuffer来帮助我们操作字节数组；而netty是一款当前流行的java网络IO框架，它内部定义了一个ByteBuf来管理字节数组，和ByteBuffer大同小异ByteBuffer零拷贝之
·2021-03-16 22:17

框架篇：ByteBuffer和netty.ByteBuf详解

jdk推出了ByteBuffer来帮助我们操作字节数组；而netty是一款当前流行的java网络IO框架，它内部定义了一个ByteBuf来管理字节数组，和ByteBuffer大同小异ByteBuffer零拷贝之
·2021-03-16 22:17

框架篇：小白也能秒懂的Linux零拷贝原理

前言大白话解释，零拷贝就是没有把数据从一个存储区域拷贝到另一个存储区域。但是没有数据的复制，怎么可能实现数据的传输呢？
·2021-03-16 22:58

从根上理解高性能、高并发(七)：深入操作系统，一文读懂进程、线程、协程

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-03-16 00:39

六.NIO与零拷贝

1.简介1.1解释可以这么理解，能减少不必要的数据拷贝次数，就算是“零拷贝”。Linux2.4内核新增sendfile系统调用。
Bright.亮·2021-03-09 16:26

从根上理解高性能、高并发(七)：深入操作系统，一文读懂进程、线程、协程

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
hellojackjiang2011·2021-03-01 15:32

共享空间与零拷贝，mmap与sendFile的区别

零拷贝这三个字，一直是服务器网络编程的关键字，任何性能优化都离不开。在Java程序员的世界，常用的零拷贝有mmap和sendFile。那么，他们在OS里，到底是怎么样的一个的设计？
Gino_4bd4·2021-02-28 00:47

Kafka 中所谓的 ‘零拷贝’ 技术到底是什么？

文章收录地址：Java-Bang专注于系统架构、高可用、高性能、高并发类技术分享除了消息顺序追加、页缓存等技术，Kafka还使用零拷贝技术来进一步提升性能。
·2021-02-26 21:08

Kafka 中所谓的 ‘零拷贝’ 技术到底是什么？

文章收录地址：Java-Bang专注于系统架构、高可用、高性能、高并发类技术分享除了消息顺序追加、页缓存等技术，Kafka还使用零拷贝技术来进一步提升性能。
·2021-02-26 20:13

从5种网络IO模型到零拷贝

一、什么是IOIO是输入input输出output的首字母缩写形式，直观意思是计算机输入输出，它描述的是计算机的数据流动的过程，因此IO第一大特征是有数据的流动；另外，对于一次IO，它究竟是输入还是输出，是针对不同的主体而言的，不同的主体有不同的描述。但是对于一个Java程序员来说，我们一般把程序当做IO的主体，也可以理解为内存中的进程。那么对于IO的整个过程大体上分为2个部分，第一个部分为IO的
·2021-02-26 10:03

Java高效NIO之内存零拷贝

用户态和内核态Linux操作系统的体系架构分为用户态（用户空间）和内核态（内核）。内核从本质上是一种软件：控制计算机的硬件资源，并为上层应用程序提供运行环境。用户态即上层应用程序的活动空间，应用程序的执行必须依托于内核提供的资源，包括CPU资源、存储资源、I/O资源等。为了使上层应用能够访问到这些资源，内核必须为上层应用提供访问的接口，即系统调用。系统的资源是有限的，如果不加以管理，必然造成资源过
·2021-02-10 18:36

深入学习RocketMQ之快速入门

采用零拷贝的原理、顺序写盘、随机读。代码优秀，底层通信框架使用Netty。强调集群无单点，可扩展，任意一点高可用，水平可扩展。消息失败重试机制、消息可查询。
·2021-01-28 10:01

深入学习RocketMQ之快速入门

采用零拷贝的原理、顺序写盘、随机读。代码优秀，底层通信框架使用Netty。强调集群无单点，可扩展，任意一点高可用，水平可扩展。消息失败重试机制、消息可查询。
·2021-01-27 01:16

【Kafka】2.纯原创，一张图洞悉Kafka集群

写在前面本文为Kafka系列文章第二篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:11

【Kafka】3.纯原创，消息的发送/存储/消费流程综述

写在前面本文为Kafka系列文章第三篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:07

【Kafka】4.高可用及Failover流程

写在前面本文为Kafka系列文章第四篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:21

用户态协议栈|UDP/IP/ETH数据包的封装|零拷贝的实现|柔性数组|用户态协议栈【建议收藏】

今夜只有一个主题，手写网络协议栈，保证大家能学会1.用户态协议栈2.udp/ip/eth数据包的封装3.零拷贝的实现4.零长数组（柔性数组）【技术篇】手写用户态协议栈，udp/ip/eth数据包的封装，
深度Linux·2021-01-26 14:47

从根上理解高性能、高并发(五)：深入操作系统，理解高并发中的协程

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-01-26 02:27

从根上理解高性能、高并发(三)：深入操作系统，彻底理解I/O多路复用

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-01-26 02:27

从根上理解高性能、高并发(二)：深入操作系统，理解I/O与零拷贝技术

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-01-26 02:26

从根上理解高性能、高并发(六)：通俗易懂，高性能服务器到底是如何实现的

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-01-26 01:08

分布式专题｜纠结了两天，还是决定把这篇文章放出来（小白必看netty入门教程，图很多）

快速预览线程模型图流程讲解快速上手添加依赖服务端代码创建自定义的处理器，写我们自己的业务逻辑客户端代码创客户端自定义处理器netty相关面试知识拓展什么是拆包和粘包名词解释解释下什么是零拷贝在写代码之前
AI码师·2021-01-23 18:12

Netty入门学习-ByteBuf

ByteBuf的APINetty的数据处理API通过两个组件暴漏：抽象类ByteBuf和接口ByteBufHolderByteBuf优点：他可以被用户自定义的缓冲区类型扩展通过内置的复合缓冲区类型实现了透明的零拷贝容量可以按需增长在读写两种模式之间切换不需要调用
shysh·2021-01-06 02:03

零拷贝以及Java实现

一，DMA1.DMA概念顾名思义：DMA，即绕开CPU进行数据读写。在计算机中，相比CPU来说，外部设备访问速度是非常缓慢的，因此memory到memory或者memory到device或者device到memory之间搬运数据是非常浪费CPU时间的！造成CPU无法处理实时事件。因此工程师设计出来一种专门协助CPU搬运数据的硬件DMA控制器，协助CPU完成数据搬运。2.DMA如何与CPU共享完成数
尹会东·2021-01-02 18:57

Linux I/O 原理和 Zero-copy 技术全面揭秘

博客原文https://strikefreedom.top/lin...导言如今的网络应用早已从CPU密集型转向了I/O密集型，网络服务器大多是基于C-S模型，也即客户端-服务端模型，客户端需要和服务端进行大量的网络通信，这也决定了现代网络应用的性能瓶颈：I/O。传统的Linux操作系统的标准I/O接口是基于数据拷贝操作的，即I/O操作会导致数据在操作系统内核地址空间的缓冲区和用户进程地址空间定义
panjf2000·2020-12-28 18:10

Linux I/O 原理和 Zero-copy 技术全面揭秘

博客原文https://strikefreedom.top/lin...导言如今的网络应用早已从CPU密集型转向了I/O密集型，网络服务器大多是基于C-S模型，也即客户端-服务端模型，客户端需要和服务端进行大量的网络通信，这也决定了现代网络应用的性能瓶颈：I/O。传统的Linux操作系统的标准I/O接口是基于数据拷贝操作的，即I/O操作会导致数据在操作系统内核地址空间的缓冲区和用户进程地址空间定义
panjf2000·2020-12-28 18:28

从根上理解高性能、高并发(一)：深入计算机底层，理解线程与线程池

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
JackJiang·2020-12-23 16:26

02 | 纵览全局：把握 Netty 整体架构脉络

包括可扩展的事件模型、通用的通信API、支持零拷贝的ByteBuf等1.2.ProtocolSupport协议支持层协议支持层覆盖了主流协议的编解码实现，此外Netty还支持自定义应用层协议。Ne
CSDM _·2020-12-22 13:35

Netty介绍及BIO、NIO、AIO、Netty的线程模型、序列化协议及零拷贝实现

1、BIO、NIO和AIO的区别？BIO一个连接一个线程，客户端有连接请求时服务器端就需要启动一个线程进行处理。线程开销大。伪异步IO：将请求连接放入线程池，一对多，但线程还是很宝贵的资源。NIO一个请求一个线程，但客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求时才启动一个线程进行处理。AlO一个有效请求一个线程，客户端的I/o请求都是由OS先完成了再通知服务器应用去
DKPT·2020-12-05 16:07

消息中间件-Kafka怎么治疗三高

内部机制采用ZoreCopy零拷贝机制，数据并不直接写磁盘，而是写入到PageCache（反正就是很快，和写内存一样，和写redis一样)然后靠PageCache机制，自动写入磁盘；如果此时消费者对接过来
Evado·2020-11-23 15:38

Netty源码解析 -- 内存池与PoolArena

我们知道，Netty使用直接内存实现Netty零拷贝以提升性能，但直接内存的创建和释放可能需要涉及系统调用，是比较昂贵的操作，如果每个请求都创建和释放一个直接内存，那性能肯定是不能满足要求的。
binecy·2020-11-23 00:35

Netty源码解析 -- 零拷贝机制与ByteBuf

本文来分享Netty中的零拷贝机制以及内存缓冲区ByteBuf的实现。
binecy·2020-11-23 00:34

Swoole v4.5.6 版本发布，新增零拷贝 JSON 或 PHP 反序列化

查看Swoole4.5.6支持零拷贝JSON或PHP反序列化本篇只是说明一下更新日志：新增API新增swoole_substr_unserialize和swoole_substr_json_decode
沈唁·2020-11-22 02:13

Swoole 4.5.6 支持零拷贝 JSON 或 PHP 反序列化

在最新的4.5.6开发分支中，底层增加了2个特殊的函数：swoole_substr_json_decodeswoole_substr_unserialize这里为什么要增加这两个函数呢？有这样一种场景。使用Swoole\Server实现RPC服务，在EOF协议或长度协议通信方式下，一个包可能有3部分组成。$packet=$header+$body+$footer通常$header和$footer比
沈唁·2020-11-22 02:12

走进科学之神秘的零拷贝

前言"零拷贝"这三个字，想必大家多多少少都有听过吧，这个技术在各种开源组件中都使用了，比如kafka,rocketmq,netty,nginx等等开源框架都在其中引用了这项技术。
令狐义卓·2020-11-13 11:40

Swoole 4.5.6 支持零拷贝 JSON 或 PHP 反序列化

在最新的4.5.6开发分支中，底层增加了2个特殊的函数：swoole_substr_json_decodeswoole_substr_unserialize这里为什么要增加这两个函数呢？有这样一种场景。使用Swoole\Server实现RPC服务，在EOF协议或长度协议通信方式下，一个包可能有3部分组成。$packet=$header+$body+$footer通常$header和$footer比
沈唁·2020-11-13 11:15

Java NIO：详细解析NIO中的“零拷贝”以及于IO的效率对比

概述在现在各种RPC框架、网络编程框架中，底层大量的使用了JavaNIO作为效率的保证，NIO对比IO有着无与伦比的性能优势，才保证了各种高并发场景下的系统承载能力，其中不得不提的就是“零拷贝”，“零拷贝
保暖大裤衩LeoLee·2020-10-14 00:08

十大高性能开发

I/O优化：零拷贝技术I/O优化：多路复用技术线程池技术无锁编程技术进程间通信技术RPC&&序列化技术数据库索引技术缓存技术&&布隆过滤器全文搜索技术负载均衡技术主线程进入一个循环，等待连接。
蓝天·2020-10-11 16:14

原来 8 张图，就可以搞懂「零拷贝」了

前言磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存10倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接I/O、异步I/O等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区
小林coding·2020-09-23 17:44

原来 8 张图，就可以搞懂「零拷贝」了

前言磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存10倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接I/O、异步I/O等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区
小林coding·2020-09-23 17:00

NIO 与零拷贝

零拷贝介绍零拷贝是网络编程的关键,很多性能优化都需要零拷贝。在Java程序中,常用的零拷贝方式有m(memory)map[内存映射]和sendFile。它们在OS中又是怎样的设计?
colie_li·2020-09-20 01:00

Java NIO：Buffer缓冲区源码详解以及“零拷贝”

注：NIO源码由机器生成，格式有点乱option&limit&capacity/**功能描述:分析optionlimitcapacity的变化*〈〉*@Param:[]*@Return:void*@Author:LeoLee*@Date:2020/9/1811:19*/publicstaticvoidtestIntBuffer(){IntBufferintBuffer=IntBuffer.allo
保暖大裤衩LeoLee·2020-09-19 20:55

零拷贝,多路复用器理论及在Nginx中的应用

零拷贝与多路复用器零拷贝（ZeroCopy）零拷贝概念传统拷贝方式零拷贝方式GatherCopyDMA零拷贝方式mmap零拷贝多路复用器select|poll|epoll多进程/多线程连接处理模型多路复用连接处理模型
加班狂魔·2020-09-17 04:15

深入理解零拷贝技术实现原理（从表象到Linux内核文件管理机制的底层实现）

（一）先了解一下什么是零拷贝，以及零拷贝的优点？
依本多情·2020-09-17 03:25

美团一面：说说什么是零拷贝？

p=5095美团一面：说说什么是零拷贝？最近有粉丝收到来美团的面试邀请，面试前也没怎么准备，一面直接挂了。面试官问他什么是零拷贝，他
业余草·2020-09-16 14:24
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他