零拷贝Zero-Copy

Java高效NIO之内存零拷贝

用户态和内核态Linux操作系统的体系架构分为用户态（用户空间）和内核态（内核）。内核从本质上是一种软件：控制计算机的硬件资源，并为上层应用程序提供运行环境。用户态即上层应用程序的活动空间，应用程序的执行必须依托于内核提供的资源，包括CPU资源、存储资源、I/O资源等。为了使上层应用能够访问到这些资源，内核必须为上层应用提供访问的接口，即系统调用。系统的资源是有限的，如果不加以管理，必然造成资源过
·2021-02-10 18:36

深入学习RocketMQ之快速入门

采用零拷贝的原理、顺序写盘、随机读。代码优秀，底层通信框架使用Netty。强调集群无单点，可扩展，任意一点高可用，水平可扩展。消息失败重试机制、消息可查询。
·2021-01-28 10:01

深入学习RocketMQ之快速入门

采用零拷贝的原理、顺序写盘、随机读。代码优秀，底层通信框架使用Netty。强调集群无单点，可扩展，任意一点高可用，水平可扩展。消息失败重试机制、消息可查询。
·2021-01-27 01:16

【Kafka】2.纯原创，一张图洞悉Kafka集群

写在前面本文为Kafka系列文章第二篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:11

【Kafka】3.纯原创，消息的发送/存储/消费流程综述

写在前面本文为Kafka系列文章第三篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:07

【Kafka】4.高可用及Failover流程

写在前面本文为Kafka系列文章第四篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:21

用户态协议栈|UDP/IP/ETH数据包的封装|零拷贝的实现|柔性数组|用户态协议栈【建议收藏】

今夜只有一个主题，手写网络协议栈，保证大家能学会1.用户态协议栈2.udp/ip/eth数据包的封装3.零拷贝的实现4.零长数组（柔性数组）【技术篇】手写用户态协议栈，udp/ip/eth数据包的封装，
深度Linux·2021-01-26 14:47

从根上理解高性能、高并发(五)：深入操作系统，理解高并发中的协程

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-01-26 02:27

从根上理解高性能、高并发(三)：深入操作系统，彻底理解I/O多路复用

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-01-26 02:27

从根上理解高性能、高并发(二)：深入操作系统，理解I/O与零拷贝技术

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-01-26 02:26

从根上理解高性能、高并发(六)：通俗易懂，高性能服务器到底是如何实现的

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
·2021-01-26 01:08

分布式专题｜纠结了两天，还是决定把这篇文章放出来（小白必看netty入门教程，图很多）

快速预览线程模型图流程讲解快速上手添加依赖服务端代码创建自定义的处理器，写我们自己的业务逻辑客户端代码创客户端自定义处理器netty相关面试知识拓展什么是拆包和粘包名词解释解释下什么是零拷贝在写代码之前
AI码师·2021-01-23 18:12

Netty入门学习-ByteBuf

ByteBuf的APINetty的数据处理API通过两个组件暴漏：抽象类ByteBuf和接口ByteBufHolderByteBuf优点：他可以被用户自定义的缓冲区类型扩展通过内置的复合缓冲区类型实现了透明的零拷贝容量可以按需增长在读写两种模式之间切换不需要调用
shysh·2021-01-06 02:03

零拷贝以及Java实现

一，DMA1.DMA概念顾名思义：DMA，即绕开CPU进行数据读写。在计算机中，相比CPU来说，外部设备访问速度是非常缓慢的，因此memory到memory或者memory到device或者device到memory之间搬运数据是非常浪费CPU时间的！造成CPU无法处理实时事件。因此工程师设计出来一种专门协助CPU搬运数据的硬件DMA控制器，协助CPU完成数据搬运。2.DMA如何与CPU共享完成数
尹会东·2021-01-02 18:57

Linux I/O 原理和 Zero-copy 技术全面揭秘

博客原文https://strikefreedom.top/lin...导言如今的网络应用早已从CPU密集型转向了I/O密集型，网络服务器大多是基于C-S模型，也即客户端-服务端模型，客户端需要和服务端进行大量的网络通信，这也决定了现代网络应用的性能瓶颈：I/O。传统的Linux操作系统的标准I/O接口是基于数据拷贝操作的，即I/O操作会导致数据在操作系统内核地址空间的缓冲区和用户进程地址空间定义
panjf2000·2020-12-28 18:10

Linux I/O 原理和 Zero-copy 技术全面揭秘

博客原文https://strikefreedom.top/lin...导言如今的网络应用早已从CPU密集型转向了I/O密集型，网络服务器大多是基于C-S模型，也即客户端-服务端模型，客户端需要和服务端进行大量的网络通信，这也决定了现代网络应用的性能瓶颈：I/O。传统的Linux操作系统的标准I/O接口是基于数据拷贝操作的，即I/O操作会导致数据在操作系统内核地址空间的缓冲区和用户进程地址空间定义
panjf2000·2020-12-28 18:28

从根上理解高性能、高并发(一)：深入计算机底层，理解线程与线程池

1、系列文章引言1.1文章目的作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如
JackJiang·2020-12-23 16:26

02 | 纵览全局：把握 Netty 整体架构脉络

包括可扩展的事件模型、通用的通信API、支持零拷贝的ByteBuf等1.2.ProtocolSupport协议支持层协议支持层覆盖了主流协议的编解码实现，此外Netty还支持自定义应用层协议。Ne
CSDM _·2020-12-22 13:35

Netty介绍及BIO、NIO、AIO、Netty的线程模型、序列化协议及零拷贝实现

1、BIO、NIO和AIO的区别？BIO一个连接一个线程，客户端有连接请求时服务器端就需要启动一个线程进行处理。线程开销大。伪异步IO：将请求连接放入线程池，一对多，但线程还是很宝贵的资源。NIO一个请求一个线程，但客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求时才启动一个线程进行处理。AlO一个有效请求一个线程，客户端的I/o请求都是由OS先完成了再通知服务器应用去
DKPT·2020-12-05 16:07

消息中间件-Kafka怎么治疗三高

内部机制采用ZoreCopy零拷贝机制，数据并不直接写磁盘，而是写入到PageCache（反正就是很快，和写内存一样，和写redis一样)然后靠PageCache机制，自动写入磁盘；如果此时消费者对接过来
Evado·2020-11-23 15:38

Netty源码解析 -- 内存池与PoolArena

我们知道，Netty使用直接内存实现Netty零拷贝以提升性能，但直接内存的创建和释放可能需要涉及系统调用，是比较昂贵的操作，如果每个请求都创建和释放一个直接内存，那性能肯定是不能满足要求的。
binecy·2020-11-23 00:35

Netty源码解析 -- 零拷贝机制与ByteBuf

本文来分享Netty中的零拷贝机制以及内存缓冲区ByteBuf的实现。
binecy·2020-11-23 00:34

Swoole v4.5.6 版本发布，新增零拷贝 JSON 或 PHP 反序列化

查看Swoole4.5.6支持零拷贝JSON或PHP反序列化本篇只是说明一下更新日志：新增API新增swoole_substr_unserialize和swoole_substr_json_decode
沈唁·2020-11-22 02:13

Swoole 4.5.6 支持零拷贝 JSON 或 PHP 反序列化

在最新的4.5.6开发分支中，底层增加了2个特殊的函数：swoole_substr_json_decodeswoole_substr_unserialize这里为什么要增加这两个函数呢？有这样一种场景。使用Swoole\Server实现RPC服务，在EOF协议或长度协议通信方式下，一个包可能有3部分组成。$packet=$header+$body+$footer通常$header和$footer比
沈唁·2020-11-22 02:12

走进科学之神秘的零拷贝

前言"零拷贝"这三个字，想必大家多多少少都有听过吧，这个技术在各种开源组件中都使用了，比如kafka,rocketmq,netty,nginx等等开源框架都在其中引用了这项技术。
令狐义卓·2020-11-13 11:40

Swoole 4.5.6 支持零拷贝 JSON 或 PHP 反序列化

在最新的4.5.6开发分支中，底层增加了2个特殊的函数：swoole_substr_json_decodeswoole_substr_unserialize这里为什么要增加这两个函数呢？有这样一种场景。使用Swoole\Server实现RPC服务，在EOF协议或长度协议通信方式下，一个包可能有3部分组成。$packet=$header+$body+$footer通常$header和$footer比
沈唁·2020-11-13 11:15

Java NIO：详细解析NIO中的“零拷贝”以及于IO的效率对比

概述在现在各种RPC框架、网络编程框架中，底层大量的使用了JavaNIO作为效率的保证，NIO对比IO有着无与伦比的性能优势，才保证了各种高并发场景下的系统承载能力，其中不得不提的就是“零拷贝”，“零拷贝
保暖大裤衩LeoLee·2020-10-14 00:08

十大高性能开发

I/O优化：零拷贝技术I/O优化：多路复用技术线程池技术无锁编程技术进程间通信技术RPC&&序列化技术数据库索引技术缓存技术&&布隆过滤器全文搜索技术负载均衡技术主线程进入一个循环，等待连接。
蓝天·2020-10-11 16:14

原来 8 张图，就可以搞懂「零拷贝」了

前言磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存10倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接I/O、异步I/O等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区
小林coding·2020-09-23 17:44

原来 8 张图，就可以搞懂「零拷贝」了

前言磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存10倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接I/O、异步I/O等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区
小林coding·2020-09-23 17:00

NIO 与零拷贝

零拷贝介绍零拷贝是网络编程的关键,很多性能优化都需要零拷贝。在Java程序中,常用的零拷贝方式有m(memory)map[内存映射]和sendFile。它们在OS中又是怎样的设计?
colie_li·2020-09-20 01:00

Java NIO：Buffer缓冲区源码详解以及“零拷贝”

注：NIO源码由机器生成，格式有点乱option&limit&capacity/**功能描述:分析optionlimitcapacity的变化*〈〉*@Param:[]*@Return:void*@Author:LeoLee*@Date:2020/9/1811:19*/publicstaticvoidtestIntBuffer(){IntBufferintBuffer=IntBuffer.allo
保暖大裤衩LeoLee·2020-09-19 20:55

零拷贝,多路复用器理论及在Nginx中的应用

零拷贝与多路复用器零拷贝（ZeroCopy）零拷贝概念传统拷贝方式零拷贝方式GatherCopyDMA零拷贝方式mmap零拷贝多路复用器select|poll|epoll多进程/多线程连接处理模型多路复用连接处理模型
加班狂魔·2020-09-17 04:15

深入理解零拷贝技术实现原理（从表象到Linux内核文件管理机制的底层实现）

（一）先了解一下什么是零拷贝，以及零拷贝的优点？
依本多情·2020-09-17 03:25

美团一面：说说什么是零拷贝？

p=5095美团一面：说说什么是零拷贝？最近有粉丝收到来美团的面试邀请，面试前也没怎么准备，一面直接挂了。面试官问他什么是零拷贝，他
业余草·2020-09-16 14:24

零拷贝和Nginx的阻塞处理

Linxu的零拷贝代理和负载均衡中常出现TCP粘合的概念，当需要根据连接的七层数据（比如一个HTTPGET请求）进行负载均衡时，负载均衡器不得不和客户端建立连接，以获取
yang_oh·2020-09-16 06:11

零拷贝详解

什么是零拷贝维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。
worldchinalee·2020-09-16 04:02

Kafka-高性能

文章目录1.架构2.磁盘2.1零拷贝2.2顺序写2.3页缓存3.网络3.1高效的请求模型Reactor3.2压缩与批处理参考1.架构分区Kafka的主题多分区机制，分区的副本、领导者副本一般均匀地分布在不同的
萝卜头柯克船长·2020-09-15 17:57

内核旁路、共享内存的零拷贝问题

https://stackoverflow.com/questions/18343365/zero-copy-networking-vs-kernel-bypass总结一下：1、使用内核旁路技术可以实现零拷贝
weixin_30674525·2020-09-15 15:46

sendfile“零拷贝”和mmap内存映射

在学习sendfille之前，我们先来了解一下浏览器访问页面时，后台服务器的大致工作流程。下图是从用户访问某个页面到页面的显示这几秒钟的时间当中，在后台的整个工作过程。如上图，黑色箭头所示的过程，是传统方式的数据传输：第一步：当用户请求www.test.com/index.html网页时，nginx服务器通过网卡接收到请求后，系统调用read导致了从用户空间到内核空间的上下文切换，内核再向磁盘发送
Pursue happiness·2020-09-15 14:47

Linux IO原理和零拷贝机制

目录1概述2LinuxI/O读写方式2.1I/O中断原理2.2.DMA传输原理2.3传统I/O方式3零拷贝方式3.1用户态直接I/O3.2mmap+write3.3sendfile3.4sendfile
good-destiny·2020-09-15 11:40

netty4源码阅读与分析---零拷贝

在说零拷贝之前，我们先来看下传统的读写方式是怎样的，如下图：读取数据时，请求会把读操作委托给内核,由内核与磁盘进行交互。
红尘之一骑·2020-09-15 10:19

零拷贝技术(zero-copy)

传统读操作JAVA用传统方式进行读操作时，整体流程如上图，具体如下：1、应用程序发起读数据操作，JVM会发起read()系统调用。2、这时操作系统OS会进行一次上下文切换（把用户空间切换到内核空间）3、通过磁盘控制器把数据copy到内核缓冲区中，这里的就发生了一次DMACopy4、然后内核将数据copy到用户空间的应用缓冲区中，发生了一次CPUCopy5、read调用返回后，会再进行一次上下文切换
bodouer7979·2020-09-15 10:08

Netty面试题

传输快：Netty的传输依赖于零拷贝特性，尽量减少不必要的内存拷贝，实现了更高效率的传输。封装好：Netty封装了NIO操作的很多细节，提供了易于使用调用接口。
ljz2016·2020-09-15 09:42

Kafka 高效读写数据的原因

文章目录1.顺序写磁盘2.分段日志+索引文件3.零拷贝4.PageCache5.批量发送6.数据压缩1.顺序写磁盘Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端
潘书鹏的BigData·2020-09-14 16:47

Netty

Netty的传输依赖于零拷贝
林竹清·2020-09-14 15:02

阿里双11，如何实现每秒几十万的高并发写入

来源：石杉的架构笔记目录1、页缓存技术+磁盘顺序写2、零拷贝技术3、最后的总结“这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。
Java技术头条·2020-09-14 03:13

Java每日一题之Netty高性能表现在那些方面？

(2)内存零拷贝：尽量减少不必要的内存拷贝，实现了更高效率的传输。(3)内存池设计：申请的内存可以重用，主要指直接内存。内部实现是用一颗二叉查找树管理内存分配情况。
不一样的花朵·2020-09-13 17:49

DPDK技术介绍（一）

DPDK是INTEL公司开发的一款高性能的网络驱动组件，旨在为数据面应用程序提供一个简单方便的，完整的，快速的数据包处理解决方案，主要技术有用户态、轮询取代中断、零拷贝、网卡RSS、访存DirectIO
bob62856·2020-09-13 16:00

关于零拷贝的一些理解

关于零拷贝的一些理解零拷贝"零拷贝"中的"拷贝"是操作系统在I/O操作中,将数据从一个内存区域复制到另外一个内存区域.而"零"并不是指0次复制,更多的是指在用户态和内核态之前的复制是0次.CPUCOPY
我爱吃果冻·2020-09-13 10:43
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他