零拷贝Zero-Copy

kafka的消息存储机制和原理分析

目录消息的保存路径数据分片log分段日志和索引文件内容分析在partition中通过offset查找message过程日志的清除策略以及压缩策略日志的清理策略有两个日志压缩策略消息写入的性能顺序写零拷贝消息的保存路径消息发送端发送消息到
·2022-05-13 13:33

一篇文章读懂nginx的gzip_static模块

另外，如果使用gzip，则sendfile零拷贝技术无法使用。为进一步提高Nginx的性能，我们可以使用静态gzip压缩，提前将需要压缩的文件压缩好，当客服请求到达时，直接发送压缩好的.gz文件，如
·2022-05-12 16:46

linux I/O 操作优化技术(零拷贝)

零拷贝主要是用来解决操作系统在处理I/O操作时，频繁复制数据的问题。关于零拷贝主要技
shoyu666·2022-04-12 15:20

深入理解Kafka核心设计及原理（五）：消息存储

www.cnblogs.com/zjdxr-up/p/16127749.html目录：5.1文件目录布局5.2消息压缩5.3日志索引5.4日志文件及索引文件分段触发条件5.5日志清理5.6磁盘存储--页缓存/零拷贝技术
香吧香·2022-04-10 21:00

【面试普通人VS高手】Kafka的零拷贝原理?

最近一个学员去滴滴面试，在第二面的时候遇到了这个问题："请你简单说一下Kafka的零拷贝原理"然后那个学员努力在大脑里检索了很久，没有回答上来。
跟着Mic学架构·2022-04-09 14:00

kafka高吞吐量的原因

kafka高吞吐量1、顺序读写2、零拷贝3、分区4、批量发送5、数据压缩1、顺序读写kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间
red_stone_mi·2022-03-31 10:37

仿神卓互联实现一个简单的内网穿透（一）

花生壳的穿透技术是PHTunnel，神卓互联用的是WangooeTunnel技术，都是应用于企业级的，虽然我本人的水平还达不大企业级的水平，也不会提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率，零拷贝
·2022-03-30 17:06

【Rust日报】2022-03-22 fluent-uri：一个快速、简单和严格的URI解析器

特性快速：零拷贝解析，据观察，比Rust中常见的URI解析器快2-25倍；简单：精心设计和文档良好的API；严格：解析RFCs中定义的所有可能的URI，并拒绝其他任何东
Rust语言中文社区·2022-03-28 10:13

netty通信

学习netty之前，要先了解操作系统中的IO、零拷贝（已经附上链接了）一、netty的简单介绍Netty是由JBOSS提供的一个Java开源框架，现为Github上的独立项目。
阿宁你好啊·2022-03-17 17:00

零拷贝

零拷贝主要是优化内核缓冲区和用户缓存区的之间拷贝次数怎么出现一步一步出现零拷贝的呢，下面跟大家讲一下。
阿宁你好啊·2022-03-16 19:00

看过就懂的java零拷贝及实现方式详解

目录前言1.什么是零拷贝2.传统IO的执行流程3.零拷贝相关的知识点回顾3.1内核空间和用户空间3.2什么是用户态、内核态3.3什么是上下文切换3.4虚拟内存3.5DMA技术4.零拷贝实现的几种方式4.1mmap
·2022-03-08 18:02

零拷贝机制在文件传输中的使用手法

文章目录文件传输（读取与发送）中的拷贝与上下文切换零拷贝技术sendfilesendfile+SG-DMAmmap+writespliceDirectI/O经典应用文件传输（读取与发送）中的拷贝与上下文切换如果服务端要提供文件传输的功能
拾牙慧者·2022-03-07 15:08

从IO模型到Netty笔记（二）

目录从代码层面对NIO大致流程加深印象SelectionKeyServerSocketChannel和SocketChannel零拷贝为什么要有Netty传统阻塞IO服务模型Reactor模式Netty
明天一定.·2022-03-02 07:51

面试官：linux零拷贝的原理是什么？

想到这里，我开始慌了，所以今天和大家一起学习个底层技术点-零拷贝Zero-Copy。
CRMEB·2022-02-27 08:05

面试官：linux零拷贝的原理是什么？

想到这里，我开始慌了，所以今天和大家一起学习个底层技术点-零拷贝Zero-Copy。
·2022-02-25 16:19

Kafka的高效传输-----零拷贝(Zero Copy)

kafka使用的零拷贝底层是使用了一个叫DMA(DirectMemoryAccess)的技术来实现的。
谁说咖啡不苦·2022-02-22 06:42

JAVA IO专题三：java的内存映射和应用场景

堆外内存和所谓的零拷贝到底是什么关系JAVAIO专题三：java的内存映射和应用场景JAVAIO专题四：java顺序IO原理以及对应的应用场景mmap的作用mmap的作用，是
挡不住的柳Willow·2022-02-21 00:41

【Netty】ByteBuf 和零拷贝机制

使用复杂读写的时候需要手动调用flip()和rewind()等方法，使用时需要非常谨慎的使用这些api，否则很容易出现错误Netty有自己的ByteBuf，做了如下增强：API操作便捷性动态扩容多种ByteBuf实现高效的零拷贝机制
佐蓝Gogoing·2022-02-18 01:26

零拷贝原理-中断和DMA

为何要懂零拷贝原理？因为rocketmq存储核心使用的就是零拷贝原理。
聚堆·2022-02-16 03:47

Netty零拷贝

Netty零拷贝分别用到了直接内存Linux零拷贝Netty内部CompositeByteBuf三个技术点，本篇文章分别介绍这三种实现方案。
摸摸脸上的胡渣·2022-02-12 15:23

Linux的五种IO模型与Java的BIO、NIO、AIO

云产品限时秒杀，爆款1核2G云服务器，首年99元【阿里云】云产品限时秒杀，爆款1核2G云服务器，首年96元1.IO简介之前的IO操作以一次读取和写入解读过，涉及到用户空间、内核空间等，可以看传统IO到零拷贝
认真的老去·2022-02-10 18:19

kafka高吞吐量的原因

kafa吞吐量高的原因顺序读写kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写零拷贝在
香港十大金曲·2022-02-06 23:35

java.nio中的Channel系列(2)-FileChannel与零拷贝原理

简介本文主要是用来记录Channel接口相关实现类的功能和特性FileChannelFileChannel主要是从文件中中读写数据的Channel，其实现的接口和继承的对象如下：publicabstractclassFileChannelextendsAbstractInterruptibleChannelimplementsSeekableByteChannel,GatheringByteCha
技术蜗牛·2022-02-06 17:57

Java里的零拷贝

关于linux零拷贝技术可以先看下前面一篇文章IO零拷贝，因为java里的零拷贝底层也是依赖的操作系统实现，需要说明下，Linux提供的零拷贝技术Java并不是全支持，只支持2种：mmap内存映射、sendfile
·2022-01-11 16:23

IO零拷贝

用户态与内核态Linux操作系统体系架构分为用户态与内核态。内核主要控制计算机的硬件资源，为上层应用提供运行支持。用户态为上层应用的活动空间，应用程序的执行需要内核的支持，如CPU资源，存储资源，IO资源等，用户态通过内核提供的访问接口也就是系统调用来使用这些资源。基于直接内在(DMA)实现的文件传输应用程序调用read()，上下文切换到内核，DMA将磁盘数据复制到内核的缓存空间read()返回，
·2022-01-06 22:36

Kafka为什么这么快？

要理解kafka为什么这么快，要从以下几个方面如下:1.磁盘读写原理2.利用Pagecache+mmap3.零拷贝4.存储设计5.批量读写6.批量压缩7.消息写入过程8.消息读取过程一磁盘读写原理磁盘的结构图
坨坨的大数据·2022-01-01 12:47

macos平台上编译jdk源码

、zero-copy？、userbuffer？、kernelbuffer？）。
·2021-12-07 00:37

补补网络缺口

1.什么是零拷贝零拷贝，不是不需要拷贝，而是尽可能地减少不必要的拷贝，以节省CPU的资源，减少因上下文切换而造成的资源浪费上下文切换：比如用户在占着CPU，然后此时操作系统要用，那么就要把用户挪开，把操作系统放上去
独饮敌敌畏丶·2021-11-09 17:25

零拷贝原理的文章网上满天飞，但你知道如何使用零拷贝吗？

零拷贝是中间件相关面试中必考题，本文就和大家一起来总结一下NIO拷贝的原理，并结合Netty代码，从代码实现层面近距离观摩如何使用java实现零拷贝。
中间件兴趣圈·2021-11-08 08:00

Java常见I/O&&零拷贝

JavaI/O**BIO(BlockingI/O)，**NIO(Non-blocking/NewI/O)，AIO(AsynchronousI/O)BIO(BlockingI/O):同步阻塞I/O模式，数据的读取写入必须阻塞在一个线程内等待其完成。在客户端连接数量不高的情况下，是没问题的。但是，当面对十万甚至百万级连接的时候，传统的BIO模型是无能为力的。因此，我们需要一种更高效的I/O处理模型来应
qq_45811072·2021-10-30 21:33

Java 浅谈 高并发 处理方案详解

目录高性能开发十大必须掌握的核心技术I/O优化：零拷贝技术I/O优化：多路复用技术线程池技术无锁编程技术进程间通信技术Scale-out（横向拓展）缓存异步高性能、高可用、高拓展解决方案高性能的实践方案高可用的实践方案高扩展的实践方案总结高性能开发十大必须掌握的核心技术我们循序渐进
·2021-10-22 10:29

Netty零拷贝

Netty中的零拷贝与我们传统理解的零拷贝不太一样。传统的零拷贝指的是数据传输过程中，不需要CPU进行数据的拷贝。主要是数据在用户空间与内核中间之间的拷贝。
tracy_668·2021-10-11 09:40

从5种网络IO模型到零拷贝

一、什么是IOIO是输入input输出output的首字母缩写形式，直观意思是计算机输入输出，它描述的是计算机的数据流动的过程，因此IO第一大特征是有数据的流动；另外，对于一次IO，它究竟是输入还是输出，是针对不同的主体而言的，不同的主体有不同的描述。但是对于一个Java程序员来说，我们一般把程序当做IO的主体，也可以理解为内存中的进程。那么对于IO的整个过程大体上分为2个部分，第一个部分为IO的
·2021-10-03 23:34

为什么Kafka这么快，解密Kafka高性能背后的秘密

归纳原因主要有这四点原因，磁盘顺序读写、页缓存、零拷贝、批量操作。对比RocketMQ说到Kafka有一个话题我们无法回避，就是与其他消息队列的对比。
菜鸟厚非·2021-09-21 15:05

第一章 kafka-初识（基础）

1、概述1.1、异步通信、系统解耦1.2、削峰填谷1.3、Kafka重点研究的内容1.4、常见的消息队列工作模式1.5、Kafka集群2、分区&日志3、消费者&生产者4、高性能之道-顺序写入&mmap零拷贝
风过水无痕··2021-09-17 12:00

操作系统IO之零拷贝技术

磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存10倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接I/O、异步I/O等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区
·2021-09-03 22:05

Netty 轻松实现文件上传功能

而使用netty来进行文件传输也是利用netty天然的优势：零拷贝功能。很多同学都听说过nett
·2021-08-25 10:13

一文彻底弄懂零拷贝原理以及java实现

目录零拷贝传统I/O操作存在的性能问题零拷贝技术原理虚拟内存mmap/write方式sendfile方式带有scatter/gather的sendfile方式splice方式总结零拷贝零拷贝（Zero-Copy
·2021-08-13 11:40

六.Netty入门到超神系列-Java NIO零拷贝实战

前言这一章我们来操作一下NIO的零拷贝，这里我会先写代码样式一下传统IO数据拷贝场景下的耗时，然后再对比NIO场景下的考别耗时，通过耗时差异就能看到NIO零拷贝和传统IO拷贝的区别了。
墨家巨子@俏如来·2021-08-06 23:40

五.Netty入门到超神系列-零拷贝技术

文章目录前言物理内存和虚拟内存内核空间和用户空间DMA传输原理传统IO流程DMAIO流程DMA的问题零拷贝技术MMAP模式Sendfile模式Sendfile+DMA优化Splice缓冲区共享总结前言本篇文章我们来探讨一下
墨家巨子@俏如来·2021-08-05 17:22

零拷贝

简介指计算机在执行操作的时候，cpu不需要先将数据从某处复制到一个特定地方，节省cpu的时钟周期和内存带宽常规流程image.pngDMA:DIRECTMEMORYACCESS这个东西不消耗cpu（从磁盘到内核read缓冲区，从内核socket缓冲区到网卡都是DMA）mmapimage.png实现原理：所有的操作系统都使用的是虚拟内存，取代物理内存，虚拟内存远大于物理内存，所有一个以上的虚拟内存可
张帆demo·2021-07-18 23:41

Netty编解码开发+多协议开发和应用+源码+高级特性笔记免费送

网络通信框架Netty已经逐渐成为了构建高可用分布式系统核心组件通信的基础，它的线程模型、零拷贝和多协议支持也让从业者们爱不释手。
java码农之路1·2021-07-16 10:43

瓜子保险

老的项目占用资源较多，导致其他项目一直pending，有没有优化的方式Kafka为什么适合高数据量的消息发送及收集零拷贝Kafka如何保证消息不丢失的？
wuhuaguo丶·2021-07-08 08:05

(5)零拷贝实现原理

场景：文件读出数据，传到另一台服务器上伪代码File.read(file,buf,len);Socket.send(socket,buf,len);4次数据拷贝，用户态和内核态区别1、read()一次上下文切换（用户态->内核态），底层用DMA（directmemoryaccess）读磁盘文件，存储到内核地址空间的读取缓存区2、程序无法访问内核地址空间数据，从读取拷贝到用户缓冲区。第二次切换（内核
hedgehog1112·2021-06-27 13:36

深入分析NIO的零拷贝

本章还是关于NIO的概念铺底，有关NIO相关的代码，我还是希望大家闲余时间取网上找一下有关使用JDKNIO开发服务端、客户端的代码，我会取写这些，但是具体的代码我不会很详细的取介绍，下一章的话可能就要上代码了，具体的规划如下：讲一下NIO基础API的使用、分析Netty的核心思想，使用Reactor模式仿写一个多线程版的Nio程序、再然后就是关于Netty的源码分析了！欢迎关注公众号【源码学徒】回
·2021-06-25 15:08

深入分析NIO的零拷贝

本章还是关于NIO的概念铺底，有关NIO相关的代码，我还是希望大家闲余时间取网上找一下有关使用JDKNIO开发服务端、客户端的代码，我会取写这些，但是具体的代码我不会很详细的取介绍，下一章的话可能就要上代码了，具体的规划如下：讲一下NIO基础API的使用、分析Netty的核心思想，使用Reactor模式仿写一个多线程版的Nio程序、再然后就是关于Netty的源码分析了！欢迎关注公众号【源码学徒】回
·2021-06-25 15:47

JAVA IO专题四：java顺序IO原理以及对应的应用场景

堆外内存和所谓的零拷贝到底是什么关系JAVAIO专题三：java的内存映射和应用场景JAVAIO专题四：java顺序IO原理以及对应的应用场景顺序I/O和随机I/O基本概念本次I/O
挡不住的柳Willow·2021-06-23 16:10

Kafka 为什么快？

我们可以从以下几个角度来分析以下：磁盘的读写速度数据检索零拷贝传统的文件读取过程当我们将服务器的磁盘文件读取发送到客户端,传统的过程大概是这样子：操作系统将磁盘数据读取到Kernel空间缓存页ReadBuf
code_solve·2021-06-23 14:48

零拷贝原理

从文件读取信息并发送到其它服务器的过程中普通文件读取和零拷贝的区别传统方式File.read(file,buf,len)读取文件内容到缓冲区buf里Socket.send(socket,buf,len)
策马踏清风·2021-06-22 08:13

千万不要错过的后端【纯干货】面试知识点整理 I

C++面试题语言相关基础题对象复用的了解，零拷贝的了解对象复用指得是设计模式，对象可以采用不同的设计模式达到复用的目的，最常见的就是继承和组合模式了。
·2021-06-18 22:13
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他