PageCache

Linux内核学习（十二）—— 页高速缓存和页回写（基于Linux 2.6内核）

目录一、缓存手段二、Linux页高速缓存三、flusher线程Linux内核实现了一个被叫做页高速缓存（pagecache）的磁盘缓存，它主要用来减少对磁盘的I/O操作。
Patarw_Li·2023-08-30 15:49

深度思考Netty面经(涉及到同步/异步IO，阻塞/非阻塞，I/O多路复用，reactor，零拷贝之间的关系)

5Netty面试全解1零拷贝相关1.1文中提到的磁盘高速缓存（pageCache）位于内存中嘛还是磁盘中还是寄存器中？
xxx_520s·2023-08-29 21:49

rocketmq 同步刷盘、异步刷盘和同步复制、异步复制

消息在通过Producer写入RocketMQ的时候，有两种写磁盘方式：1）异步刷盘方式：在返回写成功状态时，消息可能只是被写入了内存的PAGECACHE，写操作的返回快，吞吐量大；当内存里的消息量积累到一定程度时
weixin_30443747·2023-08-27 12:02

RocketMQ零拷贝原理

1PageCache●由内存中的物理page组成，其内容对应磁盘上的block。●pagecache的大小是动态变化的。●backingstore：cache缓存的存储设备。
coolshyman·2023-08-27 12:31

rocketmq 同步刷盘和异步刷盘以及主从复制之同步复制和异步复制你理解了吗

消息在通过Producer写入RocketMQ的时候，有两种写磁盘方式：1）异步刷盘方式：在返回写成功状态时，消息可能只是被写入了内存的PAGECACHE，写操作的返回快，吞吐量大；当内存里的消息量积累到一定程度时
杭州小哥哥·2023-08-27 12:00

RocketMQ 的刷盘机制、主从复制、存储形式

文章目录同步刷盘和异步刷盘同步复制和异步复制存储机制流程分析为何CommitLog文件要设计成固定大小的长度pagecacheMmap内存映射技术—MappedByteBufferOS的PageCache
黑夜无路人·2023-08-27 12:59

高并发内存池(PageCache)[3]

原理PageCache共128页staticconstsize_tNPAGES=128;centralcache向pagecache申请2page时，首先向下扫描，有大的会切分出来，然后再挂在对应桶当中
ls-R·2023-08-23 07:58

深入理解Linux内核--页高速缓存

页高速缓存页高速缓存(pagecache)是Linux内核所使用的主要磁盘高速缓存。在绝大多数情况下，内核在读写磁盘时都引用页高速缓存。新页被追加到页高速缓存以满足用户态进程的读请求。
raindayinrain·2023-08-20 16:00

Linux运维发展与学习路线笔记

Linux半年工作经验或以上；8-15K：无工作经验有Linux基础；6-12K：无工作经验无Linux基础3.最后做到系统运维架构师4.系统监控，性能优化，运维工具5.php、jsp、MySql6.pagecache
冬青夏木·2023-08-20 11:51

Linux 文件 I/O 进化史（一）：Buffered I/O

大概想了，主要内容可以分成4个部分：BufferedI/O：传统的基于pagecache的文件读写。mmap：可以让应用像访问内存一样访问文件。
一口Linux·2023-08-18 12:21

Kafka 消息发送和消费流程

发送消息流程如下：Producer端直接将消息发送到Broker中的Leader分区中Broker对应的Leader分区收到消息会先写入PageCache，定时刷盘进行持久化（顺序写入磁盘）Follower
旷野历程·2023-08-17 06:58

《软件架构设计--大型网站技术架构与业务架构融合之道》读书笔记

1、缓冲IO和直接IO应用程序内存：通常写代码malloc/free、new/delete等分配出来的内存用户缓冲区：C语言FILE结构体里面的buffer内核缓冲区：Linux操作系统的PageCache
不要影响我叠Q·2023-08-16 16:31

Buffer IO、Direct IO与mmap

1.BufferIO普通的IO读写，一般会经过用户态内存-->PageCache-->FileSystem-->BlockIO。
·2023-08-15 16:53

Java 进阶之字节码剖析

前言从今天起我打算整一个Java系列的进阶基础文章，万丈高楼平地起，打好基础我们才能走得更好，举个例子，之前我在武哥的Kafka文章中看到这样的一句话「除此之外，页缓存（pageCache）还有一个巨大的优势
C陈三岁·2023-08-04 23:01

关于page cache的性能实验数据

pagecache局部性行优先VS列优先代码intarray[n][n];//行优先for(inti=0;i&a){for(inti=0;ia;a=0;//Fourthreadsallsharingoneatomicstd
谭英智·2023-08-01 19:43

RocketMQ 如何实现高性能消息读写？

文章目录背景实现现高性能IO的手段1.顺序读写1.1顺序写1.2读取消息2.页缓存（PageCache）3.MMap4.预分配文件5.文件预热6.内存级读写分离TransientStorePool参考资料背景
金甲虫Scarb·2023-07-30 22:01

ext4 - delay allocation数据结构

概述延迟分配delayallocation是ext4非常重要的特性，启用该特性write系统将用户空间buffer写入内存pagecache中即返回，此时也不会真正进行磁盘block分配，而是延迟到磁盘回写时
nginux·2023-07-25 07:20

[RocketMQ] Broker 消息刷盘服务源码解析 (十二)

异常刷盘:能够充分利用OS的PageCache的优势,只要消息写入PageCache即可将成功的ACK返回给Producer端。
959y·2023-07-17 19:26

24 谈谈内存映射文件mmap

为什么要有mmap传统的修改一个文件的内容，一般需要如下三个步骤：通过read系统调用，操作系统由用户态切换到内核态，将文件数据由磁盘控制器缓冲区读到PageCache中，然后再将PageCache中的数据拷贝到用户缓冲区中
HEU_Q·2023-07-16 10:11

文件I/O_03PageCache和Mmap

1.什么是PageCache（1）假如没有PageCache:CPU如果要访问外部磁盘上的文件，由于cpu可以直接访问的存储器是内存。
小鱼不会游泳·2023-06-20 21:06

RocketMQ 详解

详解1.基础概念2.RocketMQ消费模式2.1广播模式2.2集群模式3.基础架构3.1Broker的存储结构3.2存储文件简介3.3Consumer端的负载均衡机制3.4消息刷盘机制3.5Mmap+pageCache3.5.1
gb4215287·2023-06-20 17:03

程序员必须掌握的消息中间件-RocketMQ

设计(design)1消息存储消息存储是RocketMQ中最为复杂和最为重要的一部分，本节将分别从RocketMQ的消息存储整体架构、PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘方式三方面来分别展开叙述
·2023-06-17 20:11

【Linux问题处理】服务器内存缓存占用高

文章目录一、清除缓存1.只清除页面缓存（pagecache）2.清除目录项和inode3.清除页面缓存、目录项和i节点4.权限拒绝一、清除缓存1.只清除页面缓存（pagecache）echo1>/proc
我辈李想·2023-06-17 00:58

pagecache_get_page

/***pagecache_get_page-findandgetapagereference*@mapping:theaddress_spacetosearch*@offset:thepageindex
wmzjzwlzs·2023-06-14 20:41

kafka快的原因（四）

四、kafka快的原因kafka为什么这么快,5个点：顺序读写、网络模型、存储原理（partition分片）、日志压缩4.1顺序读写pagecache见上一节文件系统使用6个7200rpm、SATA接口
arthur.dy.lee·2023-06-10 12:31

Kafka和其它中间件共同的优化（五）

5.2reactor模型netty也有使用到,以及它所用的mmap,epoll5.3和rocketMQ相同点相同点两者均利用了操作系统PageCache的机制，同时尽可能通过顺序io降低读写的随机性，将读写集中在很小的范围内
arthur.dy.lee·2023-06-10 12:31

【操作系统】Linux 中的 Page Cache

【操作系统】Linux中的PageCache参考资料：文件I/O简明概述-pagecache进程写文件时，进程发生了崩溃，已写入的数据会丢失吗？
小颜-·2023-06-08 09:13

程序员必须掌握的消息中间件-RocketMQ

设计(design)1消息存储消息存储是RocketMQ中最为复杂和最为重要的一部分，本节将分别从RocketMQ的消息存储整体架构、PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘方式三方面来分别展开叙述
·2023-06-06 22:43

既然操作系统层已经提供了page cache的功能，为什么还要在应用层加缓存？

PageCache是一种在操作系统内核中实现的缓存机制，用于缓存文件系统中的数据块。
Evaporator Core·2023-04-20 13:34

文件传输和零拷贝

DMA技术传统的文件传输过程1、read调用从用户态切换到内核态2、CPU发起IO请求，然后返回，磁盘控制器将数据放入磁盘控制缓冲区，然后发起IO中断信号3、将数据从磁盘控制缓冲区拷贝到PageCache4
彳亍口巴·2023-04-18 18:32

RocketMQ 数据丢失问题解决

报systembusy或brokerbusy说明PageCache繁忙，向PageCache追加消息时，单个消息发送占用的时间超过一定时间，如果持续往该Broker服务器发送消息并等待，超时后，broker
发光的鱼·2023-04-16 10:32

零拷贝简介

操作的流程大致是这样的:假设,这里的IO设备是磁盘,那么磁盘的一次read操作流程如下:CPU向磁盘发起IO请求磁盘将数据放入磁盘控制器缓冲区(上图步骤1),并发起IO中断通知CPUCPU将数据拷贝到Pagecache
烟草的香味.·2023-04-16 07:23

Radix-tree pagecache for 2.5

[PATCH]Radix-treepagecachefor2.5From:ChristophHellwig([email protected])Date:TueJan292002-10:54:44ESTNextmessage:JoachimSteiger:"Re:newphotosfrommyparty!"Previousmessage:EliCarter:"Re:Amodestproposal--We
soft_1314·2023-04-15 20:57

第七周作业

设置为1表示清空pagecache，设置为2表示清空dentries和inodes，设置为3表示清空所有缓存（pagecache、dentries和inodes）（3）kernel.hostname：
小邢_·2023-04-15 09:29

详细讲解零拷贝机制的进化过程

一、传统拷贝方式（一）操作系统经过4次拷贝CPU负责将数据从磁盘搬运到内核空间的PageCache中；CPU负责将数据从内核空间的PageCache搬运到用户空间的缓冲区；CPU负责将数据从用户空间的缓冲区搬运到内核空间的
gegeyanxin·2023-04-13 06:53

内核参数、proc、IP检测、initrd

设置为1表示清空pagecache，设置为2表示清空dentries和inodes，设置为3表示清空所有缓存（pagecache、dentries和inodes）(3)kernel.h
haoxi2018·2023-04-12 03:32

八股文(Linux&操作系统)

5.使用零拷贝的项目6.PageCache(磁盘高速缓存)四.IO多路复用:epollpollselect1.基于TCP的Socket编程2.多进程模型3.多线程模型4.I/O多路复用5.select/
studyForMokey·2023-04-09 17:56

linux系统io错误,linux系统IO操作

还在pagecache中的脏页可以读写吗？
伊名乎·2023-04-09 08:34

如何用数据观测Page Cache？

什么是PageCache？
repinkply·2023-04-09 04:12

Kafka 性能优化与问题深究

Kafka是一个分布式高吞吐量的消息系统，这里提下Kafka写数据的大致方式：先写操作系统的页缓存（PageCache）,然后由操作系统自行决定何时刷到磁盘。
包彭芃·2023-04-07 10:18

Linux 文件类型｜描述符、父子进程｜管道以及 PageCache 页缓存介绍

前言脏页虚拟文件系统文件类型文件描述符PageCache介绍pcstat页缓存参数配置IO测试代码prepare基本IOBufferIONIO总结前言app应用程序和硬件之间隔着一个内核，内核通过pagecache
vnjohn·2023-04-06 19:00

Linux·直接I/O原理

在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存（pagecache）中，也就是说，数据
迅狮·2023-04-05 21:00

第七周作业

设置为1表示清空pagecache，设置为2表示清空dentries和inodes，设置为3表示清空所有缓存（pagecache、dentries和inodes）(3)kernel.hostname
卫清华·2023-04-05 07:55

【操作系统】知识点

Programcounter）进程上下文切换用户态、内核态内核态与用户态的区别通常来说，以下三种情况会导致用户态到内核态的切换Buffer和CachePagecache（页面缓存）Buffercache（块缓存）Pagecache
curd_boy·2023-04-02 08:01

从源码分析RocketMQ系列-RocketMQ消息设计详解

1消息存储  消息存储是RocketMQ中最为复杂和最为重要的一部分，本节将分别从RocketMQ的消息存储整体架构、PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘方式三方面来分别展开叙述
nihui123·2023-04-01 21:20

【项目】实现一个mini的tcmalloc（高并发内存池）

malloc的相关知识玩具malloc原理简述ptmalloc简述铺垫chunk线程安全小结实现一个定长内存池原理代码测试高并发内存池整体框架三级缓存threadcachecentralcachespan对象pagecache
喜欢乙醇的四氯化碳·2023-03-29 15:40

高并发内存池(学习tcmalloc)

目录高并发内存池一、项目介绍二、项目涉及知识和项目环境三、定长内存池四、整体框架：五、ConcurrentAlloc.h六、ThreadCaChe七、CentralCache:八、PageCache:九
我只是一个路过的老年人·2023-03-29 15:08

Linux - 怎么实现大文件传输

一前言博文《PageCache》中介绍了PageCache的优缺点，其实在处理大文件中PageCache作用反而没有那么好。所以本文介绍Linux是怎么处理大文件的。
mooddance·2023-03-28 14:13

struct address_space解读

此pagecache表示已映射到内存的某些物理设备（例如磁盘）上的数据。物理设备通常对应于磁盘，但不一定必须如此。以这种方式，pagecache包含来自最近访问的“文件”的整个页面。
杨枫mind·2023-03-27 15:28

Linux清除缓存buff/cache

/cache是由于系统读写导致的文件缓存，没有及时释放办法：清除缓存#这个drop_caches文件可以设置的值分别为1、2、3\echo1>/proc/sys/vm/drop_caches#表示清除pagecache
骚戴·2023-03-27 00:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他