PageCache

【详解文件IO系列】讲讲 MQ 消息中间件 （Kafka，RocketMQ等）与 MMAP、PageCache 的故事

一般的IO调用首先来看一下一般的IO调用。在传统的文件IO操作中，我们都是调用操作系统提供的底层标准IO系统调用函数read()、write()，此时调用此函数的进程（在JAVA中即java进程）由当前的用户态切换到内核态，然后OS的内核代码负责将相应的文件数据读取到内核的IO缓冲区，然后再把数据从内核IO缓冲区拷贝到进程的私有地址空间中去，这样便完成了一次IO操作。如下图所示。注意两点：OS的r
禅与计算机程序设计艺术·2021-03-23 01:45

select、poll、epoll - IO模型超详解

内核读写磁盘的时候都要用到这个PageCache。如果程序想要读的部分不在高速缓存，则先申请一个4KB大小的新页框加到PageCache，然后再用磁盘读到的数据填充。
Yanní_G·2021-01-24 20:36

基于SSD的Kafka应用层缓存架构设计与实现

Kafka在美团数据平台承担着统一的数据缓存和分发的角色，针对因PageCache互相污染，进而引发PageCache竞争导致实时作业被延迟作业影响的痛点，美团基于SSD自研了Kafka的应用层缓存架构
美团技术团队·2021-01-14 19:26

IO

正文socket网络IO模型NIOSELECT/POLL/EPOLLRPCNETTY有两个程序，想打开同一个文件，pagecache给他们共享，虚拟内存命中了，就可以返回了。
更多v·2021-01-07 23:24

Kafka为什么吞吐量大、速度快？

基于磁盘的随机读写确实很慢，但磁盘的顺序读写性能却很高二、PageCache为了优化读写性能，Kafka利用了操作系统本身的PageCache，就是利用操作系统自身的内存而不是JVM空间内存。
fjding·2020-12-09 17:50

消息中间件-Kafka怎么治疗三高

内部机制采用ZoreCopy零拷贝机制，数据并不直接写磁盘，而是写入到PageCache（反正就是很快，和写内存一样，和写redis一样)然后靠PageCache机制，自动写入磁盘；如果此时消费者对接过来
Evado·2020-11-23 15:38

Linux 清理占用RAM的Cache、Buffer和Swap

只清理PageCache（页缓存）#sync;echo1>/proc/sys/vm/drop_caches只清理dentries和inodesync;e
VoiceRoom·2020-09-29 15:21

nginx+php-fmp 内存不释放

由于服务器只有600M的内存,上面跑了一个并发并不是很大的php应用,当运行一段时间后,发现内存不断增长,其中一部分是PageCache的增长，这个可以通过echo3>/proc/sys/vm/drop_caches
zhengdl126·2020-09-17 09:01

RocketMQ整个流程

2.broker接受到消息后，会进行一系列检查，然后把收到的消息，存入到commitLog当中，然后进行刷盘，如果是同步的刷盘策略，那么就会在写入到pageCache中时，再真正落地到磁盘的时候才会进行
IMHB·2020-09-16 15:43

FileOutputStream和BufferedOutputStream原理

FileOutputStream每次都向内核调一次syscall和write(byte[])，将二进制流写入内核的pagecache。不提供flush()，只有close。
JavaMa-·2020-09-16 14:12

定时清理Linux 内存和缓存

为了提高磁盘存取效率，Linux做了一些精心的设计，除了对dentry进行缓存（用于VFS，加速文件路径名到inode的转换），还采取了两种主要Cache方式：BufferCache和PageCache
乌托邦中小蜗牛·2020-09-16 12:20

高速缓冲存储器 - Buffer和Cache的区别

http://stackoverflow.com/questions/6345020/linux-memory-buffer-vs-cache概念上的区别：1.buffer是块设备的内存读写缓冲区，而pagecache
沉默拾金·2020-09-16 06:27

ubuntu如何释放内存

答:step1:以最高权限同步所有的缓存到磁盘中syncsyncstep2:执行以下命令指示内核对内存进行调整echo3>/proc/sys/vm/drop_caches解析:3表示清空所有缓存（pagecache
weixin_30847271·2020-09-15 12:05

Kafka 高效读写数据的原因

文章目录1.顺序写磁盘2.分段日志+索引文件3.零拷贝4.PageCache5.批量发送6.数据压缩1.顺序写磁盘Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端
潘书鹏的BigData·2020-09-14 16:47

Linux文件系统(五)---三大缓冲区之buffer块缓冲区

(内核：2.4.37)二、块buffer缓冲区0、整体来说，Linux文件缓冲区分为pagecache和buffercache，每一个pagecache包含若干buffercache。》
小刀刀·2020-09-14 15:20

mmap优缺点

mmap这个函数是和pagecache有密切关系的函数之一。他将一个文件映射到一块内存区域当中。mmap的特点是按需调页。最开始只申请vma，并不调真正的页。
shenyanxxxy·2020-09-14 07:47

Linux 操作系统原理 — Cache 和 Buffer

Linux缓存机制PageCache的同步机制（一致性问题）Cache和Buffer的区别在哪里？
范桂飓·2020-09-14 00:06

ClickHouse单机版安装部署

如果数据被放置在pagecache中，则一个不太复杂的查询在单个服务器上大约能够以2-10GB／s（未压缩）的速度进行处理（对于简单的查询，速度可以达到30GB／s）。
鲲鹏小飞猪·2020-09-13 20:43

PMDK之libpmemobj库的使用

这种机制绕过了PageCache，直接将持久性内存映射到用户进程内存空间，从而使用户直接以内存读写的形式访问持久性文件，显著提升持久性内容的访
ypluo·2020-09-13 20:27

pageCache

写在前面在开始正式的讨论前，我先抛出几个问题：谈到磁盘时，常说的HDD磁盘和SSD磁盘最大的区别是什么？这些差异会影响我们的系统设计吗？单线程写文件有点慢，那多开几个线程一起写是不是可以加速呢？write(2)函数成功返回了，数据就已经成功写入磁盘了吗？此时设备断电会有影响吗？会丢失数据吗？write(2)调用是原子的吗？多线程写文件是否要对文件加锁？有没有例外，比如O_APPEND方式？坊间传闻
江上渔者21号·2020-09-13 06:46

Page Cache的优化（随笔）

PageCache是通过radixtree进行管理的，索引标记为index。但是这块如果在嵌入式设备中，可以通过像页表一样的多表索引方法对其进行索引，这样的效率更高。
leoufung·2020-09-13 05:47

【linux】 pagecache

一、pagecache简介pagecache，又称pcache，其中文名称为页高速缓冲存储器，简称页高缓。pagecache的大小为一页，通常为4K。
iwtg·2020-09-13 05:46

Linux Page Cache调优在Kafka中的应用

互联网技术微信公众号链接：https://mp.weixin.qq.com/s/MaeXn-kmgLUah78brglFkg作者：YangYijun本文主要描述LinuxPageCache优化的背景、PageCache
vivo互联网技术·2020-09-13 04:30

（4.1：elasticsearch的segment详解）

es的segment详解1：segment介绍服务器总内存除过给jvm配置的其余都给了lucene，占用pagecache内存，pagecache保存对文件数据segment的缓存。
猿来如此dj·2020-09-12 05:09

page cache

http://duartes.org/gustavo/blog/post/page-cache-the-affair-between-memory-and-files/之所以发这个，是因为这对于后来讲解pagecache
我就没事闲溜溜·2020-09-12 03:02

Linux缓存相关知识整理(史上最全!!)

1.相关概念页页缓存和块缓存概念页缓存(pagecache)块缓存(buffercache)缓存机制的利弊写缓存2.数据同步(刷缓存)flush内核线程可调参数flush/sync/fsync系列API
icycode·2020-09-12 02:17

Linux中清除cache/buffer方法

1、查看Linux中的cache/buffer情况：free-h2、仅清除页面缓存PageCache方法：echo1>/proc/sys/vm/drop_caches3、清除目录项和inode节点
ibless·2020-09-12 02:45

Linux 性能调试 之 drop_caches

Linuxfree命令中buffer和cache都是页缓存（pagecache），可以手动清理清理，降低内存消耗。
渴饮刀头血·2020-09-10 21:26

分布式存储(ceph)技能图谱（持续更新）

如有分类有问题或者分支不合理，欢迎大家批评指正，目的是为了大家共同提升文章目录分布式存储技能树Linux操作系统文件系统I/O系统I/O追踪内存管理PageCache和BufferCache进程管理进程间同步机制多进程编程共享内
v-code·2020-08-25 16:31

Linux Page Cache调优在Kafka中的应用

互联网技术微信公众号链接：https://mp.weixin.qq.com/s/MaeXn-kmgLUah78brglFkg作者：YangYijun本文主要描述LinuxPageCache优化的背景、PageCache
vivo互联网技术·2020-08-25 16:49

Linux Page Cache调优在Kafka中的应用

互联网技术微信公众号链接：https://mp.weixin.qq.com/s/MaeXn-kmgLUah78brglFkg作者：YangYijun本文主要描述LinuxPageCache优化的背景、PageCache
vivo互联网技术·2020-08-25 09:14

玩无线网络

存储部分，主要是处理pagecache中的page和盘上的block之间的对应关系，那么网络呢？
weixin_30739595·2020-08-24 17:19

rocketmq,zookeeper,redis分别持久化的方式

1.rocketmq持久化:RocketMQ的所有消息都是持久化的，先写入系统PAGECACHE，然后刷盘，可以保证内存与磁盘都有一份数据，访问时，直接从内存读取。
weixin_30662539·2020-08-24 17:43

swoole 文件IO方式

优点：所有操作均在一个线程内完成，不需要开线程池不依赖线程执行IO，所以并发可以非常大缺点：只支持DriectIO，无法利用PageCache，所有对文
李景山-编程者·2020-08-24 14:15

Linux用指令来释放缓存方法

Linux系统的缓存机制是相当先进的，他会针对dentry(用于VFS，加速文件路径名到inode的转换)、BufferCache(针对磁盘块的读写)和PageCache(针对文件inode的读写)进行缓存操作
wuxiangping2017·2020-08-24 10:03

linux 清除缓存

仅清除页面缓存（PageCache）#sync;echo1>/proc/sys/vm/drop_caches清除目录项和inode#sync;echo2>/proc/sys/vm/drop_caches
jackjiang666·2020-08-24 08:22

Kafka的数据是如何存储的

Kafka这款分布式消息队列使用文件系统和操作系统的页缓存（pagecache）分别存储和缓存消息，摒弃了Java的堆缓存机制，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO
hankl1990·2020-08-24 06:46

RocketMQ源码解析之消息存储

RocketMQ源码解析之消息存储消息存储是RocketMQ中最为复杂和最为重要的一部分，包含RocketMQ的消息存储整体架构、PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘方式三方面来分别展开叙述
kwxyzk·2020-08-23 10:38

内核点滴——delalloc

传统的nodelalloc数据从用户空间复制到pagecache时，立即在磁盘上分配块空间。
夏天的风铃_·2020-08-19 02:42

Kafka-高效读写数据，Zookeeper在Kafka中的作用，Kafka事务

文章目录Kafka高效读写数据1）顺序写磁盘2）应用Pagecache3）零复制技术Zookeeper在Kafka中的作用Kafka事务1Producer事务2Consumer事务（精准一次性消费）Kafka
Demik·2020-08-18 10:52

f2fs的checkpoint

进行cp的时机：syncumountforegroundcleaningcp的过程：1、把pagecache中的脏node和脏dentryblock，flush到设备上2、暂停写操作（包括create和
qwerrfxgj·2020-08-18 02:29

linux [page cache&swap cache ]

pagecache是一种策略，就是使用完的page并不是立即放到内核的freepagelist中，而是暂时缓存着已被再次使用。
wz125·2020-08-17 04:05

Linux cache 和 swap 空间管理（内存缓存和交换分区）

2019独角兽企业重金招聘Python工程师标准>>>释放cache缓存空间查看当前/proc/sys/vm/drop_caches的值,默认为0运行sync命令，确保文档系统的完整性sync如果仅仅想释放pagecache
weixin_34101784·2020-08-17 03:36

Kafka为什么比其他消息中间件快

目录利用Partition实现并行处理顺序写磁盘充分利用PageCache零拷贝技术磁盘文件通过网络发送（Broker到Consumer）批处理下次面试官问我Kafka为什么快，我就这么说无论Kafka
程序猿进阶·2020-08-16 10:42

页面缓存——内存与文件的那些事儿

转载：http://blog.csdn.net/drshenlei/article/details/4582197原文标题：PageCache,theAffairBetweenMemoryandFiles
kernel_digger·2020-08-15 14:22

局部性原理在php、mysql、kafka的实际应用

年的时间，看了很多各种技术书籍，总结了其中一些共性，其中就有一点，在系统性能方面，尤其是存储方面，局部性原理都在其中扮演着非常重要的角色，比如PHP5到PHP7的优化、比如MySQL索引、kafka的pagecache
smallhow·2020-08-14 16:48

内核中PageCache和java文件系统IO/NIO以及内存中缓冲区的作用

准备工作Linux磁盘IO关于脏页数据写入磁盘的方式的配置，是可以通过配置文件配置的：[root@node1~]#sysctl-a|grepdirtyvm.dirty_background_ratio=0vm.dirty_background_bytes=1048576vm.dirty_ratio=0vm.dirty_bytes=1048576vm.dirty_writeback_centisec
traveler100·2020-08-14 06:54

小议同步IO ：fsync与fdatasync

1.write不够，需要fsync一般情况下，对硬盘（或者其他持久存储设备）文件的write操作，更新的只是内存中的页缓存（pagecache），而脏页面不会立即更新到硬
继续微笑lsj·2020-08-10 21:24

小议同步IO ：fsync与fdatasync

1.write不够，需要fsync一般情况下，对硬盘（或者其他持久存储设备）文件的write操作，更新的只是内存中的页缓存（pagecache），而脏页面不会立即更新到硬
weixin_30794499·2020-08-08 23:17

NIO进阶篇：Page Cache、零拷贝、顺序读写、堆外内存

文章目录DMADMA原理PageCache文件PageCache的作用PageCache相关的数据结构零拷贝常规文件读写mmapsendfile顺序读写堆外内存堆内存与堆外内存的关系堆外内存的回收DMA
daijiguo·2020-08-07 23:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他