pagecache

Kafka 性能优化与问题深究

Kafka是一个分布式高吞吐量的消息系统，这里提下Kafka写数据的大致方式：先写操作系统的页缓存（PageCache）,然后由操作系统自行决定何时刷到磁盘。
包彭芃·2023-04-07 10:18

Linux 文件类型｜描述符、父子进程｜管道以及 PageCache 页缓存介绍

前言脏页虚拟文件系统文件类型文件描述符PageCache介绍pcstat页缓存参数配置IO测试代码prepare基本IOBufferIONIO总结前言app应用程序和硬件之间隔着一个内核，内核通过pagecache
vnjohn·2023-04-06 19:00

Linux·直接I/O原理

在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存（pagecache）中，也就是说，数据
迅狮·2023-04-05 21:00

第七周作业

设置为1表示清空pagecache，设置为2表示清空dentries和inodes，设置为3表示清空所有缓存（pagecache、dentries和inodes）(3)kernel.hostname
卫清华·2023-04-05 07:55

【操作系统】知识点

Programcounter）进程上下文切换用户态、内核态内核态与用户态的区别通常来说，以下三种情况会导致用户态到内核态的切换Buffer和CachePagecache（页面缓存）Buffercache（块缓存）Pagecache
curd_boy·2023-04-02 08:01

从源码分析RocketMQ系列-RocketMQ消息设计详解

1消息存储  消息存储是RocketMQ中最为复杂和最为重要的一部分，本节将分别从RocketMQ的消息存储整体架构、PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘方式三方面来分别展开叙述
nihui123·2023-04-01 21:20

【项目】实现一个mini的tcmalloc（高并发内存池）

malloc的相关知识玩具malloc原理简述ptmalloc简述铺垫chunk线程安全小结实现一个定长内存池原理代码测试高并发内存池整体框架三级缓存threadcachecentralcachespan对象pagecache
喜欢乙醇的四氯化碳·2023-03-29 15:40

高并发内存池(学习tcmalloc)

目录高并发内存池一、项目介绍二、项目涉及知识和项目环境三、定长内存池四、整体框架：五、ConcurrentAlloc.h六、ThreadCaChe七、CentralCache:八、PageCache:九
我只是一个路过的老年人·2023-03-29 15:08

Linux - 怎么实现大文件传输

一前言博文《PageCache》中介绍了PageCache的优缺点，其实在处理大文件中PageCache作用反而没有那么好。所以本文介绍Linux是怎么处理大文件的。
mooddance·2023-03-28 14:13

struct address_space解读

此pagecache表示已映射到内存的某些物理设备（例如磁盘）上的数据。物理设备通常对应于磁盘，但不一定必须如此。以这种方式，pagecache包含来自最近访问的“文件”的整个页面。
杨枫mind·2023-03-27 15:28

Linux清除缓存buff/cache

/cache是由于系统读写导致的文件缓存，没有及时释放办法：清除缓存#这个drop_caches文件可以设置的值分别为1、2、3\echo1>/proc/sys/vm/drop_caches#表示清除pagecache
骚戴·2023-03-27 00:17

浅谈Linux内核IO体系之磁盘IO

目录名词解释IO体系VFS层PageCache层映射层通用块层IO调度层设备驱动层物理设备层FAQ名词解释BufferedI/O：缓存
爱健身的兔子·2023-03-25 01:39

top查看时，发现buff/cache占用太高，怎么清除？

手动清理cat/proc/sys/vm/drop_cachesecho1>/proc/sys/vm/drop_caches//#表示清除pagecache。
一路向前ylc·2023-03-17 09:54

linux中buff/cache占用高

当出现不可回收时候，我们可以在/proc/sys/vm/drop_caches中查看缓存的内容，并可以使用手动回收，具体命令如下：#清除pagecache。ec
蓝色格子·2023-03-17 09:23

清除buffer/cache

它们所表示的含义为：#echo1>/proc/sys/vm/drop_caches:表示清除pagecache。
老杨和他的朋友们有限公司·2023-03-17 09:23

线上服务OOMkill根因竟是PageCache的问题

问题背景&现象ExitCode:137OOMkill问题现象137.png线上环境的后台服务频繁重启，重启的原因日志是ExitCode:137OOMkill。OOMkill是服务器的一种保护行为，服务器会定时的扫描服务器中的各个进程，每个进程根据一种机制得到一个分数，如果这个分数最高则会被服务器主动kill掉。OOMkill的具体机制在此不做过多赘述。而进程得到高分的原因一般情况是内存资源占用过高
向心力·2023-03-16 22:15

操作系统-软件架构设计

内核缓冲区Linux操作系统的PageCache。为了加快磁盘的I/O，Linu
融极·2023-03-11 11:09

linux异步IO编程实例分析

在DirectIO模式下，异步是非常有必要的（因为绕过了pagecache，直接和磁盘交互）。
linux大本营·2023-02-20 16:40

Linux IO的buffer cache和page cache合并的原因

这里“pagecache”指的是文件系统层用于缓存读写内容的cache，因为这一层在设备层之上，因此和内核其他地方一样，以page为单位来管理。
tracy_668·2023-02-18 02:43

Linux内存管理 -- 白话Linux page cache / swap cache/页框回收

文章目录Linux内存管理--白话页框回收什么是PageCache？什么是SwapCache？什么是bufferCache？
猿来如此yXy·2023-02-17 17:50

2021-03-08 解决Linux系统buff/cache过大的问题

/proc/sys/vm/drop_caches设置指定状态echo1>/proc/sys/vm/drop_caches状态说明：echo1>/proc/sys/vm/drop_caches#表示清除pagecache
大木博士丶·2023-02-06 10:42

【转】006 mm/filemap.c

=blog&id=152032005-11-2511:50mm/filemap.cpagecache,buffercache,lrucache,swapcache第一部分-->综述：首先概要介绍pagecache
yangp01·2023-02-03 08:47

[漏洞分析] CVE-2022-0847 Dirty Pipe linux内核提权分析

-2022-0847DirtyPipelinux内核提权分析漏洞简介环境搭建漏洞原理漏洞发生点pipe原理与pipe_writesplice到copy_page_to_iter_pipelinux内核pagecache
breezeO_o·2023-01-16 07:58

聊聊RocketMQ(三)RocketMQ零拷贝原理

DirectByteBuffer缓冲IO和直接IO内存映射文件（Mmap）直接内存读取并发送文件的过程Mmap读取并发送文件的过程Sendfile零拷贝读取并发送文件的过程零拷贝（zerocopy）小结零拷贝原理PageCache
一白丁·2023-01-04 17:30

RocketMQ-零拷贝

零拷贝PageCache由内存中的物理page组成，其内容对应磁盘上的block。pagecache的大小是动态变化的。
森林森·2023-01-04 17:25

【实战项目】高并发内存池

哈希桶映射对齐规则threadcache申请内存threadcacheTLS无锁访问centralcachecentralcache整体框架centralcache申请内存pagecachepagecache整体框架pagecache
小倪同学 -_-·2023-01-01 12:40

【项目】C++实现高并发内存池

ThreadCaheCentralCachePageCache_freeListSpanThreadCache：1、铺垫2、主要接口3、小结CentralCache：1、铺垫2、单例模式之--用饿汉不用懒汉3、主要接口4、小结Pagecache
流年玄月·2023-01-01 12:08

高并发内存池项目（C++实战项目）

4、malloc设计思路◎第一阶段–设计一个定长的内存池适应平台的指针方案◎第二阶段–高并发内存池整体框架设计1.线程缓存（threadcache）2.中心缓存（centralcache）3.页缓存（pagecache
林慢慢脑瓜子嗡嗡的·2023-01-01 12:37

Kafka为什么性能这么快？4大核心原因详解

Kafka的性能快这是大厂Java面试经常问的一个话题，下面我就重点讲解Kafka为什么性能这么快的4大核心原因@mikechen1、页缓存技术Kafka是基于操作系统的页缓存(pagecache)来实现文件写入的
·2022-12-19 18:26

pageCache和bufferCache

更多精彩文章：pageCache和bufferCache|桃花猿记1.前言PageCache又称页高速缓存，页高速缓存是由内存中的物理页面组成，对应的是磁盘上的物理块，可以动态扩大缩小。
风雨夕·2022-12-17 15:29

服务器内存占用太高如何解决及知识点介绍

的意思是内存显示单位是mbtop查看服务器所有进程占用内存，为了查看方便，可以使用shift+md可以让进程按照内存排序处理办法1、执行sync命令强制将内存中的文件缓冲内容写到磁盘2、执行一下命令来释放pagecache
你好，我叫罗鹏程·2022-12-15 17:41

RocketMQ 场景问题分析~孤雁

Producer,MQServer(Broker)和消费者Consumer其中,1,2,4三个场景都是跨网络的,而跨网络就肯定会有丢消息的可能.然后关于3这个环节,通常MQ存盘时都会先写入操作系统的缓存pagecache
熊孩子来啦·2022-12-11 18:02

C++项目：高并发内存池

TLS无锁访问CentralCacheSpan、SpanListCentralCache代码框架threadcache代码补充CenterCache代码实现PageCaCheCenterCache代码补充PageCache
Kevlavik·2022-12-04 03:18

linux内存回收(一）---kswapd回收

在linux操作系统中，当内存充足的时候，内核会尽量使用内存作为文件缓存(pagecache)，从而提高系统的性能。
奇小葩·2022-11-11 00:18

Redis实现持久化的方式汇总

Redis写入AOF日志的过程Redis执行完写操作命令后，将命令追加到server.aof_buf缓冲区通过write()系统调用，将aof_buf缓冲区的数据写入到AOF文件数据被拷贝到了内核缓冲区pagecache
·2022-10-14 23:39

Kafka为什么性能这么快？

1、页缓存技术Kafka是基于操作系统的页缓存(pagecache)来实现文件写入的，我们也可以称之为oscache，意思就是操作系统自己管理的缓存。
格格巫 MMQ!!·2022-09-22 20:38

Java中的Kafka为什么性能这么快及4大核心详析

、磁盘顺序写3、零拷贝4、分区分段+索引Kafka的性能快这是大厂Java面试经常问的一个话题，下面我就重点讲解Kafka为什么性能这么快的4大核心原因1、页缓存技术Kafka是基于操作系统的页缓存(pagecache
·2022-09-22 12:13

Kafka为什么性能这么快？4大核心原因详解

Kafka的性能快这是大厂Java面试经常问的一个话题，下面我就重点讲解Kafka为什么性能这么快的4大核心原因@mikechen1、页缓存技术Kafka是基于操作系统的页缓存(pagecache)来实现文件写入的
·2022-09-20 10:25

面试中遇到问题

的系统原理，主要采用手段有poll，epoll，select，pselect，其客户端接入的线程在linux一切皆文件的思想被看作是文件描述符（fd）kafka为什么这么快批量读写和压缩顺序读写零拷贝pagecache
二百斤的胖子_2c31·2022-08-22 11:11

腾讯三面：进程写文件过程中，进程崩溃了，文件数据会丢吗？

1.PageCache1.1PageCache是什么？
·2022-08-18 15:47

C++高并发内存池的实现

threadcacheTLS无锁访问centralcachecentralcache整体设计centralcache结构设计centralcache核心实现pagecachepagecache整体设计pagecache
·2022-07-18 14:36

真厉害！1 秒写入 10 万条消息，Kafka 写得这么快，都是因为这些优化！

Kafka写入速度非常快，主要得益于其系统架构设计，包括：PageCache批量压缩传输顺序、批量写磁盘多partition分散
·2022-06-20 20:10

RocketMQ 详解

详解1.基础概念2.RocketMQ消费模式2.1广播模式2.2集群模式3.基础架构3.1Broker的存储结构3.2存储文件简介3.3Consumer端的负载均衡机制3.4消息刷盘机制3.5Mmap+pageCache3.5.1
罗志宏·2022-05-16 11:12

项目实践—高并发内存池

2.1内存碎片问题2.2申请效率问题3.高并发内存池3.1第一层:threadcache3.2第二层:CentralCache3.3第三层:PageCache4.高并发内存池优点5.扩展知识6.源码链接
LHlucky_2·2022-03-29 08:01

项目：高并发内存池

目录项目介绍内存池介绍池化技术内存池内存池主要解决的问题定长内存池代码展示效果演示高并发内存池整体框架设计高并发内存池--threadcachethreadcache代码框架：自由链表的哈希桶跟对象大小的映射关系高并发内存池--centralcachecentralcache的工作过程高并发内存池--pagecache
小一！·2022-03-29 08:00

C++高并发内存池的设计和实现

2）普通内存池的优点和缺点3）高并发内存池要解决的问题2、总体设计思路3、申请内存流程图二、详细设计1、各个模块内部结构详细剖析1）threadcache2）centralcontrolcache3）pagecache2
Moua·2022-03-29 08:59

【项目设计】高并发内存池

threadcacheTLS无锁访问centralcachecentralcache整体设计centralcache结构设计centralcache核心实现pagecachepagecache整体设计pagecache
2021dragon·2022-03-29 08:53

RocketMQ设计之同步刷盘

具体流程是，消息写入内存的PAGECACHE后，立刻通知刷盘线程刷盘，然后等待刷盘完成，刷盘线程执行完成后唤醒等待的线程，返回消息写成功的状态。
·2022-03-21 11:59

RocketMQ设计之异步刷盘

上一篇RocketMQ设计之同步刷盘异步刷盘方式：在返回写成功状态时，消息可能只是被写入了内存的PAGECACHE，写操作的返回快，吞吐量大；当内存里的消息量积累到一定程度时，统一触发写磁盘操作，快速写入
·2022-03-21 11:21

linux内存不足

2.运行内存不够2.1top命令看内存占用情况若buff/cache占用过高，则执行以下命令清缓存（需ROOT权限）echo1>/proc/sys/vm/drop_caches:表示清除pagecache
一只皮皮兔·2022-03-19 07:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他