PageCache

Kafka丢失数据分析与解决方案

KafkaBroker丢失数据Broker会将数据写入系统缓存，然后返回确认信息给Producer，如果是单点的Kafka，数据丢失无法避免，原因是只能调节数据刷到硬盘的时间间隔和缓存大小，到调整时间间隔越小、缓存（PageCache
筑梦之人·2023-10-27 01:50

Kafka入门05——基础知识

目录副本数据同步原理HW和LEO的更新流程第一种情况第二种情况数据丢失的情况解决方案Leader副本的选举过程日志清除策略和压缩策略日志清除策略日志压缩策略Kafka存储手段零拷贝（Zero-Copy）页缓存（PageCache
Elaine202391·2023-10-26 23:40

【C++项目】高并发内存池第四讲 申请内存过程介绍流程介绍

申请内存过程介绍1.主函数执行2.ThreadCache3.CentralCache4.PageCache1.主函数执行先从内存池申请内存获取ThreadCache对象，然后去ThreadCache对象的
X.Dragon·2023-10-26 13:22

一个程序员，不能连计算机运行原理都不能讲清楚，好像不太行！

1举例说明app1和app2是俩个应用程序列如：当app1程序执行一个程序cpu首先x-0086调取内核（kernel）,内核去硬盘获取数据首先从硬盘的pagecache获取，没有去硬盘数据处理完,dma
布丁吕·2023-10-24 06:15

【C++项目】高并发内存池第三讲PageCache框架涉及+核心实现（上）

PageCache1.PageCache框架设计1.1整体设计1.2CentralCache向PageCache申请内存的逻辑设计2.PageCache的核心框架实现这里着重介绍一下CentralCache
X.Dragon·2023-10-24 03:34

文件内存映射和传统I/O机制

1.1什么是页高速缓存(pagecache)?为什么需要页高速缓存?1.1.1什么是页高速缓存?
莫言静好、·2023-10-22 15:54

大数据之kafka

Kafka这款分布式消息队列使用文件系统和操作系统的页缓存（pagecache）分别存储和缓存消息，摒弃了Java的堆缓存机制，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO
陈冲_河南漯河·2023-10-16 02:54

tcmalloc（高并发内存池）简化版讲解-项目

目录核心图内存池是什么为什么需要内存池一、申请效率的问题编辑二、内存碎片化高并发内存池的优势高并发内存池使用插件对象池向上对齐自由链表SpanSpanList基数树高并发内存池设计ThreadCache层CentralCache层PageCache
云的小站·2023-10-15 01:15

Linux network I/O

在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存（pagecache）中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程
在水_·2023-10-12 04:22

Linux内核学习笔记-Page Cache与Page回写

#综述Pagecache是通过将磁盘中的数据缓存到内存中，从而减少磁盘I/O操作，从而提高性能。
OkidoGreen·2023-10-11 13:32

深入理解Linux 的Page Cache

作者：Spongecaptain原文：https://spongecaptain.cool/SimpleClearFileIO/1.PageCache1.1PageCache是什么？
极客重生·2023-10-11 13:46

Centos中清除因程序异常终止,导致的残留的Cache/buff_drop_caches命令---linux工作笔记063

#表示清除pagecache。echo1>/proc/sys/vm/drop_c
脑瓜凉·2023-10-08 02:32

细看InnoDB数据落盘

pagecache/Buffercache（可通过o_direct绕过）。这个是vfs层的缓冲。Inodecache/dir
tracy_668·2023-10-05 13:57

后端面经学习自测（一）

文章目录1、MySQL-MVCC2、MySQL-原子性怎么实现3、MySQL-持久性怎么实现隔离性怎么实现4、操作系统-死锁产生手写死锁死锁排查5、操作系统-避免死锁死锁的四个必要条件预防死锁6、操作系统-pageCache
倩mys·2023-10-05 05:06

C++实现的高并发内存池

高并发内存池一、为什么设计高并发内存池二、高并发内存池整体框架设计三、内部细节构成介绍1.ThreadCache2.CentralCache3.PageCache4.申请内存流程5.释放内存流程四、多线程环境下对比
RWCC·2023-10-04 18:22

C++项目高并发内存池_三层缓存释放内存过程设计与联调

文章目录ThreadCache释放内存，将一部分多余的空间节点链表给CentralCacheCentralCache将从ThreadCache获取的空间节点合并为Span（MergeSpan）PageCache
NUC_Dodamce·2023-10-04 18:21

C++实现高并发内存池

malloc/free存在的问题1.2定长内存池的优点和缺点1.3高并发内存池要解决的问题2.总体设计思路3.申请流程4.释放流程5.细节剖析5.1ThreadCache5.2CentralCache5.3PageCache5.4PageMap6
没什么..·2023-10-04 18:51

linux page cache 大小,linux pagecache与内存占用

一、概念介绍linux系统中通常使用free命令来查看内存使用情况，free命令主要是从/proc/meminfo文件中读取的内存数据然后进行简单处理进行展示，根据查看free命令的手册了解到各个字段的含义。total：系统总内存大小(分物理内存mem、交换分区swap)used：已使用的内存(total-free-buffers-cache)free：未使用的内存shared：通常情况下是tmp
三水蜀黍·2023-10-03 04:49

Page Cache引起的业务问题处理

在工作中，你可能遇见过与PageCache有关的场景，比如：服务器的load飙高；服务器的I/O吞吐飙高；业务响应时延出现大的毛刺；业务平均访问时延明显增加。
LTracer·2023-10-03 04:19

Page Cache

本章的主要内容学习内容如下：什么是Pagecache(what)为什么需要page
奇小葩·2023-10-03 04:49

[内核内存] page cache

文章目录1pagecache和buffercache2pagecache3带pagecache的文件读写基本流程(转)3.1读文件3.2写文件3.3小结1pagecache和buffercachelinux
早起的虫儿有鹰吃·2023-10-03 04:48

MySQL · 性能优化 · PageCache优化管理

研究后发现是日志文件的pagecache占用了大量的内存（200G+），导致系统可立即分配的内存不足，影响了系统性能。
RockyPeng3·2023-10-03 04:48

关于OS Page Cache的简单介绍

为了在速度和容量上折中，在CPU与RAM之间使用CPUcache以提高访存速度，在RAM与磁盘之间，操作系统使用pagecache提高
逸轩coding·2023-10-03 04:17

Page Cache的产生、释放及其作用

PageCache的产生、释放及其作用在单片机系统中，PageCache是一种存储器缓存技术。它可以在缓存中预先存储一定数量的数据页，以提高数据读写的速度。
代码编织匠人·2023-10-03 04:17

Page Cache是如何生成和释放的？（单片机）

PageCache是指操作系统在处理内存时，将最近访问的页面（Page）存储在内存中的一块高速缓存区域。
XyScala·2023-10-03 04:16

PageCache

目录buffers和cached的区别：操作系统层提供了pagecache，为什么还要在应用层加缓存？  pagecache是针对文件系统的文件的缓存，在文件层面上的数据会缓存到pagecache。
K. Bob·2023-10-03 04:46

Page Cache的产生和释放

PageCache是如何产生和释放的，通俗一点，就是它的“生”（分配）与“死”（释放），即PageCache的生命周期。
seasidezhb·2023-10-03 04:44

用数据观测Page Cache

与PageCache有关的场景：服务器的load飙高；服务器的I/O吞吐飙高；业务响应时延出现大的毛刺；业务平均访问时延明显增加上边这些问题，很可能是由于PageCache管理不到位引起的，因为PageCache
seasidezhb·2023-10-02 07:46

Kafka架构（kafka高效读写数据、zookeeper在kafka中的作用、kafka事务）

文章目录Kafka架构4、Kafka高效读写数据4.1顺序写磁盘4.2应用Pagecache(页缓存)4.3零复制技术5、Zookeeper在Kafka中的作用6、Kafka事务6.1Producer事务
TANCHISE·2023-09-28 02:16

Kafka高效读写数据原理

应用Pagecache  kafka将数据直接持久化到pagecache中，其实就是内存中，这样有几个优点：I/OScheduler可以将多个小块的写组装成大块的写操作，降
乱炖-l·2023-09-28 02:15

RocketMQ生产环境常见问题分析与总结

然后关于3这个环节，通常MQ存盘时都会先写入操作系统的缓存pagecache中，然后再由操作系统异步的将消息写入硬盘。这个中间有个时间差，就可能会造成消息丢失。
高如风·2023-09-27 03:28

【Kafaka实现高吞吐量、低延迟的底层原理】

文章目录Kafaka实现高吞吐量、低延迟的底层原理顺序写入PageCache零拷贝分区分段+索引批量读写批量压缩Kafaka实现高吞吐量、低延迟的底层原理Kafka虽然是基于磁盘做的数据存储，但却具有高并发
唯时·2023-09-24 14:27

Kafka 常见问题

文章目录kafka如何确保消息的可靠性传输Kafka高性能的体现利用Partition实现并行处理利用PageCache如何提高Kafka性能调整内核参数来优化IO性能减少网络开销批处理数据压缩降低网络负载高效的序列化方式
叫我二蛋·2023-09-21 16:46

[内核内存] [arm64] 内存相关的小知识点

文章目录知识点大杂烩1.zone->percpu_drift_mark2.统计指定内存节点的可回收pagecache页总数（node_pagecache_reclaimable）3.Linux内核中memcpy
早起的虫儿有鹰吃·2023-09-19 21:12

linux机器内存告警，且buff和cache占用很多，可以用下面命令清理

1只清除页面缓存（pagecache）sync;echo1>/proc/sys/vm/drop_caches2清除目录项和inodesync;echo2>/proc/sys/vm/drop_caches3
杨家八公子·2023-09-19 13:46

Linux关于memory cgroup的几个要点

比较容易误解的一些逻辑，如果不太经常使用和解决问题的话，对于memorycgroup的认知会比较浅显：cgroupmemory用来限制进程的内存使用，但是我们进一步想如下的问题：进程的内存可以分很多类型，比如pagecache
nginux·2023-09-18 10:05

Redis与磁盘IO阻塞

内存中的数据写到磁盘，会经过vfs～fs～逻辑卷/软raid～pagecache～块操作调度～磁盘等一系列过程。磁盘IO阻塞会涉及到操作系统方面的很多细节。
白馨_1114·2023-09-16 17:01

什么是页缓存（Page Cache）（转载）

由于读写硬盘的速度比读写内存要慢很多（DDR4内存读写速度是机械硬盘500倍，是固态硬盘的200倍），所以为了避免每次读写文件时，都需要对硬盘进行读写操作，Linux内核使用页缓存（PageCache）
远近长安·2023-09-15 05:51

高并发内存池

目录项目介绍这个项目是什么什么是内存池池化技术内存池内存池主要解决的问题malloc设计一个定长的内存池高并发内存池整体框架设计高并发内存池--threadcache自由链表的哈希桶跟对象大小的映射高并发内存池--centralcache高并发内存池--pagecache
微yu·2023-09-14 00:32

linux的dirty page回写磁盘过程中是否允许并发写入更新page？

概述众所周知Linux内核write系统调用采用pagecache机制加速写入过程，避免write系统调用长时间block应用进程，用户态进程执行write调用的时候，内核只是将用户态buffercopy
nginux·2023-09-13 21:02

Kafka源码分析（八）消息发送可靠性——flush.messages

默认情况下，Kafka的刷盘是异步刷盘，也就是说，把消息写进OS的PageCache后，已经别当成持久化成功了，但是此时的消息没有被sync到磁盘，如果所有ISR的消息都在PageCache上而不在磁盘中
81e2cd2747f1·2023-09-06 01:50

Linux 中直接 I/O 机制的介绍

在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存（pagecache）中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会
taj3991·2023-09-05 13:21

page cahe

pagecache本质上是内核用了一块内存来解决io设备和应用程序之间巨大速度差距，减少I/O，提升应用的I/O速度。
code_nerd·2023-09-04 21:12

七、高并发内存池--Page Cache

七、高并发内存池–PageCache7.1PageCache的工作原理PageCache是以span的大小(以页为单位)和下标一一对应为映射关系的哈希桶，下标是几就说明这个哈希桶下挂的span的大小就是几页的
高比拜仁0824·2023-09-01 23:38

读蘑菇街混合开发摘要

集成WKWebView面临的问题无法同步App中的cookie—方案：通过JS注入导航时无法禁止PageCache—方案：回退时强制刷新页面JS重复注入有bug—方案:先清空后注入页面关闭内容不释放:—
ios周周·2023-09-01 07:11

Linux内核学习（十二）—— 页高速缓存和页回写（基于Linux 2.6内核）

目录一、缓存手段二、Linux页高速缓存三、flusher线程Linux内核实现了一个被叫做页高速缓存（pagecache）的磁盘缓存，它主要用来减少对磁盘的I/O操作。
Patarw_Li·2023-08-30 15:49

深度思考Netty面经(涉及到同步/异步IO，阻塞/非阻塞，I/O多路复用，reactor，零拷贝之间的关系)

5Netty面试全解1零拷贝相关1.1文中提到的磁盘高速缓存（pageCache）位于内存中嘛还是磁盘中还是寄存器中？
xxx_520s·2023-08-29 21:49

rocketmq 同步刷盘、异步刷盘和同步复制、异步复制

消息在通过Producer写入RocketMQ的时候，有两种写磁盘方式：1）异步刷盘方式：在返回写成功状态时，消息可能只是被写入了内存的PAGECACHE，写操作的返回快，吞吐量大；当内存里的消息量积累到一定程度时
weixin_30443747·2023-08-27 12:02

RocketMQ零拷贝原理

1PageCache●由内存中的物理page组成，其内容对应磁盘上的block。●pagecache的大小是动态变化的。●backingstore：cache缓存的存储设备。
coolshyman·2023-08-27 12:31

rocketmq 同步刷盘和异步刷盘以及主从复制之同步复制和异步复制你理解了吗

消息在通过Producer写入RocketMQ的时候，有两种写磁盘方式：1）异步刷盘方式：在返回写成功状态时，消息可能只是被写入了内存的PAGECACHE，写操作的返回快，吞吐量大；当内存里的消息量积累到一定程度时
杭州小哥哥·2023-08-27 12:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他