linux下内存在不断减小,Linux下频繁读写文件，导致可用内存减少

问题现象：

Linux下从服务器下载文件时，通过回调函数一直写文件，频繁的进行write操作，导致系统可用内存一直减少，有时候可能会导致程序执行因为内存问题异常。

测试代码如下：

/******************************************************************

* Copyright (C) 2019 All rights reserved.

*

* File Name ：memory_test.c

* The Author：Wang

* Create Date：2019年08月20日

* Discription：

*

* Update Log ：

*

*****************************************************************/

#include#define SIZE (1024 * 1024)

int main (int argc, const char *argv[])

{

int i = 0;

int wrote_byte = 0;

char buffer[SIZE] = {0};

printf("open file : %s\n", argv[1]);

FILE *fp = fopen(argv[1], "ab");

if (NULL == fp) {

printf("open file failed\n");

return -1;

}

for (i = 0; i < SIZE; i++) {

buffer[i] = i;

}

while (1) {

wrote_byte = fwrite(buffer, SIZE, 1, fp);

printf("wrote size : %d\n", SIZE * 1);

if (wrote_byte != 1) {

printf("write failed.\n");

return -1;

}

usleep(500000);

}

fclose(fp);

return 0;

}

运行程序以及通过free命令的现象如下：

不断向文件写数据：

free命令查看系统内存使用情况，free可用的内存一直减少，但是buff/cache部分一直增加：

问题分析：

先看些free命令的参数解释：

total 内存总数

used 已经使用的内存数

free 空闲的内存数

shared 多个进程共享的内存总额

buff/cache Buffer Cache和cached Page Cache 磁盘缓存的大小

available 可用的内存

其中free部分是可用的内存，buff/cache部分是磁盘缓存的大小。关于其中buff/cache的描述 “为了提高磁盘存取效率, Linux做了一些精心的设计, 除了对dentry进行缓存(用于VFS,加速文件路径名到inode的转换), 还采取了两种主要Cache方式：Buffer Cache和Page Cache。前者针对磁盘块的读写，后者针对文件inode的读写。这些Cache有效缩短了 I/O系统调用(比如read,write,getdents)的时间。”，关于这部分的介绍网上有很多的介绍资料，所以上述例子在运行的时候，free的内存一直减少，buff/cache的内存一直增加。

问题解决方法：

一般Linux系统在内存快要消耗完的时候，会触发内存回收的操作，会自动释放一些内存，也就是说会从buff/cache中释放缓存。如果因为这个问题导致程序执行失败的情况，也可以手动进行释放缓存，通过对/proc/sys/vm/drop_caches文件进行操作可以释放缓存。

@ubuntu:$ cat /proc/sys/vm/drop_caches

0

//默认值是0

往上关于这个文件的介绍如下(该部分介绍转自：http://www.idcyunwei.org/post/162.html)

echo 1 > /proc/sys/vm/drop_caches:表示清除pagecache。

echo 2 > /proc/sys/vm/drop_caches:表示清除回收slab分配器中的对象(包括目录项缓存和inode缓存)

echo 3 > /proc/sys/vm/drop_caches:表示清除pagecache和slab分配器中的缓存对象。

所以解决上述例子中问题可以定期执行以下的命令：

sync //落盘处理，保证文件的正确性

echo 3 > /proc/sys/vm/drop_caches //表示清除pagecache和slab分配器中的缓存对象

执行后现象如下图，free部分内存增加了很多，buff/cache部分内存减少了很多：