Linux内存技术分析（下）

Linux内存技术分析（下）

五、 内存使用场景

out of memory 的时代过去了吗？no，内存再充足也不可任性使用。

1、内存的使用场景

· page管理

· slab（kmalloc、内存池）

· 用户态内存使用（malloc、relloc 文件映射、共享内存）

· 程序的内存 map（栈、堆、code、data）

· 内核和用户态的数据传递（copy_from_user、copy_to_user）

· 内存映射（硬件寄存器、保留内存）

· DMA 内存

2、用户态内存分配函数

· alloca是向栈申请内存,因此无需释放

· malloc所分配的内存空间未被初始化，使用 malloc() 函数的程序开始时(内存空间还没有被重新分配) 能正常运行，但经过一段时间后(内存空间已被重新分配) 可能会出现问题

· calloc会将所分配的内存空间中的每一位都初始化为零

· realloc扩展现有内存空间大小

· a) 如果当前连续内存块足够realloc 的话，只是将 p所指向的空间扩大，并返回 p的指针地址。这个时候 q和 p指向的地址是一样的

· b) 如果当前连续内存块不够长度，再找一个足够长的地方，分配一块新的内存，q，并将 p指向的内容copy 到 q，返回 q。并将 p所指向的内存空间删除

3、内核态内存分配函数

函数分配原理最大内存其他_get_free_pages直接对页框进行操作4MB适用于分配较大量的连续物理内存kmem_cache_alloc基于 slab 机制实现128KB适合需要频繁申请释放相同大小内存块时使用kmalloc基于 kmem_cache_alloc 实现128KB最常见的分配方式，需要小于页框大小的内存时可以使用vmalloc建立非连续物理内存到虚拟地址的映射物理不连续，适合需要大内存，但是对地址连续性没有要求的场合dma_alloc_coherent基于_alloc_pages 实现4MB适用于 DMA 操作ioremap实现已知物理地址到虚拟地址的映射适用于物理地址已知的场合，如设备驱动alloc_bootmem在启动 kernel 时，预留一段内存，内核看不见小于物理内存大小，内存管理要求较高
4、malloc 申请内存

· 调用malloc 函数时，它沿 free_chuck_list 连接表寻找一个大到足以满足用户请求所需要的内存块

· free_chuck_list连接表的主要工作是维护一个空闲的堆空间缓冲区链表

· 如果空间缓冲区链表没有找到对应的节点，需要通过系统调用 sys_brk 延伸进程的栈空间

5、缺页异常

· 通过get_free_pages 申请一个或多个物理页面

· 换算addr 在进程 pdg 映射中所在的 pte 地址

· 将addr 对应的 pte 设置为物理页面的首地址

· 系统调用：Brk—申请内存小于等于 128kb，do_map—申请内存大于 128kb

6、用户进程访问内存分析

· 用户态进程独占虚拟地址空间，两个进程的虚拟地址可相同

· 在访问用户态虚拟地址空间时，如果没有映射物理地址，通过系统调用发出缺页异常

· 缺页异常陷入内核，分配物理地址空间，与用户态虚拟地址建立映射

7、共享内存

1. 原理

· 它允许多个不相关的进程去访问同一部分逻辑内存

· 两个运行中的进程之间传输数据，共享内存将是一种效率极高的解决方案

· 两个运行中的进程共享数据，是进程间通信的高效方法，可有效减少数据拷贝的次数

2) Shm 接口

· shmget创建共享内存

· shmat启动对该共享内存的访问，并把共享内存连接到当前进程的地址空间

· shmdt将共享内存从当前进程中分离

六、 内存使用那些坑

1、C 内存泄露

· 在类的构造函数和析构函数中没有匹配地调用 new 和 delete 函数

· 没有正确地清除嵌套的对象指针

· 没有将基类的析构函数定义为虚函数

· 当基类的指针指向子类对象时，如果基类的析构函数不是 virtual，那么子类的析构函数将不会被调用，子类的资源没有得到正确释放，因此造成内存泄露

· 缺少拷贝构造函数，按值传递会调用（拷贝）构造函数，引用传递不会调用

· 指向对象的指针数组不等同于对象数组，数组中存放的是指向对象的指针，不仅要释放每个对象的空间，还要释放每个指针的空间

· 缺少重载赋值运算符，也是逐个成员拷贝的方式复制对象，如果这个类的大小是可变的，那么结果就是造成内存泄露

2、C 野指针

· 指针变量没有初始化

· 指针被 free 或 delete 后，没有设置为 NULL

· 指针操作超越了变量的作用范围，比如返回指向栈内存的指针就是野指针

· 访问空指针（需要做空判断）

· sizeof无法获取数组的大小

· 试图修改常量，如：char p=“1234”;p=‘1’;

3、C 资源访问冲突

· 多线程共享变量没有用 valotile 修饰

· 多线程访问全局变量未加锁

· 全局变量仅对单进程有效

· 多进程写共享内存数据，未做同步处理

· mmap内存映射，多进程不安全

4、STL 迭代器失效

· 被删除的迭代器失效

· 添加元素（insert/push_back 等）、删除元素导致顺序容器迭代器失效

错误示例：删除当前迭代器，迭代器会失效

正确示例：迭代器 erase 时，需保存下一个迭代器

5、C++ 11 智能指针

· auto_ptr替换为 unique_ptr

· 使用make_shared 初始化一个 shared_ptr

· weak_ptr智能指针助手（1）原理分析：

（2）数据结构：

（3）使用方法：a.
lock() 获取所管理的对象的强引用指针 b. expired() 检测所管理的对象是否已经释放 c. get() 访问智能指针对象

6、C++ 11 更小更快更安全

· std::atomic原子数据类型 多线程安全

· std::array定长数组开销比 array 小和 std::vector 不同的是 array 的长度是固定的，不能动态拓展

· std::vectorvector 瘦身 shrink_to_fit()：将 capacity 减少为于 size() 相同的大小

· td::forward_list forward_list 是单链表（std::list 是双链表），只需要顺序遍历的场合，forward_list 能更加节省内存，插入和删除的性能高于 list

· std::unordered_map、std::unordered_set用 hash 实现的无序的容器，插入、删除和查找的时间复杂度都是 O(1)，在不关注容器内元素顺序的场合，使用 unordered 的容器能获得更高的性能六、 如何查看内存

· 系统中内存使用情况：/proc/meminfo

· 进程的内存使用情况：/proc/28040/status

· 查询内存总使用率：free

· 查询进程 cpu 和内存使用占比：top

· 虚拟内存统计：vmstat

· 进程消耗内存占比和排序：ps aux –sort -rss

· 释放系统内存缓存：

/proc/sys/vm/drop_caches

· To free pagecache, use echo 1 > /proc/sys/vm/drop_caches

· To free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches

· To free pagecache, dentries and inodes, use echo 3 >/proc/sys/vm/drop_caches