操作系统专栏1-内存管理from 小林coding
操作系统专栏1-内存管理
- 虚拟地址
-
- 内存管理方案
- 分段
- 分页
-
- 页表
-
- 单级页表
- 多级页表
- TLB
- 段页式内存管理
- Linux内存管理
- malloc工作方式
- 操作系统内存回收
-
- 回收的内存种类
- 预读失败和缓存污染问题
-
- 预读机制
- 预读机制失效
- 解决方案
- 缓存污染
- 内核对虚拟内存的表示
- 内核对内核空间的表示
-
- 直接映射区
- vmalloc映射区
- 永久映射区
- 固定映射区
- 临时映射区
虚拟地址
首先第一个问题,虚拟地址为什么要存在呢,原因其实很简单,隔离开多个进程之间的地址空间,让每个进程都认为自己拥有一块完整的物理空间,并且提供大的逻辑内存供进程使用,虚拟地址是现代操作系统进行内存管理的基石
内存管理方案
分段
程序的内存空间由多个段组成,代码段,数据段,堆段和栈段组成,用分段的方式将这些段隔离开来
那么分段的方式有什么缺点呢,主要两点外部内存碎片和交换效率
外部内存碎片的解决方案为内存交换,将音乐程序占用的256MB先换出到磁盘上,然后读回到内存中(实际上就是换了位置,紧邻着存)Linux系统中的SWAP分区就是干这个的
分页
分段的弊端在上节描述,为了减少内存换进换出的装载量,出现了分页,分页就是把整个内存区域切分成固定大小的片(一般为4KB).示意图如下
分页访问在发现虚拟地址在页表中查询不到时,产生一个缺页异常,操作系统分配好内存空间之后,更新页表,返回进程继续运行,页与页之间是紧密排列的,所以不会有外部碎片,但是引入了内部碎片,而且页的大小固定,换入换出的开销也变得可以接受了
页表
页表实际上就是虚拟地址和物理地址的一个映射关系
单级页表
单级页表存在一个页表存储空间占用过大的问题,假设目标机为32位机,虚拟内存共有4GB,那么共有4GB/4KB = 2^20个页,每个页表项4B,那么共需4MB的空间来存储页表,注意,每个进程有自己的页表,那么100个进程需要400MB,1000个进程就将4GB全部占完了
多级页表
解决上述的问题,采用多级页表,多级页表的实质就是只在一级页表页实际用到的情况下才创建2-n级的页表,
TLB
多级页表实际上是一种时间换空间的方案,为了加速虚拟地址到物理地址的转换,TLB被提出,TLB存在于CPU中,存放的是最近访问的页表
段页式内存管理
段页式是操作系统常用的内存管理方式,实现方式为,先把程序的内存空间分段,再对这些段分页
Linux内存管理
Linux主要是页式内存管理,段内存被Linux给绕了过去,每个段都是从0地址开始的4GB地址空间
Linux的内核空间是每个进程共享的
其中
- 代码段:存放二进制可执行代码
- 数据段:已初始化的静态常量和全局变量
- BSS:为初始化的静态变量和全局变量
- 堆段:动态分配的内存,地址空间从低到高增长
- 文件映射段:动态库,共享内存
- 栈段:局部变量和函数调用的上下文,栈大小固定,大小一般为8MB
malloc工作方式
malloc申请内存有两种方式
- 小于128KB,brk()系统调用在堆上分配内存
- 大于128KB,mmap()系统在文件映射区分配内存
这两种方式的区别在于
- brk()方式申请的内存,在free释放内存时,并不会归还给操作系统,而是缓存在内存池中,待下次使用
- mmap()申请的内存,free释放时,会归还给操作系统
操作系统内存回收
当没有空闲的物理内存可用时,内核就会开始进行回收内存的工作,回收方式有两种,直接内存回收和后台内存回收
- 后台内存回收:在物理内存紧张时,唤醒kswapd内核线程,这个线程是异步的,不会阻塞进程的执行
- 直接内存回收,当后台异步回收跟不上进程内存的申请速度,就会开始直接回收,这个回收过程是同步的,会阻塞进程的执行
直接回收后,若空闲的物理内存仍然无法满足物理内存的申请,那么内核就会使用OOM机制(直接杀掉内存占用高的进程)
回收的内存种类
能被回收的内存有两类,分别是文件页和匿名页
- 文件页:内核缓存的磁盘数据和内核缓存的文件数据都可以被称为文件页,分为干净页和脏页,干净页指没有被修改过的,直接释放即可,脏页需要先写到磁盘后才能释放
- 匿名页:这部分内存没有实际上的载体(没有对应的磁盘文件),堆和栈都属于这种页,这种页的回收方式是通过Linux的Swap机制先写到磁盘中
实际上由于文件页回收有可能是干净页,这个时候不需要磁盘IO,所以文件页的回收往往性能高
回收内存的算法为LRU算法,在linux的回收算法中,维护两个链表,active和inactive列表,active列表存放最近被访问过的活跃内存页,inactive列表存放非活跃的页,回收时,优先访问不活跃的内存
预读失败和缓存污染问题
预读机制
当操作系统试图磁盘读时,会把临近的数据也读到内存中,以备之后访问
预读机制失效
提前被加载的页,如果以后不被访问,还可能挤掉热点数据页,大大降低了缓存命中率
解决方案
- Linux解决方案是分为了两个LRU链表,活跃LRU和非活跃LRU,这两个LRU互相独立,互不干扰
- MySQL的InnoDB在LRU列表上划分两个区域young区域和old区域
缓存污染
上面的方案如果数据被加载并被读了一次,还是会挤走热点数据,解决方案是提升加入活跃LRU的门槛
内核对虚拟内存的表示
主要是通过mm_struct这个结构体表示的
内核对内核空间的表示
通过TASK_SIZE将进程的虚拟内存空间和内核内存空间分割开来之后,在32位下0xC000000 - 0xFFFF FFFF这段空间的分配如下
直接映射区
其中ZONE_NORMAL和ZONE_DMA共同构成了直接映射区,直接映射区占896M会直接映射到物理内存的前896M内存空间中,当进程被创建完毕,在内核运行的过程中,内核会为每一个进程设置一个内核栈,每个进程的掉用链存放在自己的内核栈中,每个内核栈大概占据2的页的内存空间
- ZONE_DMA为DMA映射区,为16MB
- ZONE_NORMAL存放上问所述的内核栈等信息
vmalloc映射区
vmalloc区分配的内存在虚拟内存上连续,而在物理内存上不连续
永久映射区
虚拟地址于物理地址建立长期的映射关系
固定映射区
虚拟地址固定,但是物理地址不固定(指针常量)
临时映射区
在中断处理等时使用的救急内存