12、存储模型2（操作系统笔记）

一、虚拟存储技术

• 所谓虚拟存储技术是指：当进程运行时，先将其一部分装入内存，另一部分暂留在磁盘，当要执行的指令或访问的数据不在内存时，由操作系统自动完成将它们从磁盘调入内存的工作

• 虚拟地址空间即为分配给进程的虚拟内存

• 虚拟地址是在虚拟内存中指令或数据的位置，该位置可以被访问，仿佛它是内存的一部分

1.1 存储器的层次结构

1

1.2 虚拟内存与存储体系

2

• 把内存与磁盘有机地结合起来使用，从而得到一个容量很大的“内存”，即虚拟内存
• 虚存是对内存的抽象，构建在存储体系之上，由操作系统协调各存储器的使用
• 虚存提供了一个比物理内存空间大得多的地址空间

1.3地址保护

• 确保每个进程有独立的地址空间
• 确保进程访问合法的地址范围，即我们需要访问地址越界
• 确保进程的操作是合法的

1.4 虚拟页式

我们将虚拟存储技术和页式存储管理方案结合起来得到了虚拟页式存储管理系统。具体有两种方式，一是请求调页，二是预先调页。以cpu时间和磁盘换取昂贵内存空间，这是操作系统中的资源转换技术。

• 基本思想
  • 进程开始运行之前，不是装入全部页面，而是装入一个或零个页面
  • 之后，根据进程运行的需要，动态装入其他页面
  • 当内存空间已满，而又需要装入新的页面时，则根据某种算法置换内存中的某个页面，以便装入新的页面

二、页表及页表项的设计

3

2.1 页表项设计

• 页表由页表项组成
• 页框号、有效位、访问位、修改位、保护位
  页框号（内存块号、物理页面号、页帧号）：通过页框号给出具体对应的物理页面
  有效位（驻留位、中断位）：表示该页是在内存还是在磁盘
  访问位：引用位。当要使用某个页面时，需要访问位作出相应的记录，表示此页面被访问过
  修改位：此页在内存中是否被修改过
  保护位：读/可读写

通常，页表项是硬件设计的。

2.2 页表

• 32位虚拟地址空间的页表规模？
  页面大小为4k，页表项大小为4字节，则一个进程地址空间有2^20页。这里首先是虚拟地址空间可以达到2^32字节，这里注意：在二级页表中才可以表示2^32的地址空间，除以页面大小可以得到有多少个页面。而一个页表项可以表示1k的页面，于是页表项就要占用1024页（页表页，就是页表项占用的空间）。

• 64位虚拟地址空间
  页面大小为4k，页表项大小为8字节，则页表规模为32000TB。这里没说清楚，到底是几级页表中的结果？

• 页表页在内存中若不连续存放，则需要引用页表的地址索引表，即页目录。即一个多级页表结构。

2.3 二级页表结构及地址映射

4

说明：这里还是 32位的虚拟地址空间。每个进程有一个页目录，根据页目录得到页表地址，然后从页表中的页表项的页框号找到真正的物理内存地址。 32位的虚拟地址分为页目录偏移、页表偏移和页内偏移。页目录地址保存在一个寄存器中，根据此地址找到页目录起始地址，然后根据月页目录偏移找到对应的页表地址，根据页表偏移找到页表项，从页表项中取得页框号，然后结合页内偏移找到对应的物理内存。对于二级页表，在 32位系统中可以表示 4G的虚拟地址空间。如果需要超过 4G的虚拟地址空间，则二级页表满足不了。

5

2.4 I386页目录和页表项

5

说明：总共有 32位地址。

2.5 反转（倒排）页表

• 地址转换
  从虚拟地址空间出发：虚拟地址-->查页表-->得到页框号-->形成物理地址，其中每个进程一张表，这样页表会占用很大的空间。注意：反转页表和实际物理地址大小是固定比例的，与进程个数无关。

• 解决思路

  • 从物理地址空间出发，系统建立一张页表
  • 页表项记录进程的某个虚拟地址（虚页号）与页框号的映射关系。
    
    

    6
    
    说明：系统建立一张页表可以节省很大的空间，这被很多64位系统采用，但是每次进行运行都需要查整张表，这样会耗费很大的资源，于是我们采用了一个哈希表，这样查找更快。

2.6 地址转换过程及TLB

7

说明：上图是虚拟地址通过页表和物理地址映射的关系。这个过程是有内存管理单元完成的。

8

9

2.6.1 快表（TLB）的引入

• 问题
  页表：两次或两次以上的内存访问。如果是二级页表就要访问两次，如果是四级页表就要访问四次内存。
  cpu的指令处理速度与内存指令的访问速度差异较大，cpu的速度得不到充分利用。那如何加快地址映射速度，以改善系统性能？这里我们利用程序访问的局部性原理：引入快表（TLB）。

2.6.2 快表

• TLB（Translation Look-aside Buffers）
  在cpu中引入的高速缓存，可以匹配cpu的处理速度和内存的访问速度。是一种随机存取型存储器，除连线寻址机制外，还有接线逻辑，能按特定的匹配标志在一个存储周期内对所有的字同时进行比较。

• 快表一般称为相连存储器：按内容并行查找

• 保证正在运行进程的页表的子集（部分页表项）

2.6.3 加入TLB后地址转换过程

10

说明：首先根据虚拟地址去查 TLB，如果能找到页框号，则直接和偏移结合找到对应的物理内存；如果 TLB中没有页框号，则需要去查页表，之后在找到对应的物理内存；在页表中如果对应的页表项无效，则会出现 page fault的异常，然后由系统处理之后再进行同样的操作。

2.7 页错误（page fault）

• 又称页面错误、页故障、页面失效

• 地址转换过程中硬件产生的异常

• 具体原因
  1、所访问的虚拟页面没有调入物理内存，即缺页异常
  2、页面访问违反权限（读/写、用户/内核），比如用户访问内核空间。
  3、错误的访问地址，比如

  
  
  

  11
  
  

  图中标注的位置都是有内容的，如果访问地址指向没有标注（没有内容）的位置，则就是错误的访问地址。

2.8 缺页异常处理

• 是一种页错误
• 在地址映射过程中，硬件检查页表时发现所要访问的页面不在内存，则产生异常--缺页异常
• 操作系统执行缺页异常处理程序：获得磁盘地址，启动磁盘，将该页调入内存
  • 如果内存中有空闲页框，则分配一个页框，将调入页装入，并修改页表中相应页表项的有效位及相应的页框号
  • 若内存中没有空闲页框，则要置换内存中某一页框；若该页框内容被修改过，则要将其写回磁盘。

三、虚拟页式存储中软件相关策略

3.1 驻留集

• 所谓驻留集，是指在某段时间间隔内，进程要访问的页面集合
• 驻留集大小：给每个进程分配多少页框？
• 固定分配策略
  进程创建时确定。可以根据进程类型（交互、批处理、应用类）或者基于程序员或系统管理员的需要来确定
• 可变分配策略
  根据缺页率评估局部性表现
  缺页率高-->增加页框数
  缺页率低-->减少页框数
  系统开销

3.2 置换问题

• 置换范围
  计划置换页面的集合是局限在产生缺页中断的进程，还是所有进程的页框？

  
  
  

  12
• 置换策略
  • 在计划置换的页框集合中，选择换出哪一个页框？其目标是置换最近最不可能访问的页。
  • 根据局部性原理，最近的访问历史和最近将要访问的模式间存在线惯性，因此，大多数策略都基于过去的行为来预测将来的行为。注意：置换策略设计得越精致、越复杂，实现的软硬件开销就越大。当然有些被锁定的页框是不能被置换的。

3.3 页框锁定

为什么要锁定页面？

• 采用虚拟存储技术后，相关的开销使得进程的运行时间变得不确定
• 给每一页框增加一个锁定位
• 通过设置相应的锁定位不让操作系统将进程使用的页面换出内存，避免产生由交换过程带来的不确定的延迟
• 例如：操作系统核心代码、关键数据结构、I/O缓冲区。特别是正在I/O的内存页面。Windows中的VirtualLock和VirtualUnLock函数。

3.4 清除策略

• 清除：从进程的驻留集中收回页框

• 虚拟页式系统工作的最佳状态：发生缺页异常时，系统中有大量的空闲页框。

• 结论：在系统中保存一定数目的空闲页框供给比使用所有内存并在需要时搜索一个页框有更好的性能。所以一般清除的策略如下：

  • 设计一个分页守护进程，多数时间处于睡眠状态，可定期唤醒以检查内存的装填
  • 如果空闲页框过少，分页守护进程通过预定的页面置换算法选择页面换出内存
  • 如果页面装入内存后被修改过，则将它们写回磁盘分页守护进程可保证所有的空闲页框是“干净”的。

• 当进程需要使用一个已置换出的页框时，如果该页框还没有被新的内容覆盖，将它从空闲页框集合中移出即可恢复该页面。就是说当进程还需要使用某个页框，同时这个页框虽然被移出了，但是内容还没有被覆盖，则我们只需要将其从空闲页框集合中移出即可恢复页面。于是可以利用此技术解决已经回收的页框再利用的问题。注意：所有的讨论都是在进程没有结束的情况下进行的。如果进程结束了，则所有的页框都会还给系统。这种技术叫页缓冲技术：

  • 不丢弃置换出的页，将它们放入两个表之一：如果未被修改，则放到空闲页链表中，如果修改了，则放到修改页链表中。
  • 被修改的页定期写回磁盘（不是一次只写一个，大大减少I/O操作的数量，从而减少了磁盘访问的时间）
  • 被置换的页仍然保留在内存中，一旦进程又要访问该页，可以迅速将它加入该进程的驻留集合（代价很小）

3.5 页面置换算法

又称页面淘汰算法。最佳算法-->先进先出-->第二次机会-->时钟算法-->最近未使用-->最近最少使用-->最不经常使用-->老化算法-->工作集-->工作集时钟

3.5.1 最佳置换算法（OPT）

• 设计思想
  置换以后不再需要的或最远的将来才会用到的页面。
• 实现
  这种算法要基于进程的走向来实现，更多的是作为一种标准来衡量其他算法的性能。

3.5.2 先进先出算法（FIFO）

• 选择在内存中驻留时间最长的页并置换它
• 实现：页面链表法

3.5.3 第二次机会算法（SCR）

在先进先出算法的基础上进行该机而来的，此算法按照先进先出算法选择某一页面，检查其访问位R，如果为0，则置换该页；如果为1，则给第二次机会，并将访问位置零，并将其从链头取下放到链尾。

13

3.5.4 时钟算法（CLOCK）

在第二次机会算法中当给某个页面第二次机会的时候，将其访问位置零，然后将其挂到链尾，这都是需要开销的，于是我们改进为时钟算法。

14

说明：其实就是将之前的链表改为了环形链表，当给某个页面第二次机会的时候不需要将其取下然后挂到链尾，只需要移动一下指针即可，这样可以降低开销。

3.5.5 最近未使用算法（NRU）

• 选择在最近一段时间内未使用过的一页并置换

• 实现：置换页表表象的两位，访问位R，修改位M。硬件会设置这些位，如果硬件没有这些位，则可用软件模拟。

• 进程启动时，R、M位置零，R位被定期清零。

• 发生缺页中断时，操作系统检查R、M：

  • 第一类：无访问，无修改（00）
  • 第二类：无访问，有修改（01）
  • 第三类：有访问，无修改（10）
  • 第四类：有访问，有修改（11）

• 算法思想
  随机从编号最小的非空类中选择一页置换出去。

• 时钟算法的实现
  对此算法有一个时钟算法的实现
  1、从指针的当前位置开始，扫描页框缓冲区，选择遇到的第一个页框（r=0，m=0）用于置换（本扫描过程中，对使用位不做任何修改）
  2、如果第一步失败，则重新扫描，选择第一个（r=0；m=1）的页框（本次扫描工程中，对每个跳过的页框，将其使用位置为零）
  3、如果第二部失败，指针将回到它的最初位置，并且集合中的所有页框的使用位均为零。重复第一步，并且，如果有必要，重复第二步，这样将可以找到置换的页框。

3.5.6 最近最少使用算法（LRU）

选择最后一次访问时间距离当前时间最长的一页并置换，即置换未使用时间最长的一页。

• 性能接近最佳页面置换算法

• 实现：时间戳或维护一个访问页的栈，导致开销较大。下面看一种硬件实现：
  

  

  15
  
  说明：访问第0页时先将页的第0行置为1，然后将第0列置为0，以此类推，在访问完之后将行编号最小的那一页置换出去，我们看到j中最小的是第1行，于是将第1页置换出去。当然这里只有四页。

3.5.7 最不经常使用算法（NFU）

即Not frequently Used，选择访问次数最少的页面置换

• 一开始提出此算法是LRU（最近最少使用算法）的一种软件解决方案，但是实际上差距有点大。

• 实现

  • 软件计数器，一页一个，初值为零
  • 每次时钟中断时，计数器加R
  • 发生缺页中断时，选择计数器值最小的一页置换。

3.5.8 老化算法（AGING）

• 改进（模拟LRU）：计数器在加R前先右移一位，R位加到计数器的最左端。
  
  

  16
  
  这样如果R值为零，则计数器没有影响，如果值为1，则会变得很大，于是如果一个页面长久不被访问，则计数器值就会越来越小。最后选择值最小的置换出去。

3.5.9 页面置换算法的应用

例子：

• 系统给某进程分配了三个页框（采用固定分配策略），初始为空
• 进程执行时，页面访问顺序为：2 3 2 1 5 2 4 5 3 2 5 2

要求：
计算应用FIFO、LRU、OPT算法时的缺页次数

应用FIFO、LRU页面置换算法

17

可以看到 FIFO发生六次缺页异常，而 LRU发生四次缺页异常。

应用OPT页面置换算法

18

发生三次缺页异常。

3.5.10 BELADY现象

例子：系统给某进程分配m个页框，初始为空页面访问顺序为
1 2 3 4 1 2 5 1 2 3 4 5，采用FIFO算法，计算当m=3和m=4时的缺页中断次数。
结论：m=3时，缺页中断九次；m=4时，缺页中断十次。注意：FIFO页面置换算法会产生异常现象（Belady现象），即：当分配给进程的物理页面数增加时，缺页次数反而增加。

3.6 页面置换算法2：工作集算法

3.6.1 影响缺页次数的因素

• 页面置换算法的不同
• 页面本身的大小
• 程序的编制方法
• 分配给进程的页框数量

缺页越多，系统的性能越差，这称为颠簸（抖动）：虚存中，页面在内存与磁盘之间频繁调度，使得调度页面所需的时间比进程实际运行的时间还多，这样导致系统效率急剧下降，这种现象称为颠簸或抖动。

3.6.2 页面尺寸问题

• 确定页面大小对分页的硬件设计非常重要，而对操作系统是个可选的参数
• 要考虑的因素
  内部碎片
  页表长度
  辅存的物理特性
• Intel 80x86/Pentium: 4096或4M
• 多种页面尺寸：为了有效使用TLB带来灵活性，但给操作系统带来复杂性。

3.6.3 程序编制方法对缺页次数的影响

例子：
分配了一个页框，页面大小为128个整数，矩阵A(128 x 128)按行存放。

19

可以看到左边是按列赋值，右边是按行赋值。按列编制就是首先读入第一页（一行，因为矩阵是按行存放的），然后给第 0个位置赋值，每次读入一行，直到将第 0列赋值完，读完之后再给第 1列赋值，这样会产生 128*128次缺页异常；而按行赋值，第一次读入一页，给第 0行的所有元素赋值，这样会产生 128次缺页异常。于是可以看到程序的编制方法对缺页次数是有很大影响的。

3.6.4 分配给进程的页框数与缺页率的关系

20

说明：可以看到页框数越多那么缺页率越低，但是我们不可能给出所有的页框，于是需要找到一个平衡点 W，超过这个点之后页框数的增加对缺页率的降低有限，这也是工作集算法的出发点。

3.7 工作集模型

• 基本思想
  根据程序的局部性原理，一般情况下，进程在一段时间内总是集中访问一些页面，这些页面称为活跃页面，如果分配给一个进程的物理页面数太少了，使得该进程所需的活跃页面不能全部装入内存，则进程在运行过程中将频繁发生中断。

如果能为进程提供与活跃页面数相等的物理页面数，则可减少缺页中断次数，这是由Denning提出的。

• 工作集：一个进程当前正在使用的页框集合

  
  
  

  21

• 例子

  
  
  

  22

3.8 工作集算法

• 基本思路
  找出一个不在工作集的页面并置换它

  • 每个页表项中有一个字段：记录该页面最后一次被访问的时间
  • 设置一个时间值T
  • 判断
    根据一个页面的访问时间是否落在“当前时间 - T”之前或之中决定其在工作集之外还是之内。

• 实现：扫描所有页表项，执行操作
  1、如果一个页面的R位是1，则将该页面的最后一次访问时间设为当前时间，将R位清零
  2、如果一个页面的R位为0，则检查该页面的访问时间是否在“当前时间 - T”之前，如果是，则该页面是需要被置换的页面；否则，记录当前所有被扫描过页面的最后访问时间里面最小值。扫描下一个页面并重复上述操作。

四、其他与存储管理相关技术

4.1 内存映射文件

• 基本思想
  进程通过一个系统调用（mmap）将一个文件（或部分）映射到其虚拟地址空间的一部分，访问这个文件就像访问内存中的一个大数组，而不是对文件进行读写
• 在多数实现中，在映射共享的页面时不会实际读入页面的内容，而是在访问页面时，页面才会被每次一页的读入，磁盘文件则被当作后备存储。

• 当进程退出或显式地解除文件映射时，所有被修改页面会写回文件

  
  
  

  23

4.2 支持写时复制技术

24

说明：如图，两个进程共享同一块物理内存，每个页面都被标志成了写时复制。注意：共享的物理内存中每个页面都是只读的。如果每个进程想改变某个页面时，就会与只读标记冲突，而系统在检测出页面是写时复制的，则会在内存中复制一个页面，然后进行写操作。新复制的页面对执行写操作的进程是私有的，对其他共享写时复制页面的进程是不可见的。