操作系统学习 Day01 内存管理 Apare_xzc

操作系统学习Day01 内存管理

2020.8.31

---

内存的基础知识

1. 什么是内存？有什么作用？

        内存是用于存放数据的硬件，程序执行前要先放到内存中才能被CPU处理。
给内存的存储单元编地址，内存地址从0开始，每一个内存地址对应一个存储单元。如果计算机是按字节编址，则一个存储单元的大小为1字节，即8个二进制位。如果按字编址，字长为16位，那么一个存储单元的大小位2字节（Byte）。
1KB = 2¹⁰B
1MB = 2²⁰B
1GB = 2³⁰B

一个手机有4GB的内存，是指在内存种可以存放2³²个字节，需要2³²个地址一对一表示，所以需要32位作为地址长度

2. 指令

高级语言编译后形成了机器语言，就是很多指令的集合。
每个进程在逻辑上由三部分组成：程序段，数据段，PCB(进程控制块)
变量存放在数据段里，指令存放在程序段里
CPU会根据程序段里的指令依次进行操作
        变量在内存中存放的实际存放地址是物理地址(绝对地址)，但实际在生成机器指令的时候并不知道该进程的数据会被放到什么位置，所以编译生成的指令中一般是使用逻辑地址(相对地址)

Eg:编译时只需要知道变量x存放的相对地址为100(也就是说相对于进程在内层中起始地址而言的地址)。Cpu想找到x在内存中的实际存放位置，只需要用进程的 起始地址+100 即可

3. 从写程序到程序运行经历的阶段

(1) 编译阶段：将许多源代码文件(.C)编译成为相应的目标模块(.O)，就是把高级语言翻译成机器语言，每个目标模块都有自己从0开始的逻辑地址
(2) 链接阶段：由链接程序将编译后形成的一组目标模块，以及所需的函数库链接在一起，形成一个完整的装入模块(.exe)，并且形成完整的逻辑地址空间。
(3)装入阶段：由装入程序将装入模块装入内存中运行(进行逻辑地址和物理地址的转换)

4. 装入的三种方式

(用三种不同的方法实现逻辑地址到物理地址的转换)
(1) 绝对装入：在编译时，就知道程序将放在内存的哪个位置，编译程序将产生绝对地址的目标代码，装入程序按照装入模块中的地址将程序和数据装入内存。(只适用用于单道程序环境) 单道程序阶段，还没OS,由编译器完成
(2) 静态重定位：又称可重定位装入。在装入时对地址进行重定位。将逻辑地址变为物理地址。(地址变换是在装入时一次性完成的)。
        特点：在一个作业装入内存时，必须分配其要求的全部内存空间。 如果没有足够的内存，就不能装入。作业一旦进入内存后，在运行期间就 不能再移动，也不能再申请内存空间 用于早期的多道批处理操作系统
(3) 动态重定位：又称动态运行时装入。编译，链接后的装入模块逻辑地址是从0开始的。装入后不转化成逻辑地址。把地址转换推迟到程序真正要执行的时候。用重定位寄存器存放装入模块在内存中的起始地址，然后访存时，用逻辑地址+重定位寄存器中的气质地址就得到了物理地址。
        特点：允许程序在内存中发生移动，只需要改变重定位寄存器中的起始地址即可。十分灵活。可将程序分配到不连续的存储区中。在程序运行前只需要装入部分代码即可投入运行。在运行期间，可以根据需要动态申请和分配内存。现代操作系统采用的方式

5. 链接的三种方式

(1) 静态链接：在程序运行之前，先将各个目标模块以及他们所需要的库函数链接成一个完整的可执行文件(装入模块)，之后不再拆开。
(2) 装入时动态链接：将各个目标模块装入内存时，边装入边链接的链接方式。
(3) 运行时动态链接：在程序执行中，需要该目标模块时，才对它进行链接。其优点是便于修改和更新，便于实现对目标模块的共享。

---

内存管理

1. 内存管理需要解决的四个问题

(1). 内存空间的分配与回收
(2). 内存空间的扩充(虚拟内存)

• 覆盖技术
• 交换技术
• 虚拟存储技术
  (3). 地址转换(逻辑地址->物理地址)
  三种装入方式
  (4). 存储保护(OS要保证各个进程在各自的存储空间内运行，互不干扰)
  方法一：设置上下限寄存器
  方法二：用重定位寄存器(有称基址寄存器)和界地址寄存器(又称限长寄存器)进行越界检查
  

覆盖技术

• 背景：早起的计算机内存很小(1MB), 经常出现内存大小不够的情况。后来人们引入了覆盖技术，用来解决程序大小超过物理内存总和的问题。
• 思想：将程序分为多个段(多个模块)。常用的段常驻内存，不常用的段在需要时调入内存。
  内存中分为一个固定区和若干个覆盖区。
• 实现：按照程序自身的逻辑结构(分支结构)，让那些不可能被同时被访问的程序段共享一个覆盖区。
• 缺点：必须由程序员声明覆盖结构，操作系统自动完成覆盖。对用户不透明，增加了用户的编程负担。

交换技术（对换技术）

1. 设计思想：内存空间紧张时，系统将内存中的某些进程暂时换出外存，把外存中某些已经具备运行条件的进程换入内存(进程在内存与磁盘间动态调度)。

• 进程换出到外存时，进程的PCB仍保留在内存中，并且插入到挂起队列中。进程在外存中的位置记录在其PCB中。
• 中级调度(内存调度)，就是决定将哪个处于挂起状态的进程重新调入内存。
  低级调度(进程调度)，按照某种算法，从就绪队列上选择一个进程，使其获得CPU
  高级调度(作业调度)，按照某种算法，从外村后备队列上选择一个作业调入内存，创建进程，分配资源，并将其PCB调入进程的就绪对列。
  

2. 交换技术需要考虑的问题
   (1) 应该在外存(磁盘)的什么位置保存被换出的进程？
           具有对换功能的操作系统中，通常把磁盘空间分为文件区和对换区。文件区用来存放文件，追求存储空间的利用率，对文件空间管理采用离散分配方式。 对换区只占磁盘空间的小部分，被换出的进程就存放在对换区。对换区的对换速度直接影响到系统的对换速度。对换区追求换入/换出速度，采用连续分配方式。总之，对换区的I/O速度比文件区的更快。
   (2) 什么时候应该交换？
           交换一般在许多进程同时运行且内存吃紧时进行，系统负荷减低时就暂停。例如，如果系统经常发生缺页，说明内存紧张，就可以换出一些进程。如果缺页率明显下降，就可以暂停换出。
   (3) 应该换出哪些进程？
   可优先换出阻塞进程。可换出优先级低的进程，为了防止优先级低的进程在调入内存后很快被换出，由的系统还考虑进程在内存中的驻留时间。(PCB会常驻内存)
   

内存空间的分配与回收

内部碎片和外部碎片

内部碎片：分配给某进程的内部区域中，如果某些部分没有用上，就是内部碎片。
外部碎片：内存中某些空闲分区由于太小而难以利用，就是外部碎片(解决 ：紧凑技术)

连续分配管理方式

为用户进程分配的必须是连续的内存空间

1. 单一连续分配
   在单一连续分配方式中，内存被分为系统区和用户区。系统区用于分配操作系统相关的数据，用户区用于存放用户进程相关数据。内存中只能有一道程序。
           优点：实现简单，无外部碎片，可以采用覆盖技术扩充内存，不一定需要内存保护(早期的MS-DOS就没有内存保护)。
           缺点：只能适用于单任务，单用户的系统，有内部碎片，存储器利用率极低。
2. 固定分区分配
           将用户空间划分为若干个固定大小的分区，在每个分区中只装入一道作业，这样就形成了最早的，最简单的一种可运行多道程序的内存管理方式。 分区的大小可以相等，也可以不等。
           分区大小相等：缺乏灵活性，但是很适合用于一台计算机控制多个相同对象的场合(比如炼铁场有n个相同的炼钢炉，就可以把内存分为大小相同的n个区域，存放n个炼钢炉控制程序)。
           分区大小不等：增加了灵活性，可以满足不同大小的进程需求。根据常在系统中运行的作业大小进行划分(如多个小分区，适量中等分区，小量大分区)
             操作系统需要建立一个数据结构——分区说明表，来实现各个分区的分配与回收，通常按分区大小排列。每个表项对应分区的大小、起始地址、状态(是否已分配)

分区号	大小	起始地址	状态
1	2	8	未分配
2	2	10	未分配
3	4	12	已分配
…	…	…	…

可用数组或链表维护。
优点：实现简单，无外部碎片。
缺点：a. 当程序太大时，可能所有分区都不能满足要求，此时不得不采用覆盖技术解决，会减低性能。b. 会产生内部碎片，内存利用率低。

4. 动态分区分配
           动态分区分配有称为可变分区分配。这种可变分配方式不会预先划分内存分区，而是在进程装入内存时，根据进程的大小动态地建立分区，并使分区的大小正好适合进程的需要。因此，系统分区的大小和数目是可变的。
   要解决的问题：
           (1) 系统要用什么样的数据结构记录内存的使用情况？空闲分区表或空闲分区链
           (2) 当很多个空闲分区都能满足需求时，应该选择哪个分区进行分配? 动态分区分配算法
           (3) 如何进行分区的分配与回收操作？
   空闲分区和进程大小相同，分配时直接删掉表项或结点。空闲分区比进程大，修改分区的起始地址和大小。回收空闲分区的时候，相邻的分区要合并。
   空闲分区表：每个空闲分区表对应一个表项。表项中包含分区号、分区大小、分区地址等信息。
   

分区号	分区大小(MB)	起始地址(M)	状态
1	20	8	空闲
2	10	32	空闲
3	4	60	空闲

空闲分区链：每个分区的起使部分和末尾部分分别设置前向和后向指针。起使部分出还可以记录分区大小的信息。

---

---

动态分区分配算法

        当一个新作业装入内存时，须按照一定的动态分区分配算法，从空闲区表(或者空闲区链)中选出一个分区分配给该作业。
(1) 首次适应算法(First Fit)
      空闲分区以地址递增的次序排列。每次分配内存时，顺序查找空闲分区链(或空闲分区表)，找到大小能满足要求的第一个空闲分区。
(2) 最佳适应算法(Best Fit)
      空闲分区按容量递增的次序链接。每次分配内存时，顺序查找空闲分区链(或空闲分区表)，找到大小能满足要求的第一个空闲分区。
缺点：会产生很多的外部碎片。
(3) 最坏适应算法(Worst Fit)
      又称最大适应算法。为了解决最佳适应算法的问题——留下太多难以利用的小碎片。在每次分配时优先使用最大的连续空闲区。把空闲分区按照容量递减的次序链接。每次分配内存时顺序查找空闲分区链或表，找到大小能满足要求的第一个空闲分区。只判断第一个空闲分区放不放的下即可。
(4) 邻近适应算法(Next Fit)
      为了解决首次适应算法低地址部分很多小的空闲区，每次从头开始查开销大的问题。以地址递增的顺序排列(可排成一个循环链表)。每次分配时，从上次查找结束的位置开始查找空闲分区链或表，找到大小能满足要求的第一个空闲分区。
高、低地址的空闲分区有相同的概率被使用，导致了高地址部分的大分区更有可能被划分为小分区，最后导致无大分区可用。(也是最佳适应算法的缺点)

算法	算法思想	分区排列顺序	优点	缺点
首次适应	从头到尾找合适的分区	空闲分区以地址递增的次序排列	综合性能最好。算法开销小，回收分区后一般不需要对空闲分区队列进行重新排列
最佳适应	优先使用较小的分区，以保留更多的大分区	空闲分区以容量递增的次序排列	会有更多的大分区被保留下来，更能满足大进程需求	会产生很多太小的，难以利用的碎片。算法开销大，回收分区后可能需要对空闲分区队列进行重新排列。
最坏适应	优先使用更大的分区，以防止产生太小的不可用的碎片	空闲分区以容量递减方式排列	可以减少难以利用的小碎片	大分区容易被用完，不利于大进程。算法开销大(原因同上)
邻近适应	由首次适应算法演变而来，每次查找从上次查找的结束位置开始查找	空闲分区以地址递增次序排列(可以排列称循环链表)	不用每次都从低地址小分区开始检索，算法开销少(原因同首次适应算法)	会使高地址大分区也被用完

连续分配方式的缺点

1. 固定分区分配的缺点：缺乏灵活性，会产生大量的内部碎片，内存利用率很低。
2. 动态分区分配的缺点：会产生很多外部碎片，虽然可以用“紧凑”技术来处理，但是“紧凑”技术的时间代价很高。
3. 思考：如果允许将一个进程分散地装入到很多不相邻的分区中，便可充分地利用内存，而无需再进行“紧凑” =>非连续分配方式(离散分配方式)

非连续分配管理方式

为用户进程分配的不一定是连续的内存空间，可以是一些分散的地址空间。

1. 基本分页存储管理
2. 基本分段存储管理
3. 段页式存储管理

分页存储管理

1. 基本概念：

• 将内存空间分为一个个大小相等的分区(比如，每个分区大小4KB)，每个分区就是一个“页框”，或称作“页帧”，“内存块”，“物理块”。每个页框有一个编号，即“页框号”(或者“内存块号”，“页帧号”，“物理块号”)。页框号从0开始。
• 将用户进程的地址空间也分为与页框大小相等的一个个区域。称为“页”或“页面”。每个页面也有一个编号，叫“页号”。页号也是从0开始。
  (进程最后一个页面可能没有页框那么大，因此，页框不能太大，否则可能产生过大的内部碎片)
• 操作系统以页框为单位为整个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说，进程的页面与页框有一一对应关系。
• 各个页面不必连续存放，也不必按先后顺序来。可以放到不相邻的各个页框中。

页号 = 逻辑地址 / 页面长度 (向下取整)
页内偏移量 = 逻辑地址 % 页面长度
为了方便计算页号、页内偏移量，页面大小一般设为2的整数幂。
如果系统页面大小为2¹⁰B，用32个二进制位表示逻辑地址。那么逻辑地址的前22位表示的是页号，后10位表示的是页内偏移量。
如果有K位表示“页内偏移量”，则说明系统中一个页面的大小为2^KB
如果用M位表示页号，则说明系统中最多允许有2^M个页面。
物理地址 = 页面始址+页内偏移量

页表

为了知道进程的每个页面在内存中存放的位置，操作系统要为每一个进程创建一张页表。

1. 一个进程对应一个页表。
2. 进程的每一页对应一个页表项。
3. 每个页表项由页号和块号组成。
4. 页表记录进程页面和实际存放内存块之间的对应关系。
5. 每个页表项长度是相同的，页号是“隐含的”。
   因为各页表项按顺序连续地存放在内存中。如果页表在内存中的起始地址是x，则M号页对应的页表项一定是存放在内存地址为x+3*M，因此页表中的页号可以是隐含的。
   只需要知道页表存放的起始地址和页表项长度，即可找到各个页号对应的页表项存放的位置。
   

---

基本地址变换机构

定义：用于实现从逻辑地址到物理地址转换的一组硬件机构

基本地址变换机构可以借助进程的页表将逻辑地址转换为物理地址。

        通常会在系统中设置一个页表寄存器(PTR)，存放页表在内存中的起始地址F和页表长度M。进程未执行时，页表的始址和页表长度放在进程控制块PCB中，当进程被调度时，操作系统内核会把它们放到页表寄存器中。

页面大小是2的整数幂。
        内存分为系统区和用户区。进程控制块PCB存放在系统区中。进程的运行环境保存在PCB中。在调度该进程的时候，要恢复进程的运行环境，包括从PCB中读出页表起始地址F和页表长度M存入页表寄存器中，恢复程序计数器PC(指向下一条指令的逻辑地址A)。
        采用分页存储管理方式的系统，逻辑地址的格式是固定不变的(前几位是页面号P，后几位是页内偏移量W)。

• 设页面大小为L，逻辑地址A到物理地址E的变换过程如下：
  (1) 计算页号P和页内偏移量W(如果手算的话：P = A / L, W = A % L，但是计算机实际运行的时候，逻辑地址结构是固定不变的，因此计算机硬件可以快速得到二进制表示的页号、页内偏移量)。
  (2) 比较页号P和页表长度M，如果 P>=M, 则产生越界中断，否则继续执行。 (页号从0开始，最大为M-1)
  (3) 页表中页号P对应的页表项地址 = 页表起始地址F+页号P*页表项长度，取出该页表项内容b，即为内存块号。
  (4) 计算 E = b * L + W， 用得到的物理地址去访存。(如果内存块号，页内偏移量是用二进制表示的，那么把二者拼接起来就是最终的物理地址了)

页表长度：页表中总共有几个页表项，即总共有几个页。
页表项长度：每个页表项占多大的存储空间。
页面大小(页内偏移量)： 一个页面占多大的存储空间

• 在分页存储管理(页式管理)的系统中，只要确定了页面的大小，逻辑地址的结构就能确定了。因此，页式管理中地址是一维的。即，只要给出了逻辑地址，系统就可以自动算出页号，页内偏移量两个部分，并不需要显示地告诉系统这个逻辑地址中页内偏移量占多少位。
  
  

---

具有快表的地址变换机构

1. 程序的局部性原理
           时间局部性原理：如果执行了程序中的某条指令，那么不久后这条指令有可能再次执行。如果某个数据被访问过，不久之后该数据可能被再次访问(因为程序中存在着大量循环)
           空间局部性原理：一旦程序访问了某个存储单元，在不久之后，其附近的存储单元也有可能被访问。(因为许多数据在内存中都是连续存放的)

在基本地址变换机构中，每次访问一个逻辑地址，都需要查询内存中的页表。由于局部性原理，可能连续很多次查到的都是同一个页表项，能否利用这个特性减少访问页表的次数呢? =>引入快表

2.快表
        快表又称为联想寄存器(TLB)，是一种访问速度比内存快得多的告诉缓冲存储器，用来存放房前访问的若干页表项，以加速地址变换的过程。于此对应，内存中的页表常称为慢表

引入块表后，地址的变换过程

1. cpu给出逻辑地址，由某个硬件算得页号，页内偏移量，将页号与块表中的所有页号进行比较。
2. 如果找到匹配的页号，说明要访问的页表项在快表中有副本，则直接从中取出该页对应的内存块号，再将内存块号与页内偏移量拼接成物理地址。最后访问该物理地址对应的内存单元。因此，若快表命中，则访问某个逻辑地址仅需要一次访存即可。
3. 如果没有找到匹配的页号，则需要访问内存中的页表，找到对应页表项，得到页面存放的内存块号，再将内存块号和页内偏移量拼接形成物理地址，最后，访问该物理地址对应的内存单元。因此，若快表未命中，则访问某个逻辑地址需要两次访存(注意，再找到页表项后，应同时将其存入快表，以便后面可能的再次访问。但若快表已满，则必须按照一定的算法(页面置换算法)对旧的页表项进行替换)。

由于查询快表的速度比查询页表的速度快得多，因此只要块表命中，就可以节省很多时间。因为局部性原理，一般来说快表的命中率可以达到90%以上。

某系统使用基本分页存储管理，并采用了具有快表的地址变换机构。访问一次快表耗时1μs，访问一次内存耗时100μs。若快表命中率为90%，那么访问一个逻辑地址的平均耗时是多少？ 如果快表和页表同时查询呢？

（默认先查询块表，查不到再查慢表）
(1+100)*0.9+(1+100+100)*0.1 = 111μs
(1+100)*0.9+(100+100)*0.1 = 110.9μs

	地址变换过程	访问一个逻辑地址的访存次数
基本地址变换机构	(1) 计算页号，页内偏移量 (2) 检查页号的合法性 (3) 查页表，找到页面存放的内存块号 (4) 根据内存块号和页面偏移量得到物理地址 (5) 访问目标内存单元	两次访存
具有快表的地址变换机构	(1) 计算页号，页内偏移量 (2) 检查页号的合法性 (3) 查快表，若命中，即可知道页面存放的内存块号，可直接进行(5);若未命中则进行(4)。 (4) 查页表，找到页面存放的内存块号，并且将页表复制到快表中 (5)根据内存块号与页面偏移量得到物理地址 (6) 访问目标内存单元	若快表命中，只需一次访存。 若快表未命中，则需要两次访存。

两级页表

1. 单级页表存在什么问题？如何解决？
2. 两级页表的原理、逻辑地址结构
3. 如何实现地址变换？
4. 两级页表问题需要注意的细节

单级页表存在的问题

• 问题一：页表必须连续存放，因此，当页表很大时，需要占用很多个连续的页框。(和离散分配存储管理的思想是相悖的。) => 用两级页表的存储结构
• 问题二：没有必要让整个页表常驻内存，因为进程在一段时间内可能只需要访问某几个特定页面(程序的局部性原理) => 用虚拟存储技术

建立页目录表，或称外部页表，或称顶层页表

某计算机系统按字节寻址，支持32位的逻辑地址，采用分页存储管理，页面大小为4KB，页表项长度为4B。
4KB = 2¹²B，因此，页内地址要用12位表示，那么剩余20位表示页号。
因此，该系统中，一个用户进程最多有2²⁰页，相应地，在一个进程的页表中，最多有2²⁰ = 1M = 1048576个页表项。    一个页表最大需要占的内存为：2²⁰ * 4B = 2²²B，页框大小=页面大小=4KB=2¹²B, 那么需要2²²/2¹² = 2¹⁰个页框存储该页表。
根据页号查询页表的方法：K号页对应的在页表中的存储位置为 = 页表始址+K*4(页表项长度)，要在所有页表项都连续存放的基础上才能用这种方法找到页表项。

需要为一个进程分配连续的1024个页框(内存块)来存放它的页表，内存分配有点吃力，丧失了离散分配管理最大的优点。
根据局部性原理可知，很多时候，进程在一段时间内只需要访问某几个页面就可以正常运行了，因此没有必要让整个页表都常驻内存。

两级页表的原理、逻辑地址结构

需要注意的几个细节

---

段式存储

段式存储地址转换

段页式存储管理的地址转换

段号，段内地址 => 短号，页表长度，页表存放地址

---

虚拟内存

1. 传统存储方式的特征，缺点
2. 局部性原理(时间局部性原理，空间局部性原理，高速缓存cache)
3. 虚拟内存的定义和特征
4. 如何实现虚拟存储技术