操作系统总结--内存,虚拟内存
内存
内存可存放数据。程序执行前需要先放到内存中才能被CPU处理——缓和CPU与硬盘之间的速度矛盾。
地址
210 = 1K; 220 = 1M; 230 = 1G; 地址长度应该是多少(即要多少个二进制位才能表示相应数目的存储单元)。
4GB的内存空间，有4*230个字节(Byte)，也就是232个字节，(如果计算机 按字节编址 , 则每个存储单元大小为1字节，即1B，即8个二进制位。)要表示全部的字节就需要32位的二进制地址，这也就是我们以前流行的32位操作系统的由来。但目前内存基本上都是8G，16G，所以32位已经不能满足需求，当前主流是64位操作系统，能表示264个字节，最高4,294,967,296G的内存空间，远远满足当前的任何个人电脑地址表达需求。
- 如果字长为16位的计算机 按字编址 ，则每个存储单元大小为1个字;每个字的大小为16个二进制位。（不同计算机字长不一样）
指令的工作原理
程序经过编译、链接后生成的指令中指明的是逻辑地址(相对地址),即:相对于进程的起始地址而言的地址
C语言程序经过编译、链接处理后,生成装入模块,即可执行文件:int x = 10;x = x+1;
物理地址(绝对地址)
- 编译: 由编译程序将用户源代码编译成若千个目标模块(编译就是把高级语言翻译为机器语言)
- 链接: 由链接程序将编译后形成的一组目标模块，以及所需库函数链接在一起，形成一个完整的装入模块
- 装入(装载) :由装入程序将装入模块装入内存运行
三种链接方式
- 静态链接:在程序运行之前,先将各目标模块及它们所需的库函数连接成一个完整的可执行文件(装入模块),之后不再拆开。
- 装入时动态链接:将各目标模块装入内存时,边装入边链接的链接方式。
- 运行时动态链接:在程序执行中需要该目标模块时,才对它进行链接。其优点是便于修改和更新,便于实现对目标模块的共享。
三种装入方式
- 绝对装入: 在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址,将程序和数据装入内存。
绝对装入只适用于单道程序环境。
程序中使用的绝对地址,可在编译或汇编时给出,也可由程序员直接赋予。通常情况下都是编译或汇编时再转换为绝对地址。 - 静态重定位:又称可重定位装入。编译、链接后的装入模块的地址都是从0开始的,指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况,将装入模块装入到内存的适当位置。装入时对地址进行“重定位”,将逻辑地址变换为物理地址(地址变换是在装入时一次完成的)
静态重定位的特点是在一个作业装入内存时,**必须分配其要求的全部内存空间,**如果没有足够的内存,就不能装入该作业。作业一旦进入内存后,在运行期间就不能再移动,也不能再申内存空间。 - 动态重定位:又称动态运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后,并不会立即把逻辑地址转换为物理地址,而是把地址转换推迟到程序真正要执行时才进行。因此装入内存后所有的地址依然是逻辑地址。这种方式需要一个重定位寄存器的支持。
重定位寄存器: 存放装入模块存放的起始位置并且可将程序分配到不连续的存储区中;在程序运行前只需装入它的部分代码即可投入运行,然后在程序运行期间,根据需要动态申请分配内存;便于程序段的共享,可以向用户提供一个比存储空间大得多的地址空间。
优点:
- 可将程序分配到不连续的存储区中;
- 在程序运行前只需装入它的部分代码即可投入运行，然后在程序运行期间，根据需要动态申请分配内存;
- 便于程序段的共享，可以向用户提供一个比存储空间大得多的地址空间
内存管理
- 操作系统负责内存空间的分配和回收。
- 操作系统需要提供某种技术从逻辑上对内存空间进行扩充（虚拟内存）。
- 操作系统需要提供地址转换功能，负责程序的逻辑地址与物理地址的转换。
- 操作系统需要提供内存保护功能。保证各进程在各自存储空间内运行，互不干扰。
内存空间的分配与回收
连续分配管理方式
- 单一连续分配,内存被分为系统区和用户区。系统区通常位于内存的低地址部分,用于存放操作系统相关数据;用户区用于存放用户进程相关数据。内存中只能有一道用户程序,用户程序独占整个用户区空间。
内部碎片,分配给某进程的内存区域中,如果有些部分没有用上。
外部碎片,是指内存中的某些空闲分区由于太小而难以利用。 - 固定分区分配, 将整个用户空间划分为若干个固定大小的分区,在每个分区中只装入一道作业,这样就形成了最早的、最简单的一种可运行多道程序的内存管理方式。
- 动态分区分配, 又称为可变分区分配。这种分配方式不会预先划分内存分区,而是在进程装入内存时,根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。
动态分区分配算法
-
首次适应算法
每次都从低地址开始查找，找到第一个能满足大小的空闲分区 -
最佳适应算法
由于动态分区分配是一种连续分配方式,为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区,即,优先使用更小的空闲区。
如何实现: 空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。 -
最坏适应算法[最大适应算法(Largest Fit)]
为了解决最佳适应算法的问题——即留下太多难以利用的小碎片，可以在每次分配时优先使用最大的连续空闲区，这样分配后剩余的空闲区就不会太小，更方便使用。 -
邻近适应算法
首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区，而每次分配查找时，都要经过这些分区，因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索，就能解决上述问题。
非连续分配管理方式
连续分配: 为用户进程分配的必须是一个连续的内存空间。
**非连续分配:**为用户进程分配的可以是一些分散的内存空间。
基本分页存储管理
将内存空间分为一个个大小相等的分区(比如:每个分区4KB),每个分区就是一个 “页框” (页框=页帧=内存块=物理块=物理页面)。每个页框有一个编号,即** “页框号” **(页框号=页帧号=内存块号=物理块号=物理页号),页框号从 0 开始。
将进程的逻辑地址空间也分为与页框大小相等的一个个部分,每个部分称为一个** “页” **或“页面” 。每个页面也有一个编号,即“页号”,页号也是从 0 开始。
Tips:初学易混——页、页面 vs 页框、页帧、物理页页号、页面号 vs 页框号、页帧号、物理页号
操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说, 进程的页面与内存的页
框有一一对应的关系。各个页面不必连续存放,可以放到不相邻的各个页框中。
页面放在页框中
(注:进程的最后一个页面可能没有一个页框那么大。也就是说,分页存储有可能产生内部碎片,因此页框不能太大,否则可能产生过大的内部碎片造成浪费)
页表: 操作系统要为每个进程建立一张页表。页表通常存在PCB,这里概念不清的话可能会有疑惑为什么PCB中会有页表，仔细阅读前面的部分，PCB中不光存放进程，还存放着进程信息、PID、IO情况等多个内容。
页表记录进程页面和实际存放的内存块(页框号)之间的映射关系。
页表项连续存放,因此页号可以是隐含的,不占存储空间(类比数组)
问题一: 页表项所占字节?
问题二 页表项所占字节?
进程在内存中连续存放时,
重定位寄存器: 指明了进程在内存中的起始位置
逻辑地址A 对应的物理地址 = P号页面在内存中的起始地址+页内偏移量W
基本地址变换机构
基本地址变换机构可以借助进程的页表将逻辑地址转换为物理地址。
通常会在系统中设置一个页表寄存器(PTR), 存放页表在内存中的起始地址F 和页表长度M。进程未执行时,页表的始址 和 页表长度 放在进程控制块(PCB)中,当进程被调度时,操作系统内核会把它们放到页表寄存器中。
注意: 页面大小是2的整数幂
设页面大小为L,逻辑地址A到物理地址E的变换过程如下:
具有快表的地址变换机构
快表,又称联想寄存器(TLB, translation lookaside buffer ),是一种访问速度比内存快很多的高速缓存(TLB不是内存!),用来存放最近访问的页表项的副本,可以加速地址变换的速度。与此对应,内存中的页表常称为慢表。
时间局部性: 如果执行了程序中的某条指令,那么不久后这条指令很有可能再次执行;如果某个数据被访问过,不久之后该数据很可能再次被访问。(因为程序中存在大量的循环)
空间局部性: 一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也很有可能被访问。(因为很多数据在内存中都是连续存放的)
上小节介绍的基本地址变换机构中,每次要访问一个逻辑地址,都需要查询内存中的页表。由于局部性原理,可能连续很多次查到的都是同一个页表项
快表为什么速度快： 直接从快表中取出该页对应的内存块号，再将内存块号与页内偏移量拼接形成物理地址最后，访问该物理地址对应的内存单元。因此，若快表命中，则访问某个逻辑地址仅需一次访存即可。
慢表则要在多级页表中找到对应的页表，再从相应的页号中取出内存块号。
两级页表
为什么要有两级页表?
根据局部性原理，进程某个时间段内只需要访问几个页面就可以正常运行了，没必要让整个页面都在内存中常驻。同时，过大的页表还会占用很多页框，也就是内存空间。
当整个页表被分为多个页表，在内存中只需要放入有需求的页表，从而提高效率，节省空间。
单级页表的问题
- 问题一:页表必须连续存放,因此当页表很大时,需要占用很多个连续的页框。
- 问题二:没有必要让整个页表常驻内存,因为进程在一段时间内可能只需要访问某几个特定的页面。
把页表再分页并离散存储,然后再建立一张页表记录页表各个部分的存放位置,称为页目录表,或称外层页表,或称顶层页表。
基本分段存储管理
进程的地址空间:按照程序自身的逻辑关系划分为若干个段, 每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址。
内存分配规则:以段为单位进行分配,每个段在内存中占据连续空间,但各段之间可以不相邻。
大体上与分页类似，与“分页”最大的区别就是——离散分配时所分配地址空间的基本单位不同。
分段系统的逻辑地址结构由段号(段名)和段内地址(段内偏移量)所组成。如:
- 段号的位数决定了每个进程最多可以分几个段
- 段内地址位数决定了每个段的最大长度是多少
分段、分页管理的对比
- 页是信息的物理单位。分页的主要目的是为了实现离散分配,提高内存利用率。分页仅仅是系统管理上的需要,完全是系统行为,对用户是不可见的。
- 段是信息的逻辑单位。分段的主要目的是更好地满足用户需求。一个段通常包含着一组属于一个逻辑模块的信息。分段对用户是可见的,用户编程时需要显式地给出段名。
- 页的大小固定且由系统决定。段的长度却不固定,决定于用户编写的程序。
- 分页的用户进程地址空间是一维的,程序员只需给出一个记忆符即可表示一个地址。
- 分段的用户进程地址空间是二维的,程序员在标识一个地址时,既要给出段名,也要给出段内地址。
- 分段比分页更容易实现信息的共享和保护。
访问一个逻辑地址需要几次访存? - 分页(单级页表):第一次访存——查内存中的页表,第二次访存——访问目标内存单元。总共两次访存
- 分段:第一次访存——查内存中的段表,第二次访存——访问目标内存单元。总共两次访存
与分页系统类似,分段系统中也可以引入快表机构,将近期访问过的段表项放到快表中,这样可以少一次访问,加快地址变换速度。
段页式存储管理
内存空间的扩充
覆盖技术
思想: 将程序分为多个段(多个模块)。常用的段常驻内存,不常用的段在需要时调入内存。
内存中分为一个“固定区”和若干个“覆盖区”。需要常驻内存的段放在“固定区”中,调入后就不再
调出(除非运行结束)不常用的段放在“覆盖区”,需要用到时调入内存,用不到时调出内存。
必须由程序员声明覆盖结构,操作系统完成自动覆盖。缺点: 对用户不透明,增加了用户编程负担。
覆盖技术只用于早期的操作系统中,现在已成为历史。
交换技术(对换)
思想:内存空间紧张时,系统将内存中某些进程暂时换出外存,把外存中某些已具备运行条件的进程换入内存(进程在内存与磁盘间动态调度)
暂时换出外存等待的进程状态为挂起状态(挂起态,suspend); 挂起态又可以进一步细分为就绪挂起、阻塞挂起两种状态。
中级调度(内存调度),就是要决定将哪个处于挂起状态的进程重新调入内存。
虚拟内存技术
在传统存储管理方式的基础上引入了交换技术、覆盖技术,使得内存利用率有所提升,并且能从逻辑上扩充内存容量。
- 基于局部性原理,在程序装入时,可以将程序中很快会用到的部分装入内存,暂时用不到的部分留在外存, 就可以让程序开始执行。
- 在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存, 然后继续执行程序。
- 若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。
- 在操作系统的管理下,在用户看来似乎有一个比实际内存大得多的内存,这就是虚拟内存
操作系统虚拟性的一个体现,实际的物理内存大小没有变,只是在逻辑上进行了扩充。
虚拟内存有一下三个主要特征:
- 多次性:无需在作业运行时一次性全部装入内存,而是允许被分成多次调入内存。
- 对换性:在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换
入、换出。 - 虚拟性:从逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际的容量。
虚拟内存的实现
请求分页管理方式
请求分页存储管理与基本分页存储管理的主要区别:
在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序。(请求调页功能)
若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。(页面置换功能)
-
页表机制
-
缺页中断机构
在请求分页系统中,每当要访问的页面不在内存时,便产生一个缺页中断,然后由操作系统的缺页中断处理程序处理中断。
此时缺页的进程阻塞,放入阻塞队列, 调页完成后再将其唤醒,放回就绪队列。
如果内存中有空闲块,则为进程分配一个空闲块,将所缺页面装入该块,并修改页表中相应的页表项。
如果内存中没有空闲块,则由页面置换算法选择一个页面淘汰,若该页面在内存期间被修改过,则要将其写回外存。未修改过的页面不用写回外存。
-
地址变换机构
页面置换算法
页面的换入、换出需要磁盘I/O,会有较大的开销,因此好的页面置换算法应该追求更少的缺页率
- 最佳置换算法( OPT )
每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。
最佳置换算法可以保证最低的缺页率,但实际上,只有在进程执行的过程中才能知道接下来会访问到的是哪个页面。操作系统无法提前预判页面访问序列。因此,最佳置换算法是无法实现的。
缺页中断是因为当前执行的指令想要访问的目标页面未调入内存而产生的．对应上面表格中打勾位置。
内存块满了才需要内存置换, 上表中前3个缺页中断未发生缺页置换。 - 先进先出置换算法( FIFO )
每次选择淘汰的页面是最早进入内存的页面
实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面即可。队列的最大长度取决于系统为进程分配了多少个内存块。
Belady 异常——当为进程分配的物理块数增大时,缺页次数不减反增的异常现象。
只有 FIFO 算法会产生 Belady 异常。另外,FIFO算法虽然实现简单,但是该算法与进程实际运行时的规律不适应,因为先进入的页面也有可能最经常被访问。因此,算法性能差 - 最近最久未使用置换算法( LRU,least recently used )
每次淘汰的页面是最近最久未使用的页面
实现方法:赋予每个页面对应的页表项中,用访问字段记录该页面自上次被访问以来所经历的时间t。当需要淘汰一个页面时,选择现有页面中** t 值最大的,即最近最久未使用的页面。
实现起来需要专门的硬件支持,算法开销大。**
若需要淘汰页面,可以逆向检查此时在内存中的几个页面号。在逆向扫描过程中最后一个出现的页号就是要淘汰的页面。 - 时钟置换算法( CLOCK )
时钟置换算法是一种性能和开销较均衡的算法,又称CLOCK算法,或最近未用算法(NRU,Not Recently Used)
前五个访问页面1, 3, 4, 2, 5访问位均为1, 当访问6号页面时,需要淘汰一个页面, 访问循环队列,由于每个访问页的位均为1, 将他们依次置0, 再进行第二轮扫描, 页面1的访问位为0, 将1号页面置出, 扫描指针指向下一个位置(3号页), 接下来3, 4号访问页面的访问位被置为1, 访问7号页面时,不在内存中, 需要淘汰一个页面, 此时的扫描位置从3号页面开始,3,4号页面访问位为1,扫描后依次置0, 扫描到2号页面,访问位已经为0,淘汰2号页面. 扫描指针指向下一个位置(5号页). - 改进型的时钟置换算法
页面分配策略
