3.1 内存管理概念
3.1.1 内存管理的基本原理和要求
内存可存放数据。程序执行前需要先放到内存中才能被CPU处理,主要作用是缓和CPU与硬盘之间的速度矛盾
内存管理的功能有
- 操作系统负责内存空间的分配与回收
- 操作系统需要提供某种技术从逻辑上对内存空间进行扩充
- 操作系统需要提供地址转换功能,负责程序的逻辑地址与物理地址的转换
- 操作系统需要提供内存保护功能。保证各进程在各自存储空间内运行,互不干扰
为了使编程更方便,程序员写程序时应该只需要关注指令、数据的逻辑地址。而逻辑地址到物理地址的转换(这个过程称为地址重定位)应该由操作系统负责,这样就保证了程序员写程序时不需要关注物理内存的实际情况。
3.1.1.1 内存的装入和连接
创建进程首先要将程序和数据装入内存,将用户源程序变为可在内存中执行的程序,通常需要以下步骤
- 编译:由编译程序将用户源代码编译成若干个目标模块(编译就是把高级语言翻译为机器语言)
- 链接:由链接程序将编译后形成的一组目标模块,以及所需库函数链接在一起,形成一个完整的装入模块
- 装入(装载):由装入程序将装入模块装入内存运行
内存的装入模块在装入内存时,有以下三种方式
- 绝对装入:在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址,将程序和数据装入内存。绝对装入只适用于单道程序环境。程序中使用的绝对地址,可在编译或汇编时给出,也可由程序员直接赋予。通常情况下都是编译或汇编时再转换为绝对地址。
- 静态重定位:又称可重定位装入。编译、链接后的装入模块的地址都是从0开始的,指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况,将装入模块装入到内存的适当位置。装入时对地址进行“重定位”,将逻辑地址变换为物理地址(地址变换是在装入时一次完成的)。静态重定位的特点是在一个作业装入内存时,必须分配其要求的全部内存空间,如果没有足够的内存,就不能装入该作业。作业一旦进入内存后,在运行期间就不能再移动,也不能再申请内存空间。
- 动态重定位:又称动态运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后,并不会立即把逻辑地址转换为物理地址,而是把地址转换推迟到程序真正要执行时才进行。因此装入内存后所有的地址依然是逻辑地址。这种方式需要一个重定位寄存器的支持。采用动态重定位时允许程序在内存中发生移动。
链接的三种方式:
- 静态链接:在程序运行之前,先将各目标模块及它们所需的库函数连接成一个完整的可执行文件(装入模块),之后不再拆开。
- 装入时动态链接:将各目标模块装入内存时,边装入边链接的链接方式。
- 运行时动态链接:在程序执行中需要该目标模块时,才对它进行链接。其优点是便于修改和更新,便于实现对目标模块的共享。
3.1.1.2 内存保护
在内存分配前,需要保护操作系统不受用户的影响,同时保护用户进程不受其他用户进程的影响。内存保护可采取两种方法:
- 在CPU中设置一对上、下限寄存器,存放进程的上、下限地址。进程的指令要访问某个地址时,CPU检查是否越界。
- 采用重定位寄存器(又称基址寄存器)和界地址寄存器(又称限长寄存器)进行越界检查。重定位寄存器中存放的是进程的起始物理地址。界地址寄存器中存放的是进程的最大逻辑地址。
3.1.2 连续分配管理方式
连续分配:指为用户进程分配的必须是一个连续的内存空间。
3.1.2.1 单一连续分配
在单一连续分配方式中,内存被分为系统区和用户区。系统区通常位于内存的低地址部分,用于存放操作系统相关数据;用户区用于存放用户进程相关数据。内存中只能有一道用户程序,用户程序独占整个用户区空间。
优点:实现简单;无外部碎片;可以采用覆盖技术扩充内存;不一定需要采取内存保护[1]。
缺点:只能用于单用户、单任务的操作系统中;有内部碎片;存储器利用率极低。
3.1.2.2 固定分区分配
为了能在内存中装入多道程序,且这些程序之间又不会相互干扰,于是将整个用户空间划分为若干个固定大小的分区,在每个分区中只装入一道作业,这样就形成了最早的、最简单的一种可运行多道程序的内存管理方式。
分区大小相等:缺乏灵活性,但是很适合用于用一台计算机控制多个相同对象的场合[2]
分区大小不等:增加了灵活性,可以满足不同大小的进程需求。根据常在系统中运行的作业大小情况进行划分[3]
操作系统需要建立一个数据结构——分区说明表,来实现各个分区的分配与回收。每个表项对应一个分区,通常按分区大小排列。每个表项包括对应分区的大小、起始地址、状态(是否已分配)。
优点:实现简单,无外部碎片。
缺点:a.当用户程序太大时,可能所有的分区都不能满足需求,此时不得不采用覆盖技术来解决,但这又会降低性能;b.会产生内部碎片,内存利用率低。
3.1.2.3 动态分区分配
动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区,而是在进程装入内存时,根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。[4]
把一个新作业装入内存时,须按照一定的动态分区分配算法,从空闲分区表(或空闲分区链)中选出一个分区分配给该作业。由于分配算法算法对系统性能有很大的影响,因此人们对它进行了广泛的研究。
动态分区分配没有内部碎片,但是有外部碎片。如果内存中空闲空间的总和本来可以满足某进程的要求,但由于进程需要的是一整块连续的内存空间,因此这些“碎片”不能满足进程的需求。可以通过紧凑(拼凑,Compaction)技术来解决外部碎片。
内部碎片,分配给某进程的内存区域中,如果有些部分没有用上。
外部碎片,是指内存中的某些空闲分区由于太小而难以利用。
动态分区分配算法:在动态分区分配方式中,当很多个空闲分区都能满足需求时,应该选择哪个分区进行分配
- 首次适应算法
算法思想:每次都从低地址开始查找,找到第一个能满足大小的空闲分区。
如何实现:空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
- 最佳适应算法
算法思想:由于动态分区分配是一种连续分配方式,为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区,即,优先使用更小的空闲区。
如何实现:空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
缺点:每次都选最小的分区进行分配,会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片。
- 最坏适应算法,又称最大适应算法(Largest Fit)
算法思想:为了解决最佳适应算法的问题——即留下太多难以利用的小碎片,可以在每次分配时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。
如何实现:空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
缺点:每次都选最大的分区进行分配,虽然可以让分配后留下的空闲区更大,更可用,但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有“大进程”到达,就没有内存分区可用了。
- 邻近适应算法
算法思想:首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,就能解决上述问题。
如何实现:空闲分区以地址递增的顺序排列(可排成一个循环链表)。每次分配内存时从上次查找结束的位置开始查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
首次适应算法每次都要从头查找,每次都需要检索低地址的小分区。但是这种规则也决定了当低地址部分有更小的分区可以满足需求时,会更有可能用到低地址部分的小分区,也会更有可能把高地址部分的大分区保留下来(最佳适应算法的优点)
邻近适应算法的规则可能会导致无论低地址、高地址部分的空闲分区都有相同的概率被使用,也就导致了高地址部分的大分区更可能被使用,划分为小分区,最后导致无大分区可用(最大适应算法的缺点)综合来看,四种算法中,首次适应算法的效果反而更好
算法 | 算法思想 | 分区排列顺序 | 优点 | 缺点 |
---|---|---|---|---|
首次适应 | 从头到尾找适合的分区 | 空闲分区以地址递增次序排列 | 综合看性能最好。算法开销小,回收分区后一般不需要对空闲分区队列重新排序 | |
最佳适应 | 优先使用更小的分区,以保留更多大分区 | 空闲分区以容量递增次序排列 | 会有更多的大分区被保留下来,更能满足大进程需求 | 会产生很多太小的、难以利用的碎片;算法开销大,回收分区后可能需要对空闲分区队列重新排序 |
最坏适应 | 优先使用更大的分区,以防止产生太小的不可用的碎片 | 空闲分区以容量递减次序排列 | 可以减少难以利用的小碎片 | 大分区容易被用完,不利于大进程;算法开销大(原因同上) |
邻近适应 | 由首次适应演变而来,每次从上次查找结束位置开始查找 | 空闲分区以地址递增次序排列(可排列成循环链表) | 不用每次都从低地址的小分区开始检索。算法开销小(原因同首次适应算法) | 会使高地址的大分区也被用完 |
3.1.3 非连续分配管理方式
非连续分配:为用户进程分配的可以是一些分散的内存空间。
3.1.3.1 基本分页存储管理方式
3.1.3.1.1 分页存储的几个基本概念
将内存空间分为一个个大小相等的分区(比如:每个分区4KB),每个分区就是一个“页框”(页框=页帧=内存块=物理块=物理页面)。每个页框有一个编号,即“页框号”(页框号=页帧号=内存块号=物理块号=物理页号),页框号从0开始。将进程的逻辑地址空间也分为与页框大小相等的一个个部分,每个部分称为一个“页”或“页面”。每个页面也有一个编号,即“页号”,页号也是从0开始。[5]
操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说,进程的页面与内存的页框有一一对应的关系。各个页面不必连续存放,可以放到不相邻的各个页框中。(注:进程的最后一个页面可能没有一个页框那么大。也就是说,分页存储有可能产生内部碎片,因此页框不能太大,否则可能产生过大的内部碎片造成浪费)
为了能知道进程的每个页面在内存中存放的位置,操作系统要为每个进程建立一张页表。页表通常存在PCB(进程控制块)中
- 一个进程对应一张页表
- 进程的每个页面对应一个页表项
- 每个页表项由“页号”和“块号”组成
- 页表记录进程页面和实际存放的内存块之间的映射关系
- 每个页表项的长度是相同的
Eg:假设某系统物理内存大小为4GB,页面大小为4KB,则
每个页表项至少应该为多少字节?
内存块大小=页面大小=4KB= 212 B
4GB的内存总共会被分为232 / 212 = 220个内存块
内存块号的范围应该是0 ~ 220 -1
内存块号至少要用20 bit来表示
至少要用3B来表示块号(3*8=24bit)页表项连续存放,因此页号可以是隐含的,不占存储空间(类比数组)
J号内存块的起始地址= J * 内存块大小
i号页表项的存放地址= X + 3*I
3.1.3.1.2 基本地址变换机构
特点:虽然进程的各个页面是离散存放的,但是页面内部是连续存放的
通常会在系统中设置一个页表寄存器(PTR),存放页表在内存中的起始地址F和页表长度M。进程未执行时,页表的始址和页表长度放在进程控制块(PCB)中,当进程被调度时,操作系统内核会把它们放到页表寄存器中。
如果要访问逻辑地址A,则
- 确定逻辑地址A对应的“页号”P,页号=逻辑地址/页面长度(取除法的整数部分),即
- 找到P号页面在内存中的起始地址(需要查页表)
- 确定逻辑地址A的“页内偏移量”W,页内偏移量=逻辑地址%页面长度(取除法的余数部分),即
逻辑地址A对应的物理地址= P号页面在内存中的起始地址+页内偏移量W
若页面大小L为1KB,页号2对应的物理块b=8,计算逻辑地址A=2500的物理地址E
P=2500/1K=2
W=2500%1K=452
E=8×1024+452=8644
在计算机内部,地址是用二进制表示的,如果页面大小刚好是2的整数幂,则计算机硬件可以很快速的把逻辑地址拆分成(页号,页内偏移量)
假设某计算机用32个二进制位表示逻辑地址,页面大小为4KB = 212B = 4096B
0号页的逻辑地址范围应该是0~4095,用二进制表示应该是:
00000000000000000000000000000000 ~ 00000000000000000000111111111111
1号页的逻辑地址范围应该是4096~8191,用二进制表示应该是:
00000000000000000001000000000000 ~ 00000000000000000001111111111111
2号页的逻辑地址范围应该是8192~12287,用二进制表示应该是:
00000000000000000010000000000000 ~ 00000000000000000010111111111111Eg:逻辑地址2,用二进制表示应该是00000000000000000000000000000010
页号= 2/4096 = 0 = 00000000000000000000,页内偏移量= 2%4096 = 2 = 000000000010
Eg:逻辑地址4097,用二进制表示应该是00000000000000000001000000000001
页号= 4097/4096 = 1 = 00000000000000000001,页内偏移量= 4097%4096 = 1 = 000000000001
如果每个页面大小为2KB,用二进制数表示逻辑地址,则末尾K位即为页内偏移量,其余部分就是页号
假设物理地址也用32个二进制位表示,则由于内存块的大小=页面大小,因此:
0号内存块的起始物理地址是00000000000000000000000000000000
1号内存块的起始物理地址是00000000000000000001000000000000
2号内存块的起始物理地址是00000000000000000010000000000000
3号内存块的起始物理地址是00000000000000000011000000000000
根据页号可以查询页表,而页表中记录的只是内存块号,而不是内存块的起始地址!
假设通过查询页表得知1号页面存放的内存块号是9(1001),则
9号内存块的起始地址= 9*4096 = 00000000000000001001000000000000
则逻辑地址4097对应的物理地址=页面在内存中存放的起始地址+页内偏移量=(00000000000000001001000000000001)
如果页面大小刚好是2的整数幂,则只需把页表中记录的物理块号拼接上页内偏移量就能得到对应的物理地址
如果有K位表示“页内偏移量”,则说明该系统中一个页面的大小是2K个内存单元
如果有M位表示“页号”,则说明在该系统中,一个进程最多允许有2M个页面
理论上,页表项长度为3B即可表示内存块号的范围,但是,为了方便页表的查询,常常会让一个页表项占更多的字节,使得每个页面恰好可以装得下整数个页表项。
3.1.3.1.3 具有快表的地址变换机构
快表,又称联想寄存器(TLB,translation lookaside buffer ),是一种访问速度比内存快很多的高速缓存(TLB不是内存!),用来存放最近访问的页表项的副本,可以加速地址变换的速度。与此对应,内存中的页表常称为慢表。
引入快表后,地址的变换过程如下,
- CPU给出逻辑地址,由某个硬件算得页号、页内偏移量,将页号与快表中的所有页号进行比较。
- 如果找到匹配的页号,说明要访问的页表项在快表中有副本,则直接从中取出该页对应的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表命中,则访问某个逻辑地址仅需一次访存即可。
- 如果没有找到匹配的页号,则需要访问内存中的页表,找到对应页表项,得到页面存放的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表未命中,则访问某个逻辑地址需要两次访存(注意:在找到页表项后,应同时将其存入快表,以便后面可能的再次访问。但若快表已满,则必须按照一定的算法对旧的页表项进行替换)
由于查询快表的速度比查询页表的速度快很多,因此只要快表命中,就可以节省很多时间。因为局部性原理,一般来说快表的命中率可以达到90%以上。
时间局部性:如果执行了程序中的某条指令,那么不久后这条指令很有可能再次执行;如果某个数据被访问过,不久之后该数据很可能再次被访问。(因为程序中存在大量的循环)
空间局部性:一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也很有可能被访问。(因为很多数据在内存中都是连续存放的)
例:某系统使用基本分页存储管理,并采用了具有快表的地址变换机构。访问一次快表耗时1us,访问一次内存耗时100us。若快表的命中率为90%,那么访问一个逻辑地址的平均耗时是多少?
(1+100) * 0.9 + (1+100+100) * 0.1 = 111 us
有的系统支持快表和慢表同时查找,如果是这样,平均耗时应该是(1+100) * 0.9 + (100+100) * 0.1 =110.9 us
若未采用快表机制,则访问一个逻辑地址需要100+100 = 200us
显然,引入快表机制后,访问一个逻辑地址的速度快多了。
3.1.3.1.4 两级页表
单极页表存在以下问题
- 页表必须连续存放,因此当页表很大时,需要占用很多个连续的页框。
- 没有必要让整个页表常驻内存,因为进程在一段时间内可能只需要访问某几个特定的页面。
为了解决以上问题,把页表再分页并离散存储,然后再建立一张页表记录页表各个部分的存放位置,称为页目录表,或称外层页表,或称顶层页表
若分为两级页表后,页表依然很长,则可以采用更多级页表,一般来说各级页表的大小不能超过一个页面
例:某系统按字节编址,采用40位逻辑地址,页面大小为4KB,页表项大小为4B,假设采用纯页式存储,则要采用()级页表,页内偏移量为()位?
页面大小= 4KB =212B,按字节编址,因此页内偏移量为12位
页号= 40 - 12 = 28位
页面大小= 212B,页表项大小= 4B ,则每个页面可存放212 / 4 = 210 个页表项
因此各级页表最多包含210 个页表项,需要10 位二进制位才能映射到210 个页表项,因此每一级的页
表对应页号应为10位。总共28位的页号至少要分为三级
两级页表的访存次数分析(假设没有快表机构)
- 第一次访存:访问内存中的页目录表
- 第二次访存:访问内存中的二级页表
- 第三次访存:访问目标内存单元
3.1.3.2 基本分段存储管理方式
基本分段存储管理方式与“分页”最大的区别就是离散分配时所分配地址空间的基本单位不同
3.1.3.2.1 分段
进程的地址空间:按照程序自身的逻辑关系划分为若干个段,每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址。分段系统的逻辑地址结构由段号(段名)和段内地址(段内偏移量)所组成。
在上述例子中,若系统是按字节寻址的,则
段号占16位,因此在该系统中,每个进程最多有216 = 64K个段
段内地址占16位,因此每个段的最大长度是216 = 64KB。
内存分配规则:以段为单位进行分配,每个段在内存中占据连续空间,但各段之间可以不相邻。
由于是按逻辑功能模块划分,用户编程更方便,程序的可读性更高
段号的位数决定了每个进程最多可以分几个段
段内地址位数决定了每个段的最大长度是多少
3.1.3.2.2 段表
程序分多个段,各段离散地装入内存,为了保证程序能正常运行,就必须能从物理内存中找到各个逻辑段的存放位置。为此,需为每个进程建立一张段映射表,简称“段表”。每个段对应一个段表项,其中记录了该段在内存中的起始位置(又称“基址”)和段的长度。各个段表项的长度是相同的
例如:某系统按字节寻址,采用分段存储管理,逻辑地址结构为(段号16位,段内地址16位),因此用16位即可表示最大段长。物理内存大小为4GB(可用32位表示整个物理内存地址空间)。因此,可以让每个段表项占16+32 = 48位,即6B。由于段表项长度相同,因此段号可以是隐含的,不占存储空间。若段表存放的起始地址为M,则K号段对应的段表项存放的地址为M + K*6
3.1.3.2.3 地址变换
- 根据逻辑地址得到段号、段内地址
- 判断段号是否越界。若S≥M,则产生越界中断,否则继续执行
- 查询段表,找到对应的段表项,段表项的存放地址为F+S*段表项长度,检查段内地址是否超过段长。若W≥C,则产生越界中断,否则继续执行
- 计算得到物理地址,访问目标内存单元
3.1.3.3 分段、分页管理的对比
页是信息的物理单位。分页的主要目的是为了实现离散分配,提高内存利用率。分页仅仅是系统管理上的需要,完全是系统行为,对用户是不可见的;段是信息的逻辑单位。分段的主要目的是更好地满足用户需求。一个段通常包含着一组属于一个逻辑模块的信息。分段对用户是可见的,用户编程时需要显式地给出段名。
页的大小固定且由系统决定。段的长度却不固定,决定于用户编写的程序。
分页的用户进程地址空间是一维的,程序员只需给出一个记忆符即可表示一个地址;分段的用户进程地址空间是二维的,程序员在标识一个地址时,既要给出段名,也要给出段内地址。
分段比分页更容易实现信息的共享和保护。不能被修改的代码称为纯代码或可重入代码(不属于临界资源),这样的代码是可以共享的。可修改的代码是不能共享的
分页(单级页表):第一次访存—查内存中的页表,第二次访存—访问目标内存单元。总共两次访存;分段:第一次访存—查内存中的段表,第二次访存—访问目标内存单元,总共两次访存。与分页系统类似,分段系统中也可以引入快表机构,将近期访问过的段表项放到快表中,这样可以少一次访问,加快地址变换速度。
名称 | 优点 | 缺点 |
---|---|---|
分页管理 | 内存空间利用率高,不会产生外部碎片,只会有少量的页内碎片 | 不方便按照逻辑模块实现信息的共享和保护 |
分段管理 | 很方便按照逻辑模块实现信息的共享和保护 | 如果段长过大,为其分配很大的连续空间会很不方便。另外,段式管理会产生外部碎片 |
3.1.3.4 段页式管理方式
段页式系统的逻辑地址结构由段号、页号、页内地址(页内偏移量)组成
段号的位数决定了每个进程最多可以分几个段
页号位数决定了每个段最大有多少页
页内偏移量决定了页面大小、内存块大小是多少
在上述例子中,若系统是按字节寻址的,则
段号占16位,因此在该系统中,每个进程最多有216 = 64K个段
页号占4位,因此每个段最多有24 = 16页
页内偏移量占12位,因此每个页面\每个内存块大小为212 = 4096 = 4KB
每个段对应一个段表项,每个段表项由段号、页表长度、页表存放块号(页表起始地址)组成。每个段表项长度相等,段号是隐含的。
每个页面对应一个页表项,每个页表项由页号、页面存放的内存块号组成。每个页表项长度相等,页号是隐含的。
实现地址变换的过程:
- 根据逻辑地址得到段号、页号、页内偏移量
- 判断段号是否越界。若S≥M,则产生越界中断,否则继续执行
- 查询段表,找到对应的段表项,段表项的存放地址为F+S*段表项长度
- 检查页号是否越界,若页号≥页表长度,则发生越界中断,否则继续执行
- 根据页表存放块号、页号查询页表,找到对应页表项
- 根据内存块号、页内偏移量得到最终的物理地址,访问目标内存单元
-
eg:早期的PC操作系统MS-DOS ↩
-
钢铁厂有n个相同的炼钢炉,就可把内存分为n个大小相等的区域存放n个炼钢炉控制程序 ↩
-
划分多个小分区、适量中等分区、少量大分区 ↩
-
假设某计算机内存大小为64MB,系统区8MB,用户区共56 MB… ↩
-
初学易混——页、页面vs页框、页帧、物理页 ↩