深入理解计算机系统系列【计算机系统漫游】

操作系统原理是计算机行业基本功，想要成为一名计算机领域的专业人士，必不可少要打好基础。最近打算重点读一读《深入理解计算机系统》这本书，回顾和提升自己对计算机和操作系统的理解。这是第一篇：【计算机系统漫游】。【计算机系统漫游】主要通过跟踪hello程序的生命周期来开始对系统的学习----从它被程序员创建开始，到在系统上运行，输出简单的消息，然后终止。本文将沿着这个程序的生命周期，简要地介绍一些逐步出现的关键概念、专业术语和组成部分。

1 信息就是【位+上下文】

首先我们来看hello.c源程序：

1 #include 
2 
3 int main() 
4 {
5     printf("hello world!\n");
6     return 0;
7 }

hello.c源程序实际上就是一个由值0和1组成的位（又称为比特)序列，8个位被组织成一组，称为字节。每个字节表示程序中的某些文本字符。过去大部分的计算机系统都使用ASCII标准（现在有gbk/Unicode/utf8）来表示文本字符，这种方式实际上就是用 一个唯一的单字节大小的整数值来表示每个字符。下图中给出了 hello .c 程序的ASCII码表示。

根据上图，我们需要明白以下几个原理或概念：
（1）hello.c 程序是以字节序列的方式储存在文件中的。
（2）每个字节都有一个整数值，对应某些字符。
（3）文本文件：像 hello.c 这样只由ASCII字符构成的文件；所有其他文件都称为二进制文件。
（4）系统中所有的信息，包括磁盘文件、内存中的程序、内存中存放的用户数据以及网络上传送的数据，都是由一串比特表示的。区分不同数据对象的唯一方法是我们读到这些数据对象时的上下文。比如，在不同的上下文中 ，一个同样的字节序列可能表示一个整数、浮点数、字符串或者机器指令。

2 程序被其他程序翻译成不同的格式

hello.c 程序的生命周期是从一个高级C语言程序开始的，因为这种形式能够被人读懂。但是，为了在系统上运行hello.c 程序，每条C语句都必须被其他程序转化为一系列的低级机器语言指令。然后这些指令按照一种称为可执行目标程序（可执行目标文件）的格式打好包，并以二进制磁盘文件的形式存放起来。
在 Unix系统上，从源文件到目标文件的转化是由编译器驱动程序完成的，具体命令是： linux> gcc -o hello hello.c。此处，GCC编译器驱动程序读取源程序文件hello.c ,并把它翻译成一个可执行目标文件hello 。这个翻译过程可分为四个阶段完成，如下图所示。执行这四个阶段的程序（预处理器、编译器、汇编器和链接器）一起构成了编译系统（compilation system )。

理解编译系统的四个阶段：
（1）预处理阶段：读取系统头文件stdio.h的内容，并把它直接插人程序文本中，得到另一个.i结尾的c程序。
（2）编译阶段：将文本文件hello.i 翻译成汇编语言，得到文本文件hello.s。汇编语言为不同高级语言的不同编译器提供了通用的输出语言，且每条汇编语句以一种文本格式描述了一条低级机器语言指令。
（3）汇编阶段：将hello.s翻译成机器语言指令，把这些指令打包成一种叫做可重定位目标程序（relocatable object program)的格式，并将结果保存在目标文件hello.o中。hello.o文件是一个二进制文件，它包含的17个字节是函数main 的指令编码。
（4）链接阶段：将C编译器提供的标准C库中printf函数所在的目标文件（库文件）printf.o以某种方式合并到hello.o程序中，得到二进制可执行文件hello。该二进制文件可以被加载到内存中，由系统执行。

3 了解编译系统工作原理的益处

（1）优化程序性能。
（2）理解链接时出现的错误。
（3）避免安全漏洞。
这些益处在后面的文章中会具体阐述。

4 处理器读并解释储存在内存中的指令

到这里，hello.c 源程序已经被编译系统翻译成了可执行目标文件hello ,并被存放在磁盘上。要想在Unix系统上运行该可执行文件，我们将它的文件名输入到称为shell的应用程序中：

linux> ./hello 
hello, world!
linux>

shell是一个命令行解释器，它输出一个提示符，等待输人一个命令行，然后执行这个命令。如果该命令行的第一个单词不是一个内置的shell命令，那么shell就会假设这是一个可执行文件的名字，它将加载并运行这个文件。所以在此例中，shell将加载并运行 hello 程序，然后等待程序终止。hello 程序在屏幕上输出它的信息，然后终止。shell随后输出一个提示符，等待下一个输人的命令行。

5 系统的硬件组成

为了理解运行hello程序时发生了什么，我们需要了解一个典型系统的硬件组成，如下图所示。

（1）总线

贯穿整个系统的是一组电子管道，称作总线，它携带信息字节并负责在各个部件间传递。通常总线被设计成传送定长的字节块，也就是字（word)。字中的字节数（即字长）是一个基本的系统参数，各个系统中都不尽相同。现在的大多数机器字长要么是4个字节（32 位），要么是8个字节（64位）。本书中，我们不对字长做任何固定的假设。相反，我们将在需要明确定义的上下文中具体说明一个“字”是多大 。

（2）I/O设备

I/O(输人/输出）设备是系统与外部世界的联系通道。示例系统包括四个I/O设备 ：作为用户输人的键盘和鼠标，作为用户输出的显示器，以及用于长期存储数据和程序的磁盘驱动器（简单地说就是磁盘）。
最开始，可执行程序hello就存放在磁盘上。 每个I/O设备都通过一个控制器或适配器与I/O总线相连。控制器和适配器之间的区别主要在于它们的封装方式。控制器是I/O设备本身或者系统的主印制电路板（通常称作主板)上的芯片组；而适配器则是一块插在主板插槽上的卡。它们的功能都是在I/O总线和I/O设备之间传递信息。

（3）主存

主存是一个在处理器执行程序时，用来临时存放程序和程序处理的数据的存储设备。
从物理上来说，主存是由一组动态随机存取存储器（DRAM)芯片组成的。从逻辑上来说，存储器是一个线性的字节数组，每个字节都有其唯一的地址（数组索引），且地址是从零开始的。
组成程序的每条机器指令都由不同数量的字节构成。与C程序变量相对应的数据项的大小是根据类型变化的。比如，在运行Linux的X86_64机器上，short类型的数据需要2个字节，int和 float类型需要4个字节，而long和double类型需要8个字节。

（4）处理器

中央处理单元（CPU )，简称处理器，是解释（或执行)存储在主存中指令的引擎。处理器的核心是一个大小为一个字的存储设备（或寄存器），称为程序计数器（PC)。在任何时刻 ，PC都指向主存中的某条机器语言指令（即含有该条指令的地址）。

从系统通电开始，直到系统断电，处理器一直在不断地执行程序计数器指向的指令，再更新程序计数器，使其指向下一条指令。处理器看上去是按照一个非常简单的指令执行模型来操作的，这个模型是由指令集架构决定的。
在这个模型中，指令按照严格的顺序执行，而执行一条指令包含执行一系列的步骤。处理器从程序计数器指向的内存处读取指令，解释指令中的位，执行该指令指示的简单操作，然后更新PC，使其指向下一条指令，而这条指令并不一定和在内存中刚刚执行的指令相邻。
这样的简单操作并不多，它们围绕着主存、寄存器文件（register file)和算术/逻辑单元(ALU)进行。寄存器文件是一个小的存储设备，由一些单个字长的寄存器组成，每个寄存器都有唯一的名字。ALU计算新的数据和地址值。下面是一些简单操作的例子， CPU在指令的要求下可能会执行这些操作。
        加载：从主存复制一个字节或者一个字到寄存器，以覆盖寄存器原来的内容。
        存储：从寄存器复制一个字节或者一个字到主存的某个位置，以覆盖这个位置上原来的内容。
        操作：把两个寄存器的内容复制到ALU, ALU对这两个字做算术运算，并将结果存放到一个寄存器中，以覆盖该寄存器中原来的内容。
        跳转：从指令本身中抽取一个字，并将这个字复制到程序计数器（PC)中，以覆盖PC中原来的值。
处理器看上去是它的指令集架构的简单实现，但是实际上现代处理器使用了非常复杂的机制来加速程序的执行。因此，我们将处理器的指令集架构和处理器的微体系结构区分开来：指令集架构描述的是每条机器代码指令的效果；而微体系结构描述的是处理器实际上是如何实现的。

6 运行hello程序

主要分两个阶段。

（1）第一阶段：从键盘读取hello命令

首先，当我们在键盘上输入字符串 “./hello” 后 ，shell程序将字符逐一读人寄存器，再把它存放到内存中。
其次，在键盘上敲回车键时，shell程序就知道我们已经结束了命令的输人。然后shell执行一系列指令来加载可执行的hello文件，这些指令将hello目标文件中的代码和数据从磁盘复制到主存。数据包括最终会被输出的字符串"hello, World\n!"。如下图《从键盘读取hello命令》：

补充：直接存储器存取（DMA）技术，数据可以不通过处理器而直接从磁盘到达主存。如下图：

（2）第二阶段：将输出字符串从存储器写到显示器
一旦目标文件hello中的代码和数据被加载到主存，处理器就开始执行hello程序的 main程序中的机器语言指令。
这些指令将"hello, world!"字符串中的字节从主存复制到寄存器文件，再从寄存器文件中复制到显示设备，最终显示在屏幕上。如下图：

7 高速缓存

这个简单的示例揭示了一个重要问题：即系统花费了大量的时间把信息从一个地方复制到另一个地方。

从程序员的角度来看，这些复制就是开销，减慢了程序“真正”的工作。因此，系统设计者的一个主要目标就是使这些复制操作尽可能快地完成。
根据机械原理，较大的存储设备要比较小的存储设备运行得慢，而快速设备的造价远高于同类的低速设备。然而，处理器从寄存器文件中读数据比从主存中读取几乎要快100倍，且这种处理器与主存之间的差距还在持续增大。加快处理器的运行速度比加快主存的运行速度要容易和便宜得多。
针对这种处理器与主存之间的差异，系统设计者采用了更小更快的存储设备，称为高速缓存存储器（cache m em ory,简称为cache或高速缓存），作为暂时的集结区域，存放处理器近期可能会需要的信息。位于处理器芯片上的L1高速缓存的容量可以达到数万字节，访问速度几乎和访问寄存器文件一样快。现代计算机通常采用三级高速缓存：Ll、L2和L3。系统可以获得一个很大的存储器，同时访问速度也很快，原因是利用了高速缓存的局部性原理，即程序具有访问局部区域里的数据和代码的趋势。通过让高速缓存里存放可能经常访问的数据，大部分的内存操作都能在快速的高速缓存中完成。高速缓存存储器示意图如下：

接下来我们看一下存储器层次结构，先看示意图：

从上至下，设备的访问速度越来越慢、容量越来越大，并且每字节的造价也越来越便宜。寄存器文件在层次结构中位于最顶部，也就是第0 级或记为L0。这里我们展示的是三层高速缓存L1到L3, 占据存储器层次结构的第1层到第3层。

存储器层次结构的主要思想是上一层的存储器作为低一层存储器的高速缓存。因此，寄存器文件就是L1的高速缓存，L1是L2的高速缓存，L2是L3的高速缓存，L3是主存的高速缓存，而主存又是磁盘的高速缓存。

8 操作系统管理硬件

当shell加载和运行hello程序时，以及hello程序输出自己的消息时，shell和hello程序都没有直接访问键盘、显示器、磁盘或者主存，而是依靠操作系统提供的服务间接访问硬件的。
操作系统可以看成是应用程序和硬件之间插人的一层软件，所有应用程序对硬件的操作尝试都必须通过操作系统。如下图所示。

操作系统有两个基本功能：
（1）防止硬件被失控的应用程序滥用；
（2）向应用程序提供简单一致的机制来控制复杂而又通常大不相同的低级硬件设备。

操作系统通过几个基本的抽象概念（进程、虚拟内存和文件）来实现这两个功能。
（1）文件：对I/O设备的抽象表示
（2）虚拟内存：对主存和磁盘I/O设备的抽象表示
（3）进程：对处理器、主存和I/O设备的抽象表示

8.1 进程

进程是操作系统对一个正在运行的程序的一种抽象。在一个系统上可以同时运行多个进程，而每个进程都好像在独占地使用硬件。而并发运行，则是说一个进程的指令和另一个进程的指令是交错执行的。
操作系统保持跟踪进程运行所需的所有状态信息，这种状态就是上下文。上下文包括许多信息：比如PC和寄存器文件的当前值，以及主存的内容。
在任何一个时刻，单处理器系统都只能执行一个进程的代码。当操作系统决定要把控制权从当前进程转移到某个新进程时，就会进行上下文切换，即保存当前进程的上下文、恢复新进程的上下文，然后将控制权传递到新进程。新进程就会从它上次停止的地方开始。下图展示了示例hello程序运行场景的基本理念。

注意，从一个进程到另一个进程的转换是由操作系统内核（kernel)管理的。内核是操作系统代码常驻主存的部分。当应用程序需要操作系统的某些操作时，比如读写文件，它就执行一条特殊的系统调用（system call)指令，将控制权传递给内核。然后内核执行被请求的操作并返回应用程序。内核不是一个独立的进程，它是系统管理全部进程所用代码和数据结构的集合。

8.2 虚拟内存

虚拟内存是一个抽象概念，它为每个进程提供了一个假象，即每个进程都在独占地使用主存。每个进程看到的内存都是一致的，称为虚拟地址空间。下图所示的是Linux进程的虚拟地址空间（其他Unix系统的设计也与此类似）。请注意，图中的地址是从下往上增大的。
在Linux中，
地址空间最上面的区域：是保留给操作系统中的代码和数据的，这对所有进程来说都一样。
地址空间的底部区域：存放用户进程定义的代码和数据。

每个进程看到的虚拟地址空间由大量准确定义的区构成，每个区都有专门的功能。此处，先简单了解每一个区，对后续的详细学习是非常有益的。我们从最低的地址开始，逐步向上介绍。
（1）程序代码和数据
对所有的进程来说，代码是从同一固定地址开始，紧接着的是和C全局变量相对应的数据位置。代码和数据区是直接按照可执行目标文件的内容初始化的，在示例中就是可执行文件hello 。后续研究链接和加载时，会学习更多有关地址空间的内容。
（2）堆
代码和数据区后紧随着的是运行时堆。代码和数据区在进程一开始运行时就被指定了大小，与此不同，当调用像malloc和free这样的C标准库函数时，堆可以在运行时动态地扩展和收缩。后续学习管理虚拟内存时，我们将更详细地研究堆。
（3）共享库
大约在地址空间的中间部分是一块用来存放像C标准库和数学库这样的共享库的代码和数据的区域。共享库的概念非常强大，也相当难懂。后续学习动态链接时，将学习共享库是如何工作的。
（4）栈
位于用户虚拟地址空间顶部的是用户栈，编译器用它来实现函数调用。和堆一样，用户栈在程序执行期间可以动态地扩展和收缩。特别地，每次我们调用一个函数时，栈就会增长；从一个函数返回时，栈就会收缩。
（5）内核虚拟内存
地址空间顶部的区域是为内核保留的。不允许应用程序读写这个区域的内容或者直接调用内核代码定义的函数。相反，它们必须调用内核来执行这些操作。

虚拟内存的运作需要硬件和操作系统软件之间精密复杂的交互，包括对处理器生成的每个地址的硬件翻译。基本思想是把一个进程虚拟内存的内容存储在磁盘上，然后用主存作为磁盘的高速缓存。

8.3 文件

文件就是字节序列，仅此而已。每 个 I/O 设备，包括磁盘、键盘、显示器，甚至网络，都可以看成是文件。系统中的所有输入输出都是通过使用一小组称为Unix I/O的系统函数调用读写文件来实现的。
文件这个简单而精致的概念是非常强大的，因为它向应用程序提供了一个统一的视图，来看待系统中可能含有的所有各式各样的I/O设备。例如，处理磁盘文件内容的应用程序员可以非常幸福，因为他们无须了解具体的磁盘技术。进一步说，同一个程序可以在使用不同磁盘技术的不同系统上运行。

9 Amdahl 定律

计算领域的早期先锋之一Gene Amdahl，对提升系统某一部分性能所带来的效果做出了简单却有见地的观察。这个观察被称为Amdahl定律（Amdahl’s law)。
该定律的主要思想是，当我们对系统的某个部分加速时，其对系统整体性能的影响取决于该部分的重要性和加速程度。
若系统执行某应用程序需要时间为T_old。假设系统某部分所需执行时间与该时间的比例为α，而该部分性能提升比例为k。即该部分初始所需时间为αT_old，现在所需时间为(αT_old)/k。因此 ，总的执行时间应为：

由此，可以计算加速比 S=T_old/T_new 为：

考虑这样一种情况，系统的某个部分初始耗时比例为60%(α=0.6)，其加速比例因子为3(k=3)。则我们可以获得的加速比为1/[0.4+0.6/3] = 1.67倍。虽然我们对系统的一个主要部分做出了重大改进，但是获得的系统加速比却明显小于这部分的加速比。

这就是Amdahl定律的主要观点—— 要想显著加速整个系统，必须提升全系统中相当大的部分的速度。

10 并发和并行

计算机的整个历史中，有两个需求是驱动进步的持续动力：
（1）想要计算机做得更多；（2）想要计算机运行得更快。 
当处理器能够同时做更多的事情时，我们用的术语并发(concurrency)是一个通用的概念，指一个同时具有多个活动的系统；而术语并行（parallelism)指的是用并发来使一个系统运行得更快。
并发：交错执行。
并行：同时执行。
“并行”概念是“并发”概念的一个子集。

并发是两个队列交替使用一台咖啡机；并行是两个队列同时使用两台咖啡机；如果串行，一个队列使用一台咖啡机，那么哪怕前面那个人便秘了去厕所呆半天，后面的人也只能死等着他回来才能去接咖啡，这效率无疑是最低的。

11 小结

（1）计算机系统是由硬件和系统软件组成的，它们共同协作以运行应用程序。

（2）计算机内部的信息被表示为一组组的位，它们依据上下文有不同的解释方式。

（3）程序被其他程序翻译成不同的形式，开始时是ASCII文本（或者其他编码的文本），然后被编译器和链接器翻译成二进制可执行文件。

（4）编译系统的四个阶段：预处理，编译，汇编，链接。

（5）处理器读取并解释存放在主存里的二进制指令。

（6）计算机主要硬件：总线，主存（内存），IO设备，处理器。

（7）因为计算机花费了大量的时间在内存、I/O设备和CPU寄存器之间复制数据，所以将系统中的存储设备划分成层次结构：CPU寄存器在顶部，接着是多层的硬件髙速缓存存储器、DRAM主存和磁盘存储器。

（8）在层次模型中，位于更高层的存储设备比低层的存储设备要更快，单位比特造价也更高。

（9）层次结构中较高层次的存储设备可以作为较低层次设备的高速缓存。通过理解和运用这种存储层次结构的知识，程序员可以优化C程序的性能。

（10）操作系统内核是应用程序和硬件之间的媒介。它提供三个基本的抽象：
　　1) 文件是对I/O 设备的抽象；文件本身就是字节序列。 
　　2) 虚拟内存是对主存和磁盘的抽象；虚拟内存提供的抽象让每个进程看到的内存都是一致的，称为虚拟地址空间。
　　3) 进程是处理器、主存和I/O设备的抽象。

（11）在虚拟地址空间中，从下往上（从低地址到高地址）的顺序是：程序代码和数据、堆、共享库、栈、内核虚拟地址空间。

（12）进程是操作系统对一个正在运行的程序的一种抽象。上下文就是操作系统跟踪进程运行所需的所有状态。进程的切换就是需要进行上下文切换：即保存当前进程的上下文、恢复新进程的上下文，然后将控制权传递到新进程。

（13）网络提供了计算机系统之间通信的手段。从特殊系统的角度来看，网络就是一种I/O设备。