C文件如何成为可执行文件(编译、链接、执行)——摘自《程序员的自我修养》

本文算是我阅读《程序员的自我修养》(俞甲子等著)相关章节的笔记,文中直接引用了原书中的叙述,强烈建议大家去看原书,本文只做概要介绍而用。

——注:文中有很多引用图的地方,请大家自己去找原书看,支持正版!

我遇到一个问题,Linux C编程中的问题:

..
char *p;
unsigned int i = 0xcccccccc;
unsigned int j;
 
p = (char *)  &i;
printf("%.2x %.2x %.2x %.2x\n", *p, p[1], p[2], p[3]);
 
memcpy(&j, p, sizeof(unsigned int));
printf("%x\n", j);
...
 
Output:
 
ffffffcc ffffffcc ffffffcc ffffffcc
0xcccccccc
 
 
My questions are:
 
1. Why it prints "ffffffcc ffffffcc ffffffcc ffffffcc"? (if p is
unsigned char* then it will print correctly "cc cc cc cc")
2. Why pointer to char p copied to j correctly, why not every member
in p overflow? since it is a signed char.

这是别人在邮件列表中提出的问题,在试图回答这个问题的过程中,突然发现,自己对连接器的工作并不熟悉,因此拿来好书《程序员的自我修养》来看,并做如下汇报,强烈推荐《程序员的自我修养》!!!

写好的C语言文件,最终能够执行,大致要经过预处理、编译、汇编、链接、装载五个过程。

预编译完成的工作:

         (1)将所有的"#define"删除,并展开所有的宏定义

         (2)处理所有条件预编译指令

         (3)处理#include预编译指令,将被包含的文件插入到预编译指令的位置,这个过程是递归进行的。

         (4)删除所有的注释

         (5)添加行号和文件名标识,以便调试

         (6)保留所有的#pragma编译器命令,因为编译器需要使用它们。

编译完成的工作:

 

         (1)词法分析

                   扫描源代码序列,并将其分割为一系列的记号(Token)。

         (2)语法分析

                   用语法分析器生成语法树,确定运算符号的优先级和含义、报告语法错误。

         (3)语义分析

                   静态语义分析包括生命和类型的匹配,类型的转换;动态语义分析一般是在运行期出现的与语义相关性的问题,如除0错。

         (4)源代码生成

         源代码级优化器在源代码级别进行优化:如将如(6+2)之类的表达式,直接优化为(8)等等。将语法书转换为中间代码,如三地址码、P-代码等。

         (5)代码生成

         将源代码转换为目标代码,依赖于目标机器。

         (6)目标代码优化

汇编完成的工作:

         将汇编代码变成机器可以执行的指令

链接完成的工作:

         链接完成的工作主要是将各个模块之间相互引用的部分处理好,使得各个模块之间正确衔接。链接过程包括:地址和空间分配、符号决议和重定位。

         首先讲静态链接,基本的静态链接如下:

                                                       

                   我们可能在main函数中调用到定义在另一个文件中的函数foo(),但是由于每个模块式单独编译的,因此main并不知道foo的地址,所以它暂时把这些调用foo的指令的目标地址搁置,等到最后链接的时候让连接器去修正这些地址(重定位),这就是静态链接最基本的过程和作用;对于定义在其他文件中的变量,也存在相同的问题。具体过程如下:

         (1)空间和地址分配

                   1)空间与地址分配:扫描所有输入目标文件,获得各个段的属性、长度和位置,并且将目标文件中的符号表中所有的符号定义和符号引用收集起来,放到一个全局符号表中。

                   2)符号解析和重定位:使用第一步收集到的信息,读取输入文件中段的数据、重定位信息,并进行符号解析与重定位、调整代码中的地址等。

         动态链接的过程更为复杂,但是完成的工作类似。

         动态链接的初衷是为了解决空间浪费和更新困难的问题,把链接过程推迟到运行时进行

 

         首先介绍一个重要的概念——地址无关代码。为了解决固定装载地址冲突的问题,我们希望对所有绝对地址的引用不作重定位,而把这一步推迟到装载的时候再完成,一旦模块装载地址确定,即目标地址确定,那么系统对程序中所有的绝对地址引用进行重定位。同时我们希望,模块中共享的指令部分在装载时不需要因为装载地址的改变而改变,所以把指令中那些需要被修改的部分分离出来,跟数据放在一起,这样指令部分就可以保持不变,而数据部分可以在每个进程中拥有一个副本,这种方案目前被称为地址无关代码(PIC,Position-independent Code)。

         我们需要解决如下四种引用中的重定位问题:

                                                               

1)模块内部调用或者跳转:这个可以用相对地址调用或者基于寄存器的相对调用,所以不需要重定位

2)模块内部数据的访问:用相对寻址的方法,不过链接器实现得十分巧妙:

                                               call494 <__i686.get_pc_thunk.cx> 

                                               add$0x188c, %ecx

                                               mov$0x1, 0x28(%ecx)               //a=1

                                               调用一个叫做__i686.get_pc_thunk.cx的函数,把call的下一条指令的地址放到ecx寄存器中,接着执行一条mov指令和一个add指令

3)模块间数据的访问:在数据段里建立一个指向全局变量的指针数组,也成全局便宜表(GOT),当要引用全局变量时,可以通过GOT相对应的项间接引用:

                                                       

GOT是做到指令无关的重要的一环:在编译时可以确定GOT相对于当前指令的偏移,根据变量地址在GOT中的偏移就可以得到变量的地址,当然GOT中哪个每个地址对应于哪个变量是由编译器决定的。

4)模块间的调用、跳转:采用上面类似的方法,不同的是GOT中相应的项存储的是目标函数的地址,当模块需要调用目标函数时,可以通过GOT中的项进行间接跳转。

 

                                                       

 

         地址无关代码小结:

                    

         现在,来看动态链接中的另一个重要问题——延迟绑定(PLT)。当函数第一次被用到时才进行绑定,否则不绑定。PLT为了实现延迟绑定,增加了一层间接跳转。调用函数并不是通过GOT跳转的,而是通过一个叫PLT项的结构进行跳转的,每个外部函数在PLT中都有对应的项,如函数bar,其在PLT对应的项的地址记为bar@plt,实现方式如下:

                   bar@plt:

                            jmp* (bar@GOT)

                            pushn

                            pushmoduleID

                            jump_dl_runtime_resolve

         链接器的这个实现至为巧妙:

         如果在连接器初始化阶段,已经正确的初始化了bar@GOT,那么这个跳转指令的结果正是我们所期望的,但是,为了实现PLT,一般在连接器初始化时,将"pushn"的地址放入到bar@GOT中,这样就直接跳转到第二条指令,相当于没有进行任何操作。第二条指令“pushn”,n是bar这个符号引用在重定位表“.rel.plt”中的下标。接着将模块的ID压栈,跳转到_dl_runtime_resolve完成符号解析和重定位工作,然后将bar的地址填入到bar@GOT中。下次再调用到bar时,则bar@GOT中存储的是一个正确的地址,这样就完成了整个过程。

        

 

         在链接完成之后,就生成了你要的可执行文件了,如ELF文件,至于这个文件的详细的信息,可以参考相关的文档。

         现在,你要运行你的可执行文件,这是如何做到的呢?

         我们从操作系统的角度来看可执行文件的装载过程。操作系统主要做如下三件事情:

(1)创建一个独立的虚拟地址空间,但由于采用了COW机制,这里只是复制了父进程的页目录和页表,甚至不设置映射关系(参考操作系统相关书籍)。

(2)读取可执行文件头,并且建立虚拟空间与可执行文件的映射关系。

(3)将CPU的指令寄存器设置成可执行文件的入口地址,启动运行。

我们来看一下执行过程中,进程虚拟空间的分布。

         首先我们来区分Section和Segment,都可以翻译为“段”,那么有什么不同呢?从链接的角度来讲,elf文件是按照Section存储的,从装载的角度讲,elf文件是按照Segment存储的。”Segment”实际上是从装载的角度重新划分了ELF的各个段,将其中属性相似的Section合并为一个Segment,而系统是按照Segment来映射可执行文件的。所以,在谈到ELF装载时,“段”专门指“Segment”,而其他情况下指“Section”。

你可能感兴趣的:(c,优化,工作,汇编,编译器,操作系统相关)