今天编译一个C++程序时,报了一个奇怪的错误(之前是好好的):
1>LINK : fatal error LNK1123: failure during conversion to COFF: file invalid or corrupt
Google上搜了一下解决方案:
把Project Properties -> Configuration Properties -> Linker (General) -> Enable Incremental Linking中的Yes (/INCREMENTAL)改成No (/INCREMENTAL:NO)
果然管用!
但又有个新的疑问出现了:Incremental Linking是什么?它有什么作用?
大概总结一下:
Incremental Linking翻译成中文就是“增量链接”,是一个链接的参数选项,作用就是为了提高链接速度的。什么意思呢?不选用增量链接时,每次修改或新增代码后进行链接时会重新洗牌,把原来的.exe删了,重新链接成一个新的.exe,这样对于大型项目来说链接会比较慢。而选用增量链接时,在对代码做小的改动时会把新成的函数或数据穿插到已有的.exe中,而不重新生成.exe,只有做了大量修改时才可能会重新编排,这样就可以提高链接的速度。
一般VS的默认设置会把Debug版的Incremental Linking设置成Yes (/INCREMENTAL),而把Release版的设置成No (/INCREMENTAL:NO)。
关于Incremental Linking更详细的介绍和分析请参考另一位博主的原文:
http://www.cnblogs.com/Dahaka/archive/2011/08/01/2124256.html
为方便阅读,直接将这文章拷贝了一份:
好的,文接上回,本文我就来讲讲微软link.exe连接器的Incremental Liking这个特性。当然这个其实不是微软linker独有的特性,很多链接器都有这个特性,这个特性实际上是为了提高链接速度的。
想象一下这个场景,我写了两个函数foo()和bar(),其中foo()在0x400100处而bar()紧接着保存在0x400200处。现在我将foo()改写了一下,添加了一些perfect的功能,然后编译了新的代码。不过现在的麻烦是foo()不可避免的变大了,他现在需要200h字节来保存了。那么链接器该怎么办?
一般的思考是——重新洗牌,将现有的编译好的exe删除了,然后重新布局所有的函数,也即是说bar()函数向后挪动0x100h字节的位置,给foo()腾出空间来。然后之后所有的函数都需要重新定位……对于大型软件来说这个处理时间开销是痛苦的,但作为程序员我们却不能避免需要不断的调试改代码,不断地重复这个耗时的工作。
不过我们现在并不需要给客户最终的发行代码,我们只是想要尽快地将程序的bug改掉然后去休息而已!于是,Incremental Linking出现了!它的原理如下:
现在连接器不会将所有函数紧挨着放在一块儿了,他们会在函数之间加上padding,这个时候函数要想添几句指令就有余地了。只要我们的改动不大,没有超过padding的范围连接器就不需要重新洗牌,这大大提高了链接的速度。
先别高兴,加入我们的改动很大,以至于超过padding能够搞定的范围怎么办?如上图,我们还会在整个section末尾设置一个较大的padding(当然具体在哪里要看实现,比如我这图是从GCC那里搞得,说的就是ld.exe的行为方式),这时候就可以将这个函数搬到这里来了。但有个毁灭性的问题——所有调用我这个函数的函数都必须重定位他们的call指令啊!
为了解决这个问题,我们引入了一个ILT表(Incremental Linking Table),这个表是放在.text区域中的(我在IDA中观察得知)。它的原理是什么呢?我们来看:
;之前我们都是直接调用函数 call foo ;现在我们来点小把戏 call foo_stub foo_stub: jmp foo
我们现在不直接调用函数,而是call到一个包含jmp指令的地方,然后由这个指令将我们的程度带往foo()函数的实现去。现在如果我们将foo()的实现改动过大后,linker直接将foo()移动了,然后只需要修改这个jmp指令就行了。可以看到,这种实现方式开销是O(1)。然后当很多个函数都用这种方式时,就形成了一个有jmp指令构成的表——这就是ILT表啦。
有兴趣的童鞋可以做下实验,在VS2010编译一次代码,然后用IDA或者W32Dasm之类的软件可以看到两个函数之间间隔了不少距离,而这些间隔就是我们所谓padding。padding被填充以0xCCh的数据。熟悉win32汇编的朋友这时候该笑而不语了,是的,这个值就是指令INT 3。在WIndows下,执行这个指令会引发一个异常,然后程序会被终止或是回到调试器去,这当然是出于安全性考虑的。这之后如果你在前一个函数加几句话,编译后可以看到两个函数位置不变,但函数间的padding变小了。
和.textbss的关系
嘛,之前有篇我讨论了PE常见的section,里面提到了这个节,下面我就详细介绍一下它的作用。
首先Incremental Linking作用不仅仅是在于减少我们重新连接程序所需要的时间,他还是我们调试时能够动态改动代码的前提。不知你还记得不,在那个炎热的夏天,你正汗流浃背地在没有空调的部屋里调试C代码(咳,说远了……)你直接修改了代码,然后VS直接在调试的时候将你的改动反映到程序里去了。这就是VS在Debug模式时动态编译代码的功能。
实际上这个功能是基于Incremental Linking机制的,而且是使用的Incremental Linking的第二套方案——直接找个大的地儿把修改的函数挪过去。
但是和.textbss有啥关系?
首先我们看到,.textbss有关键字bss,这就说明实际上这个节没有占据实际的硬盘空间。然后text关键字告诉我们这里段是包含代码的,另外用工具查知这个段有可执行属性更是印证了这个观点。没有代码,那要这个节有啥用呢?
你想到了么?是的,在VS动态编译的时候,他直接将被修改的函数放到了.textbss节里,然后修改了对应的ILT表项,是他指向这个位置。
说是简单,但实际上这个过程还个细节需要注意——你把我的函数挪地儿了,要是我正在执行这个函数怎么办?实际上,在改了ILT之后立刻会做的,就是检查当前程序所有线程的TIB,如果他们的EIP指向老的函数(它们正在执行老版本函数),我们就修改EIP使其指向新版本函数的对应位置。当然,这实际上暗示了,这个工作非要在调试程序的帮助下不可了。注意动态编译的功能只在Debug版本程序下有效,Release版本是不行的,因为Release版本默认禁用Incremental Linking。
下面是小亡的实验时间,以验证我的观点:
我就用手头上的程序来测试。有函数CheckValidPE(),它的RVA是0x12490h(你可理解为内存地址)。我的程序地址空间部分如下:
Section RVA Size
.textbss 1000h 10000h
.text 11000h 7000h
可以看到这两个函数实际上是位于.text节内的。我在CheckValidPE()上下个断,可以看到:
bool PEAnalyser::checkValidPE() { 00D92490 push ebp 00D92491 mov ebp,esp 00D92493 sub esp,0FCh 00D92499 push ebx 00D9249A push esi 00D9249B push edi 00D9249C push ecx ......
从这里我发觉了VS貌似从来都是随机装载PE映像的ImageBase位置的,搞得我之前一次实验满心欢喜用常用的0x400000h为基址换算了所有的RVA~~T_T。。。
我之前说了CheckValidPE()的RVA是0x12490h,这里的绝对地址是0x00D92490h,我们用0x00D92490h-0x12490h = 0xD80000h,得到两个的差值。哈哈,看来这次的映像基址被射到了0xD80000h。
我回到VS源代码视图上,对代码稍作粉饰,嗯,然后它发生了!!!
bool PEAnalyser::checkValidPE() { 00D81000 push ebp 00D81001 mov ebp,esp 00D81003 sub esp,0FCh 00D81009 push ebx 00D8100A push esi 00D8100B push edi 00D8100C push ecx 00D8100D lea edi,[ebp-0FCh] 00D81013 mov ecx,3Fh 00D81018 mov eax,0CCCCCCCCh 00D8101D rep stos dword ptr es:[edi] .....
注意看函数变到这个地址来了!!而且VS的调试程序指针也确实说明EIP被更改了。
我们来算一下,看看这个地址在哪里?用这里新的函数起始地址减去我们之前计算的的基址得到RVA = 0xD81000h - 0xD80000h = 0x1000h
回去查一下我的内存地址空间,RVA为0x1000h正是位于.textbss节的起始位置。看来我的猜测是正确的。
小结一下,关于Incremental Linking,由于他的机制所致,势必带来程序体积的臃肿以及执行的低效,但是由于我们只是在Debug程序是使用,所以问题不大。另外VS默认是在Debug是开启Incremental Linking而Release模式关闭这个特性的。这说明在Release时,我们不能够动态的改动代码了。
另外注意Incremental Linking是和/LTCG 选项不兼容的,你不能同时开启Incremental Linking和Link Time Code Generation,从这个角度讲,使用Incremental Linking进一步会造成程序执行效率下降。所以,我们应该在发布程序时,注意避免带上这个特性。