使用distcc和ccache缩短C/C++项目编译时间

一个大型的C/C++项目的编译非常耗时。distcc和ccache这两个工具能够非常有效地压缩编译时间。它们并不是独立的编译器，而是配合 GNU GCC使用（它们的资料明确说明并不关注其他编译器）。distcc介绍中说，有人完整编译KDE项目只花费6分钟。可见其厉害！此外，它们都非常易用，保证几分钟就能上手！

这两个项目的主页：
distcc            http://distcc.samba.org/
ccache            http://ccache.samba.org/
这两个软件的安装没什么好说的，都是标准的"./configure;make;make install"。在Ubuntu上安装更简单：sudo apt-get install distcc ccache。

distcc工作原理：

GCC 编译C/C++构建一个execualble分为三个阶段：(1)C/C++预处理(gcc -E)；（2）编译(gcc -c)；(3)链接(ld)。其中第二阶段是效率瓶颈，尤其在指定“-O2”等优化选项时。distcc是一个编译器驱动器。它在"gcc -c"阶段把预处理输出分发到指定的服务器阵列（各服务器监听TCP端口3632）并收集结果。GNU Make和SCons的"-j"并行编译可以利用distcc来加速编译。

distcc用法：
(1)服务器端以普通用户执行“distccd --daemon --allow 10.0.0.0/16”。这使得distccd接受来自10.0网段的所有TCP连接。
注意：distcc文档中说"--allow 0.0.0.0"是接受所有连接－－这已经过时，实际效果是拒绝所有连接！
(2)如果工程使用automake机制。
设置DISTCC_HOSTS环境变量。
在configure阶段执行"CC=distcc ./configure"。然后执行"make -j XX"。XX是并发任务数目上限。
(3)如果工程由GNU make管理。
设置DISTCC_HOSTS环境变量。
修改Makefile使得在原来C/C++编译器名称前加上"distcc "，例如设置CC="distcc arm-linux-gcc"。然后执行"make -j XX"。XX是并发任务数目上限。
(4)如果工程由SCons管理。
修改SConstruct使得在原来C/C++编译器名称前加上"distcc "。导出环境变量HOME和DISTCC_HOSTS到构建环境（注意SCons不会自动把系统环境变量导出到builder子进程）：
 Environment(ENV={'HOME': os.environ['HOME'],'DISTCC_HOSTS': ‘localhost 10.0.0.2’},...)
然后执行"scons -j XX"。XX是并发任务数目上限。


distcc故障处理：
运行distccmon-gnome。如果在编译期间某个distcc服务器一直不活跃，可能的原因比较多。
distcc服务器的问题可能有
(1) IP地址不可达。
(2) distccd进程没有启动。
(3) distcc客户端IP不在--allow指定的范围内。
(4) distccd监听的3632端口被防火墙屏蔽。
distccd的日志记录在/var/log/messages。必要时查看一下。

客户端的问题可能有：
(1) 一些环境变量没有设置
distcc依赖的环境变量有HOME和DISTCC_HOSTS。
distcc 日志在解决问题时尤其有用。默认的错误信息输出在console。还可以设置DISTCC_VERBOSE和DISTCC_LOG环境变量以记录详细的调试信息到一日志文件（这对理解distcc工作过程也非常有用）。参考distcc和distccd联机帮助。

ccache工作原理：
ccache也是一个编译器驱动器。第一趟编译时ccache缓存了GCC的“-E”输出、编译选项以及.o文件到$HOME/.ccache。第二次编译时尽量利用缓存，必要时更新缓存。所以即使"make clean; make"也能从中获得好处。ccache是经过仔细编写的，确保了与直接使用GCC获得完全相同的输出。


ccache用法：
很简单，就像上面distcc用法提到的那样，给所有C/C++编译器名称前加上"ccache "即可。
ccache还可以把distcc作为后台的编译器。编译器设置为"ccache distcc "＋原编译器即可。

从我经历的两个项目来看，单独使用ccache或distcc（除localhost外只用1台distcc服务器）效果比较显著。但是联合使用distcc和ccache的效果就和仅使用distcc差不多。个人倾向于只使用distcc，多加几台distcc服务器。