incredibuild工具

转自：http://blog.csdn.net/zhangjian33446/article/details/6056878

配置可以参考这个博客的相册里的图片：http://blog.csdn.net/chief1985/article/details/6101566

项目大了 交叉引用多了 编译速度就慢了   所以联合编译就好用了   最近看了下这个工具   简单的记录下

 

1.incredibuild工作原理：本质上就是分布式计算  就是通过服务器的均衡   将编译分布在多个计算机上进行   简单讲就是说将一个计算机做的事分给多个计算机去做   这样就大大的提高了编译速度

2.使用方法：incredibuild分服务器和客户端   也就说coordinator和agent   在服务器上安装coordinator  在我们用的计算机上安装agent  然后就可以用了   说明下， agent和我们用的vs可以很好的结合   此外注意一些防火墙和插件对这个工具的影响 

 

以上是自己对这个东西的理解和使用   至于具体详细的使用还没仔细的试过  下面是几个文章   讲的是这个工具   还不错   记录下

 

转自：http://blog.csdn.net/hkx1n/archive/2010/08/12/5807194.aspx

IncrediBuild 进行联合编译

IncrediBuild是一款编程开发工具,可加快C/C++ 的编译和创建速度。能无缝集成到Visual Studio开发环境中，采用Xoreax 的多线程处理技术，不必改变项目文件的代码。  　　编译速度慢向来是C++/C程序语言的一个最大的弱点.开发者花费几个小时在工作站上等待整个产品的创建,或者一天好多次花十分钟等待不断增加的编译的完成—工作效率很低而且浪费时间.  　　IncrediBuild对此首次提供了独特有效的解决方案.通过使用Xoreax分布式编译(多线程处理)技术, Visual Studio project的编译速度将大大提高,而且不必改变项目文件代码  　　IncrediBuild无缝集成到Visual Studio开发环境,并且有很强的命令行界面,大大增强了Microsoft Visual Studio开发环境.

虽然现在计算机的运算速 度不断提高, 但大型软件的编译速度仍然是个漫长的过程,我所在的项目, 软件大小约为200K行, 在VC6下的编译时间为3分钟(P4 1.8G, 512M), 在交叉编译时更慢, 提高编译速度将能够直接提高前期调测的效率. 本文将介绍提高编译速度的有效方法之一 - 分布式编译.
分布 式编译的原理很简单, 就是将编译的整个工作量通过分布计算的方法分配到多个计算机上执行, 这样可以获得极大的效率提升. 由于分布式计算的技术相对成熟, 现在可以见到的分布式编译软件也较多. 一般来说, 一个分布式编译软件不是一个编译器, 而是附着在某个编译器上的分布计算管理软件, 使得对于特定的编译器可以实现分布式编译.
常见的分布式编译器通常是对应于特定的C/C++编译器, 如Gcc, Visual C++, 因为这些编译器使用相当广泛且开放度高. 因而实现分布式编译的意义更大. 下面分别以Visual C++和Gcc为例说明两个典型的分布式编译软件:
1)IncrediBuild
这 是一个对应Visual C++ 的分布式编译软件, 通过Visual C++强大的IDE扩展功能, 它有着非常友好的界面, 可以将整个分布式编译过程直观的展现给用户, 并且它通过一个"虚拟机"的技术, 使能编译的参与者可以与编译发起者有着不同的系统配置(Windows操作系统版本, 库文件等), 甚至无需在参与者机器上安装Visual C++.
IncrediBuild 需要一个特定的计算机做仲裁者, 其他的所有计算机作为客户, 有了仲裁者的好处是, 可以有它来统一安排所有客户端所发起的编译请求, 一旦某个客户发起编译请求, 则仲裁者会根据其他客户的CPU空闲情况而安排分布式编译, 当多个客户同时发起编译请求时, 仲裁者会自动平衡分布计算负担,使得编译参与者不会占用过多的CPU.
在我们的项目中, 使用IncrediBuild的结果如下:
未使用: 3分钟
5客户: 40秒
10客户: 25秒
可见IncrediBuild对编译性能的巨大提升, 并且在取得如此性能提升的同时, 仲裁者和编译参与者的CPU占用率很低. 保持相当高的可用性, 这是很难得的.
IncridiBuild的缺点是目前仅支持Visual C++ 6编译器和.Net编译器, 也仅适用于Windows平台. 适用范围相对较窄.

2)DistCC
这是一个GNU的分布式C++编译器, 适用于一切Gcc兼容的C++编译器, DistCC也具有很好的跨平台特性, 支持Linux, XFree86, CygWin等平台. 使用范围相当广泛.
DistCC和IncrediBuild的差别在与DistCC不使用仲裁者, 直接由客户端对其他客户端发起编译请求. 所以每个客户端都需要知道其他客户端的位置, 并且当多个客户发起编译请求时不易做平衡处理.

 

转自：http://blog.csdn.net/lacsis/archive/2009/08/27/4486783.aspx

 

初试分布式编译系统 IncrediBuild(转)

初试分布式编译系统 IncrediBuild

随着项目复杂性的逐渐增加，编译时间开始成为一个需要关注的问题。最近我的一个项目里，由于大量使用了C++的模板技术，导致编译时间非常长。尝试过很多其他方法，效果都不明显。今天，尝试了一下分布式编译系统 IncrediBuild ，感觉有些效果，特此简要记录一下。

测试前，我先对项目进行了几次 rebuild，以确定参考编译时间：

• scons mytarget : 采用默认参数，编译时间为 20 分钟；
• scons -j16 mytarget : 采用 scons 的并发编译，这样可以充分利用我的双核 CPU，编译时间为 13 分钟；

IncrediBuild 是一个分布式编译系统，由两大部分组成：Coordinator 和 Agent，Coordinator 类似一个中央任务分派器，用来管理各个编译 Agent：

我有两台可用作编译的电脑，台式机 Kingkong 是 Intel E5200，笔记本 Ninja 是 Intel T7100，它们都是双核 CPU 。根据这个架构，我在 Kingkong 上安装 Coordinator ，然后将 Agent 分别安装到 Kingkong 和 Ninja 上。

要进行 IncrediBuild ，还需要配置一个 xml 文件，比如我的就是：

<?xml version="1.0" encoding="UTF-8" standalone="no" ?>

<Profile FormatVersion="1">

  <Tools>

    <Tool Filename="python" AllowIntercept="true" />

    <Tool Filename="cl" AllowRemote="true" VCCompiler="True"/>

    <Tool Filename="link" AllowRemote="false" />

  </Tools>

</Profile>

我将这个文件保存为 incredibuild.xml。然后从控制台启动 IncreditBuild：

] XGConsole /command="scons -u -j16 mytarget" /openmonitor /profile="incredibuild.xml"

启动后，一个图形化的编译界面就开始记录整个分布式编译过程：

编译结束后，从分析报告里看出，本次编译用了 10分钟又10秒。感觉比 13 分钟的单机编译没有提高多少。仔细分析原因，从图中可以看出，我的项目使用了 CUDA 的编译器 nvcc ，而这个编译器并不是被 IncrediBuild 所支持的，所以无法分派到远程 Agent 上进行编译。不过，对于 cl 这个 MSVC 的编译器，从图中可以看出确实体现了分布式编译的效果。所以，要想进一步提高编译速度，有两个方面：一是看看如何让 IncrediBuild 支持 nvcc 编译器；二是，增加更多的 Agent（不过增加更多的 Agent 似乎对于我的这个项目不会有太多的效率提高，因为我的瓶颈在于 nvcc 的编译过于缓慢了）。

当然，我也是初次尝试这个系统，对很多设置都还不太了解，比如我就很奇怪，那些使用的第三方库是怎么分派到远程计算机上的 呢？IncrediBuild 在设置时会为每个 Agent 分派一个缓冲区，默认是4G ，我估计这就是用来存放这些编译依赖的文件的地方，当然，具体怎样还需要进一步摸索。

总之，对于纯 C++ 的项目，我想，这个系统应该是能大大提高编译速度的。