Bazel增量模型剖析

SkyFrame

Bazel的并行评估和增量模型:

   数据模型有以下项目：

1.    SkyValue:节点。包含输入文件，输出文件，源文件和Build。

2.    SkyKey：路径目录。

3.    SkyFunction: 根据Key和依赖节点来构建节点。

4.    Skyframe：源码中关于增量模型代码的名字。

 

SkyFunction是以SkyKey为参数的递归函数。SkyKey通过哈希Map映射到SkyValue。

 

评估：

     构建过程包含评估代表构建请求的节点。首先通过顶层的SkyKey来调用SkyFunction。SkyFunction自底向上递归调用。过程中用到了一个关于文件的依赖关系图。

       如果不能提前知道所有需要的节点，一个SkyFunction可以多次请求传递SkyKey。

       函数接口类SkyFunction中被表示成代码。SkyFunction.Environment类向其提供服务。

       以下是这个函数可以做到的：

1.    通过调用env.getValue方法请求一个节点的评估。如果一个节点是可以被利用的，返回这个节点，否则返回NULL。之后，依赖节点被评估，原始节点的构建器再次被调用，然后相同的env.getValue将会返回NULL。

2.    请求评估多个其他节点通过调用env.getValues()。这个本质上和上面是一样的，依赖节点被平行评估。

3.    在调用期间进行计算。

SkyFunction实现不应该在任何除了请求依赖关系以外的地方获取数据 ,因为依赖关系没有在所读的文件中，这样会导致错误的增量构建。

       当一个函数有足够做他工作的数据的时候，他应该返回NULL。

       这个评估策略有以下好处：

1.    密封性

2.    正确和完美的渐进性

3.    并行

 

增量：

       因为函数只能通过其他节点来获取数据，Bazel可以从输入数据到输出数据建立一个完整的数据流图，通过这些信息重构那些真正需要被重构的节点：改变的数据的反向传递闭包。

       Bazel目前采用子底向上的方式：

              在一个图被建立之后，改变的输入集合已将知道了。改变节点的反向传递闭包上都是无效的。通过在所有先前建立的构建中的所有文件中调用stat()函数来判断来判断文件是否改变。这个操作可以通过使用inotify来提高。

       为了获得更好的增量效果，如果一个节点重构后跟之前是一样的，那这个节点将被“复活”（相当于如果它的父节点的其他儿子没有重构则不需要重构其父节点）。

       另外一个有用的，C++中修改注释，.o文件是不变的。因此不需要重构。

       其他改进（目前Bazel没有实现）:

1.    增量链接

2.    如果仅仅在jar包中，仅仅一个类改变了，我们理论上可以修个它而不是重头构建它。