Conan C++内网包管理构建方案

需求

在公司的研发过程中，源码以及文档是公司重要的资产。目前，很多公司都将研发进行了内网化，禁止直接与互联网进行连接。内网开发中，C++项目如何进行包管理，是一个重要问题。而在内网的包管理中，最大的问题是经常需要对其他开源项目包进行依赖，而重新构建这些包管理，对我们是不小的挑战。

实施方案

总体策略

基于现有开放的包管理中心，对包进行本地化移植。
最终的方案是这样的。首先，通过包管理器的索引文件找出所有的包、版本信息、源码信息；然后，根据解析的包信息，对包中的源码文件进行本地化下载映射；最后，将远程仓库中的包转移到本地仓库。另外一个额外的步骤，将本地外网仓库导出，修改源码下载配置，然后导入到内网中的仓库，完成公网C++包的公网转内网。

架构部署

物理机器架构部署图

公网仓库中心：就是常规意义的Conan-Center仓库，是Conan C++包的官方仓库中心，包含了常见的C++包。
外网中转仓库中心：主要目的是将公网仓库中心的包转移到本地，在本地完成包关系验证，确保包转移后的正确性。
内网仓库中心：部署在不能连接互联网内网中的仓库中心。

流程及问题梳理：

1. 需要一个方式，能够将公网仓库中心的包转移到外网中转仓库中心；
2. 需要能够获取到所有的包列表；
3. 需要一个方式，能够将外网中转仓库中心的包，转移到内网仓库中心；
4. 需要对包源码文件进行管理，确保内网能够下载到包源码文件；

为了解决以上问题，将任务进行如下分解：

1. 获取包列表，以及包对应源码信息；
2. 获取包依赖关系；
3. 实现远程包源码与本地包源码的一一映射；
4. 公网仓库包本地转移；
5. 包源码信息修改；
6. 包的内网导入；

为了实现以上任务，需要对部署图进行一定升级，需要内网提供一个源码访问的存储。升级后的部署图如下：

添加源码存储后的架构部署图

实现

包列表获取

github上有一个项目叫做conan-center-index，是conan-center的索引同步信息文件。理论上来说，从这个项目文件可以直接构建出本低仓库，但由于本任务设定时间紧迫（从学习conan包管理器，到完成内网转移方案实现，预期时间2天），此想法还没有完全验证。仅仅将这个索引文件导入到仓库中，并不能直接识别包信息，应该需要其他特殊处理过程。
在conan-center-index项目中，基本使用了python脚本与yml文件进行包信息描述。在实现本任务过程中，本想着基于此项目信息同步分析包依赖关系，执行py文件，获取相关信息。但存在一个问题，py文件依赖了大量conan的内部模块，不能直接运行，为解决此问题，有两个方法，1，构建这些模块的mock，使得可以启动执行；2，直接引入conan的内部模块。后期对两个方法都进行了简单的验证，第一个方法基本也是可行的，但由于是mock，不确定是否对结果有什么影响。第二个方法很难实现，主要是需要完成按conan的流程来调用执行，这个过程需要时间来分析具体代码，目前没有太多时间计划。
由于各种因素，最终只是解析conan-center-index项目中的yml文件，获取到包名称、版本、以及对应的源码文件信息。

包依赖关系获取

conan提供了一个info命令，可以提供依赖信息。命令大致如下：

conan info poco/1.9.4@ -r=conan-center -j=o.json

输出结果为o.json文件，后续对该文件进行解析。

远程包源码与本地包源码的一一映射

一个较好的做法是将文件的校验码作为本地文件存储目录名称，确保一一映射的准确。但由于时间关系，选择了另外一个相对存在一点不足的方法，将链接直接MD5作为本低存储目录名称，一般来说，这个方案风险也不大，因为源码打包路径中都带有版本信息，很少会保持目录不变，而源码内容进行变化，但也是存在这个可能的。

仓库包本地转移

通过Conan的两个命令实现，一个是从远程仓库安装包，另一个是将安装的包上传到本地仓库。由于从远程仓库安装包，对机器存储空间有要求，而测试电脑中硬盘空间也是很紧缺，另外安装也是存在一定的失败可能，所以选择不是安装包，而是查看包依赖。查看包依赖时，会将包的描述信息下载到本地，但不会尝试构建二进制信息，所以只要网络不出问题，这个操作就基本都是成功的，可行性更高。

conan info poco/1.9.4@ -r=conan-center -j=o.json
conan upload poco/1.9.4 -r=local-center

包源码信息修改

包源码信息修改，有两个方式。
第一个方式，在外网中转仓库中心，导出仓库。在导出的仓库目录中，有包的描述文件，对包描述文件进行修改，将源码获取从公网设置到内网，例如http://github.com/xxx/xxx.zip修改为ftp://172.1.2.5/packages/md5xxx/xxx.zip。
第二个方式，不对包描述信息进行修改，而是在Conan源码上进行修改。当检查获取源码信息时，将当前路径自动转换为内网路径。
两个方式都能满足目前需求，但考虑到可维护性，第二个方式会更优一些。当公网包升级时，采用方案1，需要每次都进行源码路径修改，这个操作可能被忘记。另外，内网存储包源码的路径可能也会发生变化，相对来说第二个方式会更具有可维护性。

包的内网导入

这个功能是JFrog Artifactory自带的功能。在其web管理页面中进行操作即可。

源码

https://gitee.com/imlaji/conan-info-parse
源码包含了包列表解析、包一一映射本地下载、包依赖关系解析、包公网转本地执行。