深入理解CMake(3):find_package()的使用

created in 2019-03-03 11:44:11
updated in 2019-3-28 14:31:21

依赖包的实际情况：找不到，不知道如何切换版本

前面两篇从cmake源码中命令行入口参数、Caffe源码顶层CMakeLists.txt进行了解读，整体有了一个印象。在此基础上，考虑实际中最常遇到的问题：基于CMake构建Caffe，如何确保每一个依赖被正确找到？尽管用了CMake用了find_package()，也看到了Caffe官方的CI构建脚本scripts/install-deps.sh，但是自己机器不是docker环境、如何切换多个版本的依赖包？

find_package()命令是用来查找依赖包的，理想情况下，一句find_package()把一整个依赖包的头文件包含路径、库路径、库名字、版本号等情况都获取到，后续只管用就好了。但实际中往往CMake失败就是出在find_package()的失败上（这里不考虑后续make/nmake/msbuild以及编译器、链接器直接执行时的编译、链接出错，只讨论cmake根据CMakeLists.txt执行时候的情况），例如：

• 多个OpenCV版本的问题
  • apt或brew等系统包管理工具安装的opencv，和手动编译的OpenCV共存问题
  • 手动编译安装了多个版本的OpenCV问题，也许你同时需要opencv2和opencv3，甚至opencv4
• 多个protobuf版本问题
  • protobuf的python包需要和proto C编译器protoc版本一致，否则带python layer的prototxt解析失败
  • 安装了TensorFlow时被迫安装的protobuf3，但是Caffe这边用的python2，python protobuf包的版本问题

上面列出的opencv和protobuf是重灾区，还有没有列出来的比如boost版本问题等。解决起来也不难：

• 明确find_package()的N大查找顺序
• 知道如何让find_package()找到非CMake构建安装的依赖包

find_package()原理解读

根据cmake官方文档可以知道，find_package()有Module模式(基本用法，basic signature)和Config模式(full signature，完全用法），其中Module模式是基础，Config模式则更复杂高级些。

区分Module模式和Config模式

Module模式也就是基础用法(Basic Signature，这里Signature表示“用法”，而不是“签名”），Config模式也就是高级用法（Full Signature）。

The CONFIG option, the synonymous NO_MODULE option, or the use of options not specified in the basic signature all enforce pure Config mode. In pure Config mode, the command skips Module mode search and proceeds at once with Config mode search.

也就是说，只有这3种情况下才是Config模式：

• find_package()中指定CONFIG关键字
• find_package()中指定NO_MODULE关键字
• find_package()中使用了不在"basic signature"(也就是Module模式下所有支持的配置）关键字

换句话说，只要我不指定"CONFIG"，不指定“NO_MODULE"，也不使用"full signature"中的关键字，那我就是在Module模式。排查find_package()的第一步，应当判断它是Module模式还是Config模式。

image.png

Module模式下find_package()的用法

find_package( [version] [EXACT] [QUIET] [MODULE]
[REQUIRED] [[COMPONENTS] [components...]]
[OPTIONAL_COMPONENTS components...]
[NO_POLICY_SCOPE])

Module模式下，相比于Config模式，可选配置参数少一些，并且如果按用户指定的配置却找不到包，就会自动进入Config模式（如上图所示）。

关键字解释
version和EXACT: 都是可选的，version指定的是版本，如果指定就必须检查找到的包的版本是否和version兼容。如果指定EXACT则表示必须完全匹配的版本而不是兼容版本就可以。

QUIET 可选字段，表示如果查找失败，不会在屏幕进行输出（但是如果指定了REQUIRED字段，则QUIET无效，仍然会输出查找失败提示语）。

MODULE 可选字段。前面提到说“如果Module模式查找失败则回退到Config模式进行查找”，但是假如设定了MODULE选项，那么就只在Module模式查找，如果Module模式下查找失败并不回落到Config模式查找。

REQUIRED可选字段。表示一定要找到包，找不到的话就立即停掉整个cmake。而如果不指定REQUIRED则cmake会继续执行。

COMPONENTS，components:可选字段，表示查找的包中必须要找到的组件(components），如果有任何一个找不到就算失败，类似于REQUIRED，导致cmake停止执行。

OPTIONAL_COMPONENTS和components：可选的模块，找不到也不会让cmake停止执行。

Module模式查找顺序
Module模式下是要查找到名为Find.cmake的文件。

先在CMAKE_MODULE_PATH变量对应的路径中查找。如果路径为空，或者路径中查找失败，则在cmake module directory（cmake安装时的Modules目录，比如/usr/local/share/cmake/Modules）查找。

Config模式下find_package()的用法

find_package( [version] [EXACT] [QUIET]
[REQUIRED] [[COMPONENTS] [components...]]
[CONFIG|NO_MODULE]
[NO_POLICY_SCOPE]
[NAMES name1 [name2 ...]]
[CONFIGS config1 [config2 ...]]
[HINTS path1 [path2 ... ]]
[PATHS path1 [path2 ... ]]
[PATH_SUFFIXES suffix1 [suffix2 ...]]
[NO_DEFAULT_PATH]
[NO_PACKAGE_ROOT_PATH]
[NO_CMAKE_PATH]
[NO_CMAKE_ENVIRONMENT_PATH]
[NO_SYSTEM_ENVIRONMENT_PATH]
[NO_CMAKE_PACKAGE_REGISTRY]
[NO_CMAKE_BUILDS_PATH] # Deprecated; does nothing.
[NO_CMAKE_SYSTEM_PATH]
[NO_CMAKE_SYSTEM_PACKAGE_REGISTRY]
[CMAKE_FIND_ROOT_PATH_BOTH |
ONLY_CMAKE_FIND_ROOT_PATH |
NO_CMAKE_FIND_ROOT_PATH])

Config模式下的查找顺序，比Module模式下要多得多。而且，新版本的CMake比老版本的有更多的查找顺序（新增的在最优先的查找顺序）。它要找的文件名字也不一样，Config模式要找Config.cmake或-config.cmake。查找顺序为：

1. 名为_ROOT的cmake变量或环境变量。CMake3.12新增。设定CMP0074 Policy来关闭。
   注意：如果定义了_DIR cmake变量，那么_ROOT 不起作用。举例：

cmake_minimum_required(VERSION 3.13)

project(fk_cmk)

set(OpenCV_ROOT "F:/zhangzhuo/lib/opencv_249/build")

set(OpenCV_DIR "F:/zhangzhuo/lib/opencv_300/build")

find_package(OpenCV QUIET
    NO_MODULE
    NO_DEFAULT_PATH
    NO_CMAKE_PATH
    NO_CMAKE_ENVIRONMENT_PATH
    NO_SYSTEM_ENVIRONMENT_PATH
    NO_CMAKE_PACKAGE_REGISTRY
    NO_CMAKE_BUILDS_PATH
    NO_CMAKE_SYSTEM_PATH
    NO_CMAKE_SYSTEM_PACKAGE_REGISTRY
)

message(STATUS "OpenCV library status:")
message(STATUS "    version: ${OpenCV_VERSION}")
message(STATUS "    libraries: ${OpenCV_LIBS}")
message(STATUS "    include path: ${OpenCV_INCLUDE_DIRS}")

实际上会找到opencv300，也就是OpenCV_DIR这一cmake变量的值最先起作用。

2. cmake特定的缓存变量：

CMAKE_PREFIX_PATH
CMAKE_FRAMEWORK_PATH
CMAKE_APPBUNDLE_PATH
可以通过设定NO_CMAKE_PATH来关闭这一查找顺序

3. cmake特定的环境变量

_DIR
CMAKE_PREFIX_PATH
CMAKE_FRAMEWORK_PATH
CMAKE_APPBUNDLE_PATH
可以通过NO_CMAKE_ENVIRONMENT_PATH来跳过。

4. HINT字段指定的路径

5. 搜索标准的系统环境变量PATH。
   其中如果是以/bin或者/sbin结尾的，会自动转化为其父目录。
   通过指定NO_SYSTEM_ENVIRONMENT_PATH来跳过。

6. 存储在cmake的"User Package Registry"(用户包注册表)中的路径。
   通过设定NO_CMAKE_PACKAGE_REGISTRY，或者：
   设定CMAKE_FIND_PACKAGE_NO_PACKAGE_REGISTRY为true，
   来避开。

7. 设定为当前系统定义的cmake变量：

CMAKE_SYSTEM_PREFIX_PATH
CMAKE_SYSTEM_FRAMEWORK_PATH
CMAKE_SYSTEM_APPBUNDLE_PATH
通过设定NO_CMAKE_SYSTEM_PATH来跳过。

8. 在cmake的"System Package Registry"(系统包注册表）中查找。
   通过设定NO_CMAKE_SYSTEM_PACKAGE_REGISTRY跳过。
   或者通过设定CMAKE_FIND_PACKAGE_NO_SYSTEM_PACKAGE_REGISTRY为true。

9. 从PATHS字段指定的路径中查找。

再次总结思路：

• 1. 判断find_package()实际执行的是module模式还是config模式
  • 1.1 find_package()这样的用法并不能看出是module模式还是config模式。要看CMAKE_MODULE_PATH或cmake安装路径下是否有Find.cmake脚本存在，并且这个脚本是否能正确的找到包。如果上述两个位置不存在Find.cmake，或者这个Find.cmake执行失败，则进入config模式。
  • 1.2 通过CONFIG、NO_MODULE、CONFIG模式特有字段，来设定为config模式
• 2. 明确_DIR是config模式特有的缓存变量
  • 2.1可以在find_package()前设定_DIR，指向包含Config.cmake或-config.cmake的目录。
    • _ROOT先设定，再设定_DIR，最后find_package()；并且两个都能找到包，则_DIR起作用。
  • 2.2 也可在find_package()后使用例如打印。
  • 2.3 module模式下在find_package()前使用_DIR，并不能用来帮助find_package()找到包；并且在find_package()后，也并没有_DIR缓存变量自动存在。
• 3. 明确_ROOT是cmake3.12起支持的变量
  • _ROOT变量被find_package, find_library, find_path, find_program, find_file支持。因此，尽管从find_package()文档页看会以为_ROOT只被config模式支持而不被module模式支持，但是module模式下通过另外4个find命令会间接的使用到_ROOT，从而find_package命令的module模式间接的支持_ROOT变量。
  • _ROOT设定后，find_package()的config模式会在_ROOT目录及其子目录下寻找cmake的config文件；而_DIR则很傻，不会在子目录中寻找。
• 4. 检查路径是否拼写正确
     以上的3点是正确的，但有时候总发现幺蛾子，怀疑上面三点说的不对。这时候要检查路径是否拼写正确。
  • 4.1 路径是否拼写错误，比如少字母、字母写错、大小写拼错
  • 4.2 如果使用了环境变量来构成cmake变量，注意使用varName。