C++代码覆盖率测试

主要工具是 gcov 和 lcov

gcov 是 gcc自带的工具, 不需要额外安装。 lcov 需要额外安装, 在 Ubuntu 上使用 sudo apt-get install lcov.

gcov的使用,请参考这里
gcov的源码以及内存分布和工具等, 在这里

具体的步骤和原理:

  1. 在代码编译的时候, 增加 -fprofile-arcs -ftest-coverage 这两个参数, 比如
    g++ -fprofile-arcs -ftest-coverage test.cc -o test, 除了会生成 test 这个可执行文件之外, 还会生成一个 test.gcno文件, 这个文件保存了 test 的行号对照表, BB块等信息, 要保存好这个文件, 稍后会用到。(好像可以在链接的时候增加一个 -lgcov 参数, 但是看起来不增加也可以)
  2. 执行这个可执行文件, 由于增加了前面说的两个参数, 这个test文件在执行的时候会生成执行信息, 并保存在 test.gcda这个文件中, 我们也要保存好这个文件。
  3. 执行 lcov -c -o test.info -b . -d ., 这个命令会把该目录下所有的gcnogcda文件信息搜集起来, 生成到test.info文件中
    (如果没有lcov的话, 使用 gcov命令,把 gcno, gcda, 源文件放到同一个目录下, 执行 gcov source.cpp, 就会生成 source.cpp.gcov文件, 这个文件就包含了覆盖率信息,但是很难看)
  4. 执行genhtml test.info -o Report, 这个会把 test.info 中的信息生成 html 格式的网页, 方便我们阅读。

其中-ftest-coverage告诉编译器在编译的时候产生 gcno 文件。 -fprofile-arcs告诉编译器在运行的死后产生 gcda 文件

问题1, 修改makefile 增加这两个编译参数

如果是 makefile , 直接加入 CFLAGS+=-fprofile-arcs -ftest-coverage
如果是 Android.mk, 直接加入 LOCAL_CFLAGS += -fprofile-arcs -ftest-coverage,LOCAL_LDFLAGS += -fprofile-arcs -ftest-coverage

问题2 如何测试 android 中 so 的代码覆盖率, so在执行的时候会生成 gcda 文件吗(根据原理gcda必须在程序正常退出的时候才会生成)? 如果生成的话, 会生成到哪里, 毕竟 system 分区是只读的。
似乎有一个
adb shell export GCOV_PREFIX=/data/data/... 这样的操作, 可以设置gcda的输出路径, 但是没有尝试过。

失败经验

在我的代码的 Android.mk中增加

NATIVE_COVERAGE := true

LOCAL_STATIC_LIBRARIES := libgcov

LOCAL_CFLAGS += -ftest-coverage -fprofile-arcs

LOCAL_LDFLAGS := -ftest-coverage -fprofile-arcs

提示 找不到 libgcov.a, 先把 LOCAL_STATIC_LIBRARIES 给去掉了。

同理, 在使用 Android.bp的时候

static_libs: ["libgcov"],

native_coverage: true,

cflags: [

"-ftest-coverage",

"-fprofile-arcs",

],

ldflags: [

"-ftest-coverage",

"-fprofile-arcs",

],

也要把 static_libs给去掉。

编译出来的 gcno 在哪里?在服务器上找不到, 看不到服务器的out目录怎么办? 还没有编译过, 没有找到。

在手机上无法生成 gcda 文件

  1. 可以设置 环境变量, 通过 adb shell 给手机设置该环境变量, 需要 root 之后的手机, 关闭 SeLinux.
    GCOV_PREFIX或者GCOV_PREFIX_STRIP, 比如 export GCOV_PREFIX=/sdcard/gcov, 一般使用GCOV_PREFIX就可以
  2. 在编译的时候在额外增加一个 -fprofile-dir, 也是一个 CFLAG, 指定-fprofile-dir=/path, 这似乎对于手机项目不好使, 就是告诉gcc在编译运行的时候把 gcda 放在 path 目录下, 在电脑上指定手机的目录, 似乎不太好。

无法生成 gcda 文件

程序必须正常退出才能生成gcda, 也就是正常调用 exit 才能生成 gcda 文件。 我们手动kill掉进程等方式是不能生成 gcda 文件的。
这种情况在网上有一种做法是通过 在链接的时候指定一个预加载库, 这个预加载库会拦截 signal 信号。

示例如下

#include 
#include 
#include 
#include 
#define SIMPLE_WAY

void sighandler(int signo) 
{ 
#ifdef SIMPLE_WAY
    exit(signo); 
#else
    extern void __gcov_flush();     
    __gcov_flush(); /* flush out gcov stats data */
    raise(signo); /* raise the signal again to crash process */ 
#endif 
} 

/**
* 用来预加载的动态库gcov_preload.so的代码如下,其中__attribute__ ((constructor))是gcc的符号,
* 它修饰的函数会在main函数执行之前调用,我们利用它把异常信号拦截到我们自己的函数中,然后调用__gcov_flush()输出错误信息
* 设置预加载库 LD_PRELOAD=./gcov_preload.so
*/

__attribute__ ((constructor))

void ctor() 
{
    int sigs[] = {
        SIGILL, SIGFPE, SIGABRT, SIGBUS,
        SIGSEGV, SIGHUP, SIGINT, SIGQUIT,
        SIGTERM     
    };
    int i; 
    struct sigaction sa;
    sa.sa_handler = sighandler;
    sigemptyset(&sa.sa_mask);
    sa.sa_flags = SA_RESETHAND;

    for(i = 0; i < sizeof(sigs)/sizeof(sigs[0]); ++i) {
        if (sigaction(sigs[i], &sa, NULL) == -1) {
            perror("Could not set signal handler");
        }
    } 
}

把这个文件单独编译成一个库,
gcc -shared -fpic gcov_preload.c -o libgcov_preload.so

然后在链接的时候, 把这个预加载库和我们要测试的库连接起来
LD_PRELOAD=./libgcov_preload.so our.so
或者echo "/sbin/gcov_preload.so" >/etc/ld.so.preload

显然这种方式不太适合App的JNI测试

比较适合App的JNI测试的, 我认为有两种方式:

  1. 是比较简单的方式, App里面增加一个 service, 这个 service 在 onCreate 的时候直接调用 System.exit 结束进程。 当需要 gcda 文件的时候, 我们通过 am 命令启动这个 service 就可以。

  2. 还有一种比较复杂的方式, 可能不仅仅适用于JNI, 还适用于系统的一些so。
    思路就是: so中增加一个方法, 通过JNI 可以调用到这个方法, 然后在这个方法中去调用 __gcov_flush方法来生成 gcda 文件, 比如

+    setenv("GCOV_PREFIX", "/data/local/tmp/", true /* overwrite */);
+    void* handle = dlopen("/vendor/lib64/hw/camera.qcom.so", RTLD_LAZY);
+    if (handle == NULL) {
+        CAMX_LOG_ERROR(CamxLogGroupHAL, "code coverage dlopen failed");
+        return;
+    }
+    void (*_gcov_flush)() = (void (*)())dlsym(handle, "__gcov_flush");
+    if (_gcov_flush == NULL) {
+        CAMX_LOG_ERROR(CamxLogGroupHAL, "code coverage _gcov_flush is null");
+        return;
+    }
+    _gcov_flush();

当需要生成 gcda 的时候, 我们调用so中的对应方法就可以。

可惜的是这两种方法都没有经过验证

我验证了这两种方法都不太好使, 直接 System.exit(0) 不会生成 gcda 文件, 不知道为啥。
在JNI里面调用 __gcov_flush 的时候说找不到这个方法, 即使使用之前先声明 extern void __gcov_flush();也不行

尝试了一下 增加 --coverage 和 -lgcov 这两个选项, 还没有结果。
另外一个说法是 一定要先声明 extern "C" void __gcov_flush();, 这个也试了一下, 还没有结果。

另外, 搜索android源码, 发现在源码中可能会有如下解决方案:

  1. 在增加一个 -fprofile-generate
  2. 增加一个 -O0 -pg 参数

用 adb shell kill -12 来杀进程, 据说可以起到正常退出的作用。

最新的gcc其实不支持 __gcov_flush了, 改为__gcov_dump了。 另外, 在运行的时候一定要把路径设置为 /data/data/pkgname/ 下的路径, 要不然没有办法生成 gcda

排除不需要的文件

我们通过lcov生成的覆盖率info文件,里面包含了很多不需要被统计到的文件, 我们要对原来生成的 test.info进行进一步的处理, 才能得到我们想要统计的文件

lcov --extract test.info '*/packages/apps/Camera/*' -o result.info

这个result.info才是我们需要的。

如果想要统计的文件多, 不需要统计的文件少, 可以通过--remove来移除一部分不需要统计的文件
lcov --remove test.info '*/a/*' -o result.info

也可以合并几个info文件成为一个大的info文件。
lcov -a test1.info -a test2.info -o result.info

lcov生成的是html格式, 很多服务器不支持html格式, 这个时候可以使用 gcovr来转换成其他格式,方便我们在服务器上持续集成对比。

你可能感兴趣的:(C++代码覆盖率测试)