Linux C/C++调试之二：使用strace追踪程序系统调用

在之前的一篇文章中，我介绍了一种调试手段：利用LD_PRELOAD机制，拦截动态链接器对动态库的符号解析，达到监控程序IO的目的。事实证明我还是太naive了，我们大可利用现成的工具——strace，来更好地完成这一项工作。

strace不只能跟踪程序IO，它能跟踪程序的所有系统调用，实现的基本手段是ptrace系统调用，不过实现细节还没研究过，今天只总结一下它的用法。

首先用strace来跟踪一下喜闻乐见的hello world：

#include 

int main()
{
    printf("Hello, world!\n");
    return 0;
}

$ gcc main.c -o main
$ strace ./main

输出是这样的（由于太长，省略了大部分内容）：

execve("./main", ["./main"], 0x7ffcea3db620 /* 33 vars */) = 0

......(太长省略)

write(1, "Hello, world!\n", 14Hello, world!
)         = 14
exit_group(0)                           = ?
+++ exited with 0 +++

所有系统调用被一一记录了下来，我们可以看出来，printf是通过write系统调用将字符串“Hello, world!\n”写到文件描述符为1的文件（即标准输出）中，从而输出到屏幕上的。

这就是strace最基本的用法，它还提供一些非常实用的参数，我们可以来看一下：

-e

这个参数可以用来过滤输出，它功能很多，具体可以查看strace的手册，我们只用其最基本的功能：跟踪特定的系统调用。

$ strace -e write ./main

输出瞬间清爽了：

write(1, "Hello, world!\n", 14Hello, world!
)         = 14
+++ exited with 0 +++

-k

这个参数可以用来输出堆栈，不过strace的帮助将其标记为了实验性功能。

$ strace -e write -k ./main

输出为：

write(1, "Hello, world!\n", 14Hello, world!
)         = 14
 > /lib/x86_64-linux-gnu/libc-2.27.so(__write+0x14) [0x110154]
 > /lib/x86_64-linux-gnu/libc-2.27.so(_IO_file_write+0x2d) [0x8b1bd]
 > /lib/x86_64-linux-gnu/libc-2.27.so(_IO_do_write+0xb1) [0x8cf51]
 > /lib/x86_64-linux-gnu/libc-2.27.so(_IO_file_overflow+0x103) [0x8d403]
 > /lib/x86_64-linux-gnu/libc-2.27.so(_IO_puts+0x1a2) [0x80b62]
 > /home/imred/Documents/Workspace/playground/strace_blog/main(main+0x10) [0x64a]
 > /lib/x86_64-linux-gnu/libc-2.27.so(__libc_start_main+0xe7) [0x21b97]
 > /home/imred/Documents/Workspace/playground/strace_blog/main(_start+0x2a) [0x55a]
+++ exited with 0 +++

-t/-tt

这组参数可以用来打印时间戳

-y

这个参数可以在打印文件描述符相关参数时同时把文件描述符对应的文件路径打印出来：

$ strace -e write -y ./main

输出为：

write(1, "Hello, world!\n", 14Hello, world!
) = 14
+++ exited with 0 +++

可以看出来当前内容被输出到了序号为0的伪终端。

由于下面的参数与时间统计有关，所以最好调用耗时较长的系统调用来分析其作用，我使用的是usleep函数，它调用了nanosleep系统调用，代码为：

#include 

int main()
{
    for (int i = 0; i < 10; i++)
    {
        usleep(1000);
    }
    return 0;
}

-T

这个参数可以用来输出每个系统耗费的时间，这个时间是系统调用开始时间和结束时间之差。

$ strace -e nanosleep -T ./main

输出为：

nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001089>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001078>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001972>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001108>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001139>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001091>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001093>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001326>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001029>
nanosleep({tv_sec=0, tv_nsec=1000000}, NULL) = 0 <0.001297>
+++ exited with 0 +++

看出来这时间统计的算不上十分准确，最大的误差甚至接近100%，不过这是strace的问题还是系统调用本身的问题并不确定，也还有可能是我使用了虚拟机的缘故。

-c

这个参数用来汇总系统调用的数据。

$ strace -c ./main

输出为：

% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
  0.00    0.000000           0         1           read
  0.00    0.000000           0         2           close
  0.00    0.000000           0         8         7 stat
  0.00    0.000000           0         2           fstat
  0.00    0.000000           0         5           mmap
  0.00    0.000000           0         4           mprotect
  0.00    0.000000           0         1           munmap
  0.00    0.000000           0         1           brk
  0.00    0.000000           0         3         3 access
  0.00    0.000000           0        10           nanosleep
  0.00    0.000000           0         1           execve
  0.00    0.000000           0         1           arch_prctl
  0.00    0.000000           0        10         8 openat
------ ----------- ----------- --------- --------- ----------------
100.00    0.000000                    49        18 total

能够分析出每种系统调用总的相对时间、总的绝对时间、平均开销、调用次数、出错次数信息。

你可能会比较奇怪为什么上面汇总出来的时间消耗都是0，至少nanosleep该消耗了时间。这是因为在默认情况下统计的都是系统时间，即进程在内核空间执行代码消耗的cpu时间，而不是墙上时间。调用了nanosleep虽然消耗了用户的时间，但并没有占用多少cpu时间，所以统计出来就是0了，如果要统计墙上时间，需要下面的这个选项。

-w

这个参数指定-c参数统计墙上时间。

$ strace -wc ./main

输出为：

% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 97.95    0.015065        1507        10           nanosleep
  0.64    0.000098          98         1           execve
  0.38    0.000058           6        10         8 openat
  0.24    0.000037           5         8         7 stat
  0.20    0.000031           6         5           mmap
  0.18    0.000028           7         4           mprotect
  0.11    0.000017           6         3         3 access
  0.10    0.000016          16         1           munmap
  0.06    0.000009           5         2           fstat
  0.05    0.000008           4         2           close
  0.03    0.000005           5         1           read
  0.03    0.000005           5         1           brk
  0.03    0.000004           4         1           arch_prctl
------ ----------- ----------- --------- --------- ----------------
100.00    0.015381                    49        18 total

这回输出结果大致符合我们的预期了（虽然误差很大）。

-f

这个参数指定strace要跟踪从主线程衍生出来的其他线程和进程。

对于下面的程序：

#include 
#include 

void loopSleep()
{
    for (int i = 0; i < 10; i++)
    {
        usleep(1000);
    }
}

int main()
{
    std::thread t1([](){ loopSleep(); });
    std::thread t2([](){ loopSleep(); });

    t1.join();
    t2.join();

    return 0;
}

nanosleep都没有在主线程调用，如果我们直接这样调用strace的话：

$ strace -e nanosleep ./main

其输出为：

+++ exited with 0 +++

并没有追踪到nanosleep的调用。这时就需要指定-f参数了：

$ strace -e nanosleep -f ./main

其输出为：

strace: Process 4623 attached
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000}, strace: Process 4622 attached
 
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] nanosleep({tv_sec=0, tv_nsec=1000000},  
[pid  4623] <... nanosleep resumed> NULL) = 0
[pid  4623] +++ exited with 0 +++
[pid  4622] <... nanosleep resumed> NULL) = 0
[pid  4622] +++ exited with 0 +++
+++ exited with 0 +++

追踪到了我们指定的nanosleep系统调用。

-p

这个参数指定strace连接到指定进程上。

以上就是strace这把“锤子”的大致使用手册，但是如何把我们当前遇到的问题归约成“钉子”就没有手册可以参考了，需要各位各显神通了。