SPDK/DPDK静态链接库踩坑

最近几天,尝试集成 SPDK 到我们的分布式系统里。为了避免对 SPDK 进行较大的改动,决定使用静态链接库,然后利用 SPDK 的 API 写 target。

编译 SPDK ,写一个简单的 target 例子都很顺利。但是当运行的时候,reactor 初始化分配mempool 一直错误。这个错误非常奇怪。第一时间怀疑 hugepage 空间不足,但是仔细看了一下,肯定是够的。

与此同时,发现同样的 DPDK 配置,SPDK 自带的 app 都可以初始化成功。从日志看一模一样,除了最后,自己写的初始化 mempool 失败,自带的可以成功。百思不得其解。

终于在 SPDK 的 issue 里看到了一个同样的错误:

lib/event/reactor.c: 685:spdk_reactors_init: ERROR: spdk_event_mempool creation failed

根据反馈看,应该是 __attribute__ ((constructor)) 的问题。

经过在初始化路径上加上日志,发现就是这个问题。但是,为什么会这样呢?

这个扩展属性,不就是 gcc 默认就打开了么?

经过试验发现,原来,问题出在静态库上。

 $ cat foo.c 
#include 

__attribute__((constructor)) void foo()
{
    printf("foo called\n");
}

#include
__attribute__((constructor)) void before_main() {
   printf("Before main\n");
}
__attribute__((destructor)) void after_main() {
   printf("After main\n");
}
int main(int argc, char **argv) {
   printf("In main\n");
   return 0;
}
 $ gcc -c foo.c
 $ ar rcs foo.a foo.o 
 $ gcc test.c foo.a
 $ ./a.out 
Before main
In main
After main

看一下动态库:

$ g++ -c foo.c -o foo.o -fPIC
$ g++ -shared -fPIC -o libfoo.so foo.o                                                                                                                                                                         1 ↵
$ g++ test.c -L. -lfoo                
$ export LD_LIBRARY_PATH=`pwd`                                                                                                                                                                               127 ↵
$ ./a.out                     
foo called
Before main
In main
After main

发现问题了,静态链接的 foo.c 里面的 __attribute__((constructor)) 并没有执行。动态链接后是正确的。

原因是linker在静态链接的时候,默认只链接用到的符号,没有用到的就不会拿过来了。对于上面的这种情况,__attribute__((constructor)) 属性的模块构造器就被 strip 了。

解决办法是使用-Wl,--whole-archive 和 --no-whole-archive 标签,显式的标识链接所有的符号。

 $ g++ test.c -Wl,--whole-archive foo.a -Wl,--no-whole-archive
root@31-216:~/smartx/spdk 
 $ ./a.out 
Before main
foo called
In main
After main
注意,-Wl,--whole-archive 中间不能有空格。

Done。

这个坑容易踩到,在此记录一下。

原文链接:https://zhuanlan.zhihu.com/p/42814326   

你可能感兴趣的:(DPDK,c++,linux,c++,linux,开发语言,服务器,虚拟机)