如果你想了解 Nvcc 到底搞了什么鬼,究竟 compute_xy sm_xy 区别在哪里, ptx,cudabin 又是怎么嵌套到 exe 里面最终被驱动执行的,这一节正是你想要的知识。他将讲解每一个编译的具体步骤,而且不光是知识,读者可以自己动手操作来体验这一个过程。他的用处不仅在能够对 CUDA 的编译以及工作机制有更深的认识,而且可以进行高级 debug ,比如可以自己手动进行 ptx->cudabin 的步骤等等。
参考: nvcc2.1.pdf 由于水平有限,错误部分欢迎大家留言指出
作者: insky(wenyao2009(at)gmail.com)
主页: www.gamecoding.cn
1. 一个编译例子
随意找一个包含 kernel 以及 kernel 调用的 .cu 文件,如 x.cu 。进入命令行 : 敲打 nvcc –cuda x.cu –keep 将得到如下结果, -cuda 是将 .cu 编译成 .cu.cpp , -keep 保留中间结果。(如果提示找不到 nvcc 请在 path 中添加 %cuda_bin_path% )
打开 .cu 文件所在目录(此处是 ptx ) , 你会惊讶的发现多出了一大堆文件,是的,很烦,不过很快你将会喜欢上他们,因为他们把 nvcc 的工作流程完美的记录下来了。好吧,那我们开始吧。
2. Virtual architecture vs GPUfeature
首先定位到文件 x.cu, x.ptx, x.sm_10.cubin 这三个文件上来,他们按照下图流程依次生成, x.cubin,x.ptx 最终会被嵌套到 x.cu.cpp 中。
Virtual compute architecture 对应 nvcc 的 -arch 编译选项,他的值如下表所示。他的意思
是 nvcc 将针对哪个类型的 virtual compute architecture 生成 ptx 汇编代码。如果是 compute_10
则 x.cu 中无法使用 atomic 等不支持的操作,否则会出现编译错误。
Real sm architecture 指的是真实 GPU 的架构,这个选项对应于 nvcc 的 -code 编译选项,
他可以选的值如下表所示。他的意思是根据此目标 GPU 架构将 x.ptx 编译成 x.cubin ,一般
来说, Real sm architecture 必须等于或者高于对应的 Virtual compute architecture 。比如:
Nvcc –cuda x.cu –arch compute_13 –code sm_10 是行不通的。
到这里,你或许会说 “ 你讲错了吧 ” , nvcc 的 -arch 选项可以取 sm_13 呢, cudarule 都这么取的,没错,是可以怎么做,因为有些特殊机制的支持:
_ -code 可以有多个值,将生成多个版本的 cubin ,最终全部嵌套在 exe 中,见下节
_ -code 里面可以包含 compute_xy, 对应的 ptx 会被嵌套在 exe 中,见下节
_ 省略 -arch, 则自动选择最接近的
nvcc x.cu –code=sm_13 _ nvcc x.cu –arch=compute_13 –code=sm_13
_ 省略 -code
nvcc x.cu –arch=sm_13 _ nvcc x.cu –arch=compute_13 –code=compute_13 sm_13
nvcc x.cu –arch=compute_10 _ nvcc x.cu –arch=compute_10 –code=compute_10
_ 省略 -arch –code
nvcc x.cu _ nvcc x.cu –arch=compute_10 –code=sm_10
3. cubin , ptx 是如何组织到 exe 中,又是如何被加载到驱动中去的
好的,现在我们已经能够用 -code –arch 去控制 nvcc 生成对应 virtual or gpu architecture 的 ptx 及 cubin 文件了。接下来我们讲更彻底去了解,这些 ptx, cubin 是怎么集中到 exe 中,又是如何被执行的。打开 x.cu.cpp ,搜索 “ __deviceText_$compute_10$ ” , 找到了吗?没错,这就是 compute_10 下的 PTX 代码的二进制形式,接着往下看,你可以找到 “ __deviceText_$sm_10$ ” ,这是 sm_10 下的 cubin 代码。好吧,再接着看吧:
static __cudaFatPtxEntry __ptxEntries []
static __cudaFatCubinEntry __cubinEntries[]
static __cudaFatDebugEntry __debugEntries[]
他们分别是 ptx 数组, cubin 数组以及 debug 数组, {0 , 0} 结尾的原因不用多说了吧,再找找 __cudaFatPtxEntry 在哪定 义 的吧 cuda2.1include__cudaFatFormat.h ,好好的读一下这个文件的说 明 ,你会 长叹 一 声 “ 你 丫 原来 藏 在这里 ” 。 OK ,全文 引 用如下:
4. 回头来解决剩下的中间文件
其 实 nvcc 只 是个编译 器 驱动,他会调用很多 cuda tools 去完成 各 个编译步骤,最 后 调用
系统 的 c/cpp 编译 器 (cl,gcc) 以及 链 接 器 。他的流程如下图所示:
1 , cudafe.exe 去分 离 host code, device code ,生成 .gpu 等
2 , nvopencc( 我想应 该 就是 nvcc.exe 完成的 ) 编译 .gpu 到 .ptx
3 , ptxas.exe 编译 .ptx 到 .cubin
4 , fatbin.exe 编译 .cubin 到 .fatbin.c ,最终集 合 到 .cu.cpp 或者 .cu.c 中。