cuda 函数前缀：__device__、__global__、__host__ 相关问题

前言

在深度学习caffe框架等多处，用到了CUDA函数，使代码加速，其文件类型为XXX.cu。在运行这些CUDA函数时，会遇到一下C++里没有的问题，比如函数前缀问题，如果在修改编写.cu文件时不注意，会出现问题，因此本文在这里讨论一下。主要解决如下问题：error : calling a __host__ function from a __global__ function is not allowed.

一、定义

CUDA C语言对C语言的扩展之一就是加入了一些函数前缀，在CUDA中有三种函数前缀：device，global，host。如下图即为Faster R-CNN代码global前缀添加后的函数定义部分：

二、执行方式

三种前缀分别用于在定义函数时限定该函数的调用和执行方式，例如：
（1）__host__ int foo(int a){}与C或者C++中的foo(int a){}相同，是由CPU调用，由CPU执行的函数 
（2）__global__ int foo(int a){}表示一个内核函数，是一组由GPU执行的并行计算任务，以foo<<>>(a)的形式或者driver API的形式调用。目前__global__函数必须由CPU调用，并将并行计算任务发射到GPU的任务调用单元。随着GPU可编程能力的进一步提高，未来可能可以由GPU调用。
（3）__device__ int foo(int a){}则表示一个由GPU中一个线程调用的函数。由于Tesla架构的GPU允许线程调用函数，因此实际上是将__device__ 函数以__inline形式展开后直接编译到二进制代码中实现的，并不是真正的函数。

具体来说，device前缀定义的函数只能在GPU上执行，所以device修饰的函数里面不能调用一般常见的函数；global前缀，CUDA允许能够在CPU，GPU两个设备上运行，但是也不能运行CPU里常见的函数；host前缀修饰的事普通函数，默认缺省，可以调用普通函数。

 

因此，在出现报错如：“error : calling a __host__ function from a __global__ function is not allowed. ”时候，即为将一个普通的函数错误地添加进入了global前缀定义函数，在CUDA文件.cu文件中是不允许的。