CUDA编程学习笔记

重要概念

在CUDA中，host和device是两个重要概念，用host指代CPU及其内存，用device指代GPU及其内存。

• 典型CUDA程序的执行流程如下：

  1.分配host内存，并进行数据初始化；
  2.分配device内存，并从host将数据copy到device上；
  3.调用CUDA的核函数在device上完成指定的运算；
  4.将device上的运算结果copy到host上；

    上面流程中最重要的部分是调用CUDA的核函数来执行并行计算，kernel（http://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#kernels）是CUDA中一个重要的概念，kernel是在device上线程中并行执行的函数，核函数用__global__符号声明，在调用时需要用<<>>来指定kernel要执行的线程数量，在CUDA中，每一个线程都要执行核函数，并且每个线程会分配一个唯一的线程号thread ID，这个ID值可以通过核函数的内置变量threadIdx来获得。