python 多线程并行 矩阵乘法_cuda 矩阵乘法运算并行

一直很好奇GPU做矩阵运算是怎么并行加速的,今天看了一些粗浅的东西,并总结整理出来。

version:cuda 8

cuda C 中扩展的一些概念

主要包括函数声明、变量声明、内存类型声明、文理内存、原子函数等,常用的有这么几个:

参考(http://bbs.csdn.net/topics/390798229,原地址已经失效)

主机

将CPU及系统的内存(内存条)称为主机。

设备

将GPU及GPU本身的显示内存称为设备。

线程(Thread)

一般通过GPU的一个核进行处理。

线程块(Block)

1. 由多个线程组成(可以表示成一维,二维,三维,具体下面再细说)。

2. 各block是并行执行的,block间无法通信,也没有执行顺序。

3. 注意线程块的数量限制为不超过65535(硬件限制)。

线程格(Grid)

由多个线程块组成(可以表示成一维,二维,三维,具体下面再细说)。

线程束

在CUDA架构中,线程束是指一个包含32个线程的集合,这个线程集合被“编织在一起”并且“步调一致”的形式执行。在程序中的每一行,线程束中的每个线程都将在不同数据上执行相同的命令。

核函数(Kernel)

1. 在GPU上执行的函数通常称为核函数。

2. 一般通过标识符global修饰,调用通过<<>>,用于说明内核函数中的线程数量,以及线程是如何组织的。

3. 以线程格(Grid)的形式组织,每个线程格由若干个线程块(block)组成,而每个线程块又由若干个线程(thread)组成。

4. 是以block为单位执行的。

5. 叧能在主机端代码中调用。

6. 调用时必须声明内核函数的执行参数。

7. 在编程时,必须先为kernel函数中用到的数组或变量分配好足够的空间,再调用kernel函数,否则在GPU计算时会发生错误,例如越界或报错,甚至导致蓝屏和死机。

//核函数声明,前面的关键字global

__global__ void kernel( void ) {

}

函数修饰符

1. __global__,表明被修饰的函数在设备上执行,但在主机上调用。

2. __device__,表明被修饰的函数在设备上执行,但只能在其他__device__函数或者__global__函数中调用。

常用的GPU内存函数

cudaMalloc()

1. 函数原型&

你可能感兴趣的:(python,多线程并行,矩阵乘法)