cuda编程与gpu并行计算(四):cuda编程模型

CUDA最大的特点:对线程块将在何处、何时运行不作保证

优点:
1.硬件真正有效的运行,灵活。
2.无需要线程间互相等待
3.可扩展性强
后果:
1.对于那个块在哪个SM上运行无法进行任何假设
2.无法获取块之间的明确通讯(hard to get communications between blocks)
dead lock(并行死锁)
线程退出

当然有无法保证的,肯定也有能保证的。

1.所有在同一个线程块上的线程必然会在同一时间运行在同一个SM上
2.同一个内核的所有线程块必须全部完成之后,才会运行下一个内核

内存模型

cuda编程与gpu并行计算(四):cuda编程模型_第1张图片
内存访问速度比较

在这里插入图片描述

同步性synchronisation和屏障barrier

·不同的线程在共享和全局内存中读写数据需要有先后的控制,所以引入了同步性的概念。
·屏障的作用:用来控制多个线程的停止与等待,当所有线程都到达了屏障点,程序才继续进行。

你可能感兴趣的:(cuda,gpu)