CUDA编程之：Stream（流）

CUDA Stream（流）：指在设备(Device)上按主机(Host)代码发出的顺序执行的一系列异步的CUDA操作。Stream封装这些操作，管理它们的顺序，允许在所有先前操作之后在流中排队执行操作，并允许查询排队操作的状态。这些操作可以包括主机设备数据传输、内核启动以及由主机发出但由设备处理的大多数其他命令。

流中操作的执行对于主机总是异步的。CUDA运行时将确定该操作何时适合在设备上执行。在使用结果之前，编程者有责任使用CUDAAPI来确保异步操作已经完成。。虽然同一个CUDA流中的操作有严格的顺序，但是在不同的流中对执行顺序没有限制。通过使用多个流启动多个同时内核，可以实现网格级并发（grid level concurrency）。