CUDA C++ PROGRAMMING GUIDE CH1 Introduction

GPU 使用了高度并行的计算，更多的 transistor 被用来数据处理（data processing）而不是数据缓存（data caching）以及流控制（flow control）

这在概念上对高度并行的计算是有好处的，因为 GPU 可以通过计算来隐藏访问内存时的延迟，而不是通过大量数据缓冲以及流控制来避免内存访问延迟。

CUDA 在 2006 年被 NVIDIA 提出，是一个通用的并行编程平台。

CUDA parallel programming model:

Three key abstractions:

• a hierarchy of thread groups
• shared memories
• barrier synchronization