OpenCL简介

OpenCL是一个异构计算平台，Khronos Group将OpenCL的异构并行计算架构划分为平台模型（platform model）、内存模型（memory model）、执行模型（execution model）和编程模型（programming model）。

OpenCL平台模型

由Host及其相连的一个或多个计算设备（Compute Device，CD）组成。每个CD被划分成一个或多个计算单元（Compute Unit，CU），每个CU又被划分为一个或多个处理单元（Processing Elements，PE），如下图所示

OpenCL平台模型

OpenCL执行模型

OpenCL程序包含主机端程序和设备端内核程序。简单来说：

• 主机端以命令方式提交内核程序到设备端
• 设备端在处理单元上执行内核程序

OpenCL定义了3类内核：

1. OpenCL内核：采用OpenCL C编程语言编写，由OpenCL C编译器编译的函数。所有的OpenCL实现都支持此内核。

2. 原生内核：OpenCL之外创建的函数，在OpenCL中可以通过函数指针访问。该原生内核可以是主机源代码中定义的函数，也可以是某个专门库的导出函数。注意，执行原生内核是 OpenCL 的一个可选功能，原生内核的语义依赖于OpenCL具体实现。OpenCL API 中的一些函数可以用来查询设备能力和决定设备是否支持这个能力。

3. 内建内核：被绑定到特定设备，不需要源码编译成程序对象的函数。常见用法是针对公开固定的函数硬件或固件，将其关联到特定的OpenCL设备。内建内核同样是 OpenCL 的可选功能，其语义依赖于OpenCL的具体实现。

注：OpenCL设备通常无IO处理能力，IO操作由主机承担。程序开始执行时，OpenCL设备需要从主机获取数据，执行完毕再将数据返回。

对于OpenCL执行模型来说，主要有上下文、命令队列、和内核三个概念。

上下文
OpenCL程序的计算工作是在OpenCL设备上完成，而主机则通过OpenCL API创建和管理上下文，供内核执行。因此，上下文定义了内核的执行环境，主要包含：

• 设备：可供使用的OpenCL设备集
• 内核：运行在OpenCL设备上的OpenCL函数
• 程序对象：程序源码和目标二进制码
• 内存对象：对主机和OpenCL设备可见的一组内存对象。这些内存对象包含一些值，内核实例可以在这些值上进行运算

注：此处程序并非应用软件程序，可理解为动态库，提供内核使用的函数。程序对象在运行时由主机构建（为什么？），原因是OpenCL在开发时并不知道其最终运行平台（可能是CPU、GPU或FPGA等符合OpenCL规范的设备），因此主机程序根据最终上下文中的设备特性在运行时构建。另外，定义内存对象也是为了使OpenCL支持不同的平台，因为不同平台的存储体系结构有别。

命令队列
主机与OpenCL设备之间的交互是通过命令完成，这些命令组成了命令队列。命令队列由主机创建，并在定义上下文后关联到OpenCL设备。命令在命令队列中等待，直到被OpenCL设备执行。OpenCL支持3种类型的命令：

1. 内核执行命令：在OpenCL设备上执行内核
2. 内存命令：在主机和不同内存对象间传递数据
3. 同步命令：对命令队列中需要执行的命令施加约束

注：命令执行可以按序执行也可以乱序执行

内核（如何在OpenCL设备上执行）
主机提交内核执行时，OpenCL运行时系统会创建一个整数索引空间。索引空间是一个N维值网格，称为NDRange，N为1、2或3。同时还需要指定全局工作节点的数目，工作组中节点的数目，以便计算工作组的索引。如下图所示，大小为G_x x G_y的NDRange索引空间划分为W_x x W_y的工作组，各工作组的大小为L_x x L_y。因此，阴影部分的全局ID为(g_x, g_y) = (6, 5)，工作组及局部ID分别为(w_x, w_y) = (1, 1)和(l_x, l_y) = (2, 1)
图片来自http://images.cnblogs.com/cnblogs_com/wangshide/201201/201201071702113074.jpg

NDRange

OpenCL内存模型

OpenCL计算平台定义了5种内存区域

• 主机内存：仅主机可用。OpenCL不定义具体行为，只定义了主机内存与OpenCL对象和构造如何交互
• 全局内存：所有工作组中的所有工作项都可以对其进行读写
• 常量内存：全局内存中的一块区域，在内核的执行过程中保持不变。主机负责对此中内存对象的分配和初始化。工作项具有只读权限
• 局部内存：隶属于一个工作组的内存区域。可以用来分配一些变量，这些变量由此工作组中的所有工作项共享
• 私有内存：隶属于一个工作项的内存区域。一个工作项的私有内存中所定义的变量对另外一个工作项来说是不可见的

这些内存区域及其与平台的执行模型如下图所示：

内存模型

OpenCL编程模型

OpenCL 执行模型支持数据并行编程模型和任务并行编程模型，同时也支持这两种模型的混合体。用以驱动OpenCL 的设计的首要模型是数据并行。

参考文献

1. Aaftab Munshi. The OpenCL Specification Version1.1 Document Revision:44[M]. Khronos OpenCL Working Group. 2011.6.1.
2. Aaftab Munshi. 倪庆亮译. OpenCL规范 Version1.0 Document Revision:48[M]. Khronos OpenCL Working Group. 2009.10.6.
3. Aaftab Munshi, Benedict R. Gaster, Timothy G. Mattson, James Fung, Dan Ginsburg. OpenCL Programming Guide [M]. Addison-Wesley Professional. 2011.7.23.
4. OpenCL异构并行计算：原理、机制与优化实践 刘文志等著 -北京：机械工业出版社，2015.12