OpenCL版Caffe：高速跨平台机器学习框架

原作者:Murat Demirbas    2017年9月16日星期六

翻译：Wanglin Luo

    2016年该论文发表了基于OpenCL架构的深度学习框架Caffe。文中明确指出，Caffe已经将底层基础开发架构CUDA替换成了通用规范的开源架构OpenCL。Caffe源码最先提交在AMD公司的GitHub开源仓库https://github.com/amd/OpenCL-caffe下，然后最终提交至了伯克利大学视觉实验室https://github.com/BVLC/caffe/tree/opencl进行维护。

    日常开发中，一旦我们开发训练好DNN(深度学习神经网络)模型后，我们总希望能以最简单的方式将其部署到各个平台的不同应用程序中，比如服务器、NVDIA GPU、AMD GPU、ARM GPU、甚至智能手机和平板电脑等。但事与愿违，大多数深度学习框架，为兼容英伟达GPUs，也包括Caffe在内都集成了CUDA工具库，然而这限制了跨平台的兼容性。

    OpenCL 支持异构计算，具有跨平台迁移的能力。因为它获得了大部分商业芯片制造商的支持，例如Altera，AMD，Apple，ARM Holdings，Creative Technology，IBM，Imagination Technologies，Intel，Nvidia，Qualcomm，Samsung，Vivante，Xilinx，ZiiLABS等。为了保证平台兼容性，OpenCL 会检查特定的驱动并在运行时编译。

    OpenCL最初由Apple公司开发，后来将这一草案提交至Khronos Group团队。它被 Android、Linux、FreeBSD、MacOS 和 Windows 在内的很多操作系统支持。

OpenCL基础架构迁移和优化

    Caffe框架最初是用C++和CUDA编写开发。Caffe的CUDA层负责优化硬件资源分配和使用，例如CPU和GPU间任务调度、内存管理和任务传输。由于 CUDA和OpenCL在设备抽象、缓存管理、同步处理和数据传输的实现上的差异，将底层基础开发架构CUDA替换成通用规范的开源架构OpenCL并没有看上去那么简单。

    文中的解决方案是，将OpenCL迁移过程分为两个阶段。第一阶段是C++机器学习接口、OpenCL封装器和GPU内核这三个层的分层迁移。分层迁移意味着逐层移植各层，并使其各层进行单元测试，以确保DNN深度神经网络算法的正确性和收敛性。

    在阶段一中将接口、封装器和内核逐层都迁移到OpenCL下之后，阶段二将着重优化其性能。通过使用AMD分析工具、CodeXL、并结合OpenCL事件日志发现，完成第一阶段OpenCL的迁移后，还存在一些大的性能瓶颈。OpenCL 的在线编译器会频繁调用 clBuildProgram 来创建 GPU 内核——训练 Cifar 数据集的 100 次迭代中，clBuildProgram 就调用了 63 次，占用总运行时间多达 68%；另一个瓶颈在于，卷积层占用了大多数计算时间。由于不同层间矩阵形状不规则（矩阵长宽比过大），BLAS 的效果相当差。

    为了解决这些问题，本文提出了三种关键的优化技术，包括内核缓存以避免OpenCL在线编译开销，一种用于提升数据并行性的批处理数据布局方案，以及用于提升任务并行性的多个命令队列。优化技术有效地将DNN问题大小映射到现有的OpenCL数学库中，并提高硬件资源利用率，其性能将提高4.5倍。

测评

    该测评对比了Caffe在CUDA与OpenCL等架构下，分别在NVIDIA TitanX和AMD R9 Fury显卡上，对ImageNet视觉资源库进行AlexNet DNN深度学习神经网络模型训练，且在100频次小批量的Alexnet模型训练中的性能表现，其中CUDA下兼并了cuBLAS矩阵加速库和cuDNN GPU加速库的第二个版本。OpenCL兼并了clBLAS矩阵加速库的原始版本和高性能的批处理。下图所示优化了clBLAS的OpenCL Caffe与cuBLAS Caffe的性能对比。

示图

    相对于最佳性能下的机器学习cuDNN库，OpenCL Caffe仍然存在2倍的性能差距，因为它缺乏最佳性能。作者认为，综合大约市价560美元的AMD R9 Fury和大约市价1000美元的NVIDIA TitanX的价格差异，以及目前的性能表现，OpenCL caffe在性价比方面仍具有竞争力。

跨平台能力分析

    很自然地会考虑到一个问题，就是通过在AMD显卡上的测试，OpenCL架构上的Caffe是否与ARM和MALI兼容呢？这方面的测试可以很好地反映 OpenCL 版 Caffe 的兼容性，然而并没有在这篇文章中提及。

    但是，作者也觉察到了兼容性方面的问题。“特定制造商的扩展性和模板关键字方面存在一些差异。例如caffe在GPU内核中使用了大量模板来支持不同的浮点精度。但事实证明，不同制造商的模板关键字不同，这增加了相同代码不经修改在不同平台运行的难度。” 

OpenCL深度学习框架的支持仍然不是很好，但愿它每天都在不断优化改进，正如本文所示。

论文幻灯片演示文稿地址：

http://www.iwocl.org/wp-content/uploads/iwocl-2016-opencl-caffe.pdf

感谢InfoQ翻译团队Alice Ding的点评:-)