深度学习中的软件加速算法

深度学习算法对于人工智能的推动作用不言而喻，但其对计算力的要求也显而易见。如何使其运行更高效是摆在不少工程师面前的难题，通常他们会在代码中直接采用一个比较成熟的矩阵运算数学库，开源项目OpenBLAS就成了几个深度学习框架最依赖的库之一。

现在， OpenBLAS的团队成员创业，创办了澎峰科技，主要目标是解决人工智能里面的计算性能问题，提供嵌入式系统和服务器云端的高性能框架和库，帮助人工智能和其他技术计算领域的客户，提升运算速度，提高处理效率，缩短落地周期。

要理解澎峰科技在做的事，我们可能还要从深度学习算法说起。这个耳熟能详的爆款算法是建立在多层大规模神经网络之上的，后者本质上是包含了矩阵乘积和卷积操作的大运算量函数。具体到训练，你需要先定义一个包含回归问题的方差、分类时的交叉熵的代价函数，再数据分批传递进网络，根据参数求导出代价函数值，从而更新整个网络模型。这通常意味着至少几百万次的相乘处理，计算量巨大，处理速度很有可能受到影响。

如何提升矩阵运算和卷积运算的处理效率，是解决算力难题的一把钥匙，这就是所谓的深度学习算法加速。

业内最常用的方案有两种：硬件加速和软件（代码）加速。前者主要是提升算力，尤其是CPU和GPU的算力。计算能力越好，这些简单的矩阵运算自然就越快。后者主要有两种路径，一是利用诸如二值网络模型等小网络模型来实现差与大网络差不多的效果，二是使用矩阵运算加速的库，而OpenBLAS与Intel的MKL就是最知名且常用的库。

2011年，还在中科院软件所做助理研究员的张先轶，就开始做OpenBLAS。这个当时在X86平台、龙芯、ARM平台上的优化库，因为机器学习的普及、人工智能的火爆，已经成为了目前市面上软件加速主流的选择。

2012年，深度学习算法横空出世，近年来也随着AI，尤其是CV领域的创投热潮炙手可热。看重了这样的机会，2016年张先轶与中科院背景的贾海鹏一起创办了澎峰科技，并获得了明视资本、猎豹的投资。

澎峰科技给自己的定位是一家AI领域的性能优化解决方案提供商。经过半年多的研发，目前主要提供嵌入式系统和服务器云端的高性能框架和库。其中嵌入式系统相对成熟，已经完成两个成型的软件包的开发，并已经给到一些客户做测试；服务器云端已经与一个客户进行了深度合作，正在准备复用。

澎峰科技的嵌入式平台解决的是深度学习本地化处理的问题。很多AI的应用场景，对数据处理的实时性有较高要求，诸如视频数据上传云端处理延迟往往较高，但在本地硬件设备又难以提供足够的算力、内存。

为此，澎峰科技研发了2个软件包。一个是通用的软件包，适用于包括计算机视觉、语音、图像等深度学习能解决的问题，已经与Theano、Caffe、Torch、TensorFlow等主流的分布式学习框架捆绑，方便易用。

另一个是针对目前计算机视觉领域的旺盛需求专门开发的软件包，主要处理计算机视觉领域里一些诸如放大缩小、翻转、颜色空间变幻的常见任务，解决OpenCV过重的问题，在ARM平台上可以实现一两倍的加速。

一两倍的加速看起来并不明显，但在实际当中却能解决不少领域尤其是CV领域真正商用的问题。张先轶举了一个机器人领域客户的案例。客户研发的机器人集成了人脸识别的相关应用，需要对视频数据实时处理，此前采用深度学习算法加上OpenBLAS, 只能做到100毫秒延迟，但在采用澎峰的软件包优化之后，仅使用4核ARM中的一核，处理时间可以缩减到50毫秒，每秒钟能处理的图片也由6-7帧提升到了15-20帧，达到了基本的商用要求。

目前，嵌入式系统正在测试的合作伙伴包括了华为、猎豹、中科视拓、阅面科技、水滴等。36氪也咨询了中科视拓，CEO刘昕告诉36氪，最好的优化案例可以达到10倍。考虑到手机类的客户产品量大但难达成合作，其他领域的客户有需求但体量较小，团队计划嵌入式系统技近期将主要以卖软件包的方式进行商业化。

事实上，云端的计算力相对强大，依然会是深度学习重要的算力来源。但在云端，卖软件包的商业模式并不合适。团队则希望与垂直行业的合作伙伴深度合作，验证加速算法的作用，提炼可以复用的算法，做成垂直方向的包含框架与库的整体解决方案。

目前团队已经与猎豹在服务器平台方面进行了合作，进入测试阶段，近期将会拿到测试数据。与此同时，也在考虑与生物、医疗等对新技术比较感兴趣的行业客户深度合作。

目前Intel 的CPU在服务器端占有绝对的优势，Intel在2015年又免费了MKL，对于澎峰来说，这也是一个不得不面对的问题。这方面，澎峰并不太担心。张先轶表示，一是因为在性能方面，澎峰的产品除了目前不能自动切换线程，表现并不比MKL差；二是因为MKL缺少诸如低精度模型和加速库等有特色的优化，正是澎峰的机会所在。

算力是目前整个人工智能行业基本都要面对的问题之一。硬件加速的刚需，成就了NVIDIA，后者过去一年中股价已经翻了2.6倍，也成全了国内不少创业公司，诸如寒武纪、地平线、深鉴、云天励飞等公司均已获得大笔融资。成立之初，澎峰智能也已获得明势资本、猎豹的投资。目前团队正在寻找客户及优秀人才