轻量级深度神经网络推理引擎——阿里巴巴的 MNN

MNN 是一个轻量级深度神经网络推理引擎。

仓库地址：https://github.com/alibaba/MNN

截止目前20190506 发布了测试版beta0.1.1

 

---

介绍

MNN是轻量级深度神经网络推理引擎。可在设备上加载模型并做推理。目前，MNN已经应用在超过20个阿里的app中，比如淘宝、天猫、优酷等等，覆盖直播，短视频，搜索推荐，通过图片搜索产品，互动市场，股权配置，安全管控以及其他场景。此外，MNN也用于嵌入式设备，如IOT物联网设备。

---

特性

轻量级

• 针对设备进行了优化，没有依赖，容易部署到移动设备和各种嵌入式设备;
• iOS平台：armv7+arm64平台的静态库大小约为5MB, 链接可执行程序后大小增加约620KB，metalib文件大约600KB;
• Android 平台：core so(核心库文件)大小约400KB, OpenCL so(OpenCL库文件)大约400KB， Vulkan so(Vulkan库文件)文件约400KB;

多功能

• 支持Tensorflow,Caffe,ONNX框架，支持常规神经网络，如CNN，RNN，GAN；
• 支持 86种Tensorflow ops，34种Caffe ops; MNN ops中71个用于CPU，55个用于Metal，29个用于OpenCL, 31个用于Vulkan；
• 支持iOS 8.0+，Android 4.3+和 具有POSIX接口的嵌入式设备；
• 支持多设备上的混合计算。当前支持CPU和GPU。GPU op插件可被动态加载，用来取代默认（CPU）op 实现；

 

注：Metal 是一种低层次的渲染应用程序编程接口，提供了软件所需的最低层，保证软件可以运行在不同的图形芯片上。Metal 提升了 A7 与 A8 处理器效能，让其性能完全发挥。

高性能

• 其中的核心计算使用了大量优化的汇编代码实现，充分利用了ARM CPU；
• 对于iOS, 可以打开GPU加速（Metal），这比苹果原生CoreML要快；
• 对于Android, 可用OpenCL、Vulkan和OpenGL，并且针对主流GPUs（Adreno和Mali）进行了深度调优；
• 卷积和转置卷积（ transposition convolution）算法高效且稳定。Winograd卷积算法被广泛用于更好的对称卷积，如3x3 ->7x7;
• 为新架构ARM v8.2做了额外优化，支持半精度计算；

使用方便

• 高效的图像处理模块，无需libyuv和opencv即可加速彷射变换和颜色空间变化；
• 在整个工作流中提供回调，以提取数据或精确控制执行；
• 提供选项在CPU和GPU上选择推理分支和并行分支；

---

架构

 MNN可分成两部分：Converter和Interpreter. (即转换部分和解析部分)

Converter由前端和图优化构成。

前端负责支持不同的训练框架（如Tensorflow，Caffe,ONNX）;MNN当前支持Tensorflow， Tensorflow Lite, Caffe和 ONNX(PyTorch/MXNet) ；

图优化 通过操作算子融合，操作算子替换，布局调整来优化网络图结构；

Interpreter 由引擎 和后端构成。

引擎负责加载模型和有序导入计算图；

后端包括内存分配和Op在各个计算单元上的实现；

在引擎和后端上，MNN应用了许多优化方案，包括在卷积和反卷积上用Winograd算法，使用Strassen算法应用与矩阵乘法，低精度计算，Neon指令集优化，手写汇编，多线程优化，内存重复使用，异构计算等；

---

---

快速开始

• Install
• Tutorial
• API
• Demo
• Model conversion
• Test tools
• Op list
• Contributing

---

对比

• Benchmark

---

如何自定义

• Add custom op
• Add custom backend

 

 

本文就写到这，后续使用中会做详细文章介绍~感谢开源精神！