小米AI推理框架MACE介绍

MACE 是小米公司自研的移动端深度学习框架 Mobile AI Compute Engine,2017年12月15日于公司内部正式发布。2018年6月28日,在“2018(第十三届)开源中国开源世界高峰论坛”上,小米公司人工智能与云平台副总裁崔宝秋博士宣布开源 MACE,赋能中国 AI 产业,以期推动移动端深度学习的发展。

资料

官方手册:https://buildmedia.readthedocs.org/media/pdf/mace/latest/mace.pdf

开源github地址:https://github.com/XiaoMi/mace.git

mace模型库地址:https://github.com/XiaoMi/mace-models.git

LOGO:

小米AI推理框架MACE介绍_第1张图片

架构:

小米AI推理框架MACE介绍_第2张图片

简单总结一下:

1.MACE定义了自己的模型格式,提供工具将各类开源模型转为MACE格式。

2.MACE interpreter是用来解释图的。

3.后端支持DSP,CPU,GPU用来对算子加速,和某单位对我们提出的算子层API一个层面的意思。
GITHUB中的后端代码目录如下:

小米AI推理框架MACE介绍_第3张图片

 部署思路大同小异,不过多解释:

小米AI推理框架MACE介绍_第4张图片

小米AI推理框架MACE介绍_第5张图片

MACE SDK的组织方式:

小米AI推理框架MACE介绍_第6张图片

模型格式

MACE 自定义了一种类似 Caffe2 的模型格式。Tensorflow 和 Caffe 训练得到的模型可以转换成 MACE 模型进行部署。MACE 采用 YAML 文件描述模型的部署细节。下一章会给出 YAML 文件的创建方法。

模型转换

目前,我们提供了Tensorflow、Caffe模型到MACE模型的转换工具,未来会支持更多的框架。

模型加载

MACE 模型包含两部分:图(model graph)和参数张量(model parameter tensors)。graph 部分使用 Protocol Buffers 做序列化存储。所有的模型参数张量(model parameter tensors)被串联存储在一个连续的字节数组中,在后续段落中我们称之为张量数据(tensor data)。应该就是类似于darknet那种模型结构和模型权重分开存储的方式,darknet的权重文件也是一个连续的字节数组。

模型可以通过3种方式进行加载:

  1. model graph 和 tensor data 均在外部动态加载(默认情况下,从文件系统加载,但是用户可以自由选择一些实现方式,例如压缩或加密)。这种方式具有最大的灵活性但是模型的保护性最差。

  2. model graph 和 tensor data 转换成 C++ 代码并通过执行编译后的代码进行加载。这种方式提供了最强的模型保护措施,是最简单的部署方式。

  3. model graph 按照方式 2 一样被转换成 C++ 代码,tensor data 按照方式 1 进行外部加载。

结束!

你可能感兴趣的:(嵌入式系统,Linux,数学,人工智能,物联网,云计算)