小米开源AI框架mace编译构建

目录

简介

环境要求

1 安装 Bazel

2 安装Android NDK 

3 在Ubuntu16.04下安装Docker(17.09)

构建并运行示例模型

1 拉取MACE项目

2 拉取MACE Model Zoo项目

3 构建通用MACE库

4 将预先训练的mobilenet-v2模型转换为MACE格式模型

编译运行DEMO

1 运行build.sh编译

2 使用Android Studio编译


 

简介

MACE是一种针对移动异构计算平台优化的深度学习推理框架。

Github:https://github.com/xiaomi/mace

编译系统:虚拟机 ubuntu 16.04 LTS

环境要求

MACE需要以下依赖项:

Software Installation command Tested version
Python   2.7
Bazel bazel installation guide 0.13.0
CMake apt-get install cmake >= 3.11.3
Jinja2 pip install -I jinja2==2.10 2.10
PyYaml pip install -I pyyaml==3.12 3.12.0
sh pip install -I sh==1.12.14 1.12.14
Numpy pip install -I numpy==1.14.0 Required by model validation
six pip install -I six==1.11.0 Required for Python 2 and 3 compatibility (TODO)
Software Installation command Remark
Android NDK NDK installation guide Required by Android build, r15b, r15c, r16b, r17b
ADB apt-get install android-tools-adb Required by Android run, >= 1.0.32
TensorFlow pip install -I tensorflow==1.6.0 Required by TensorFlow model
Docker docker installation guide Required by docker mode for Caffe model
Scipy pip install -I scipy==1.0.0 Required by model validation
FileLock pip install -I filelock==3.0.0 Required by run on Android

注:如果在使用pip来进行安装操作时碰到这样的问题:pip Import Error:cannot import name main

解决方案:

sudo gedit /usr/bin/pip

将原来的:

from pip import main
if __name__ == '__main__':
    sys.exit(main())

改成:

from pip import __main__
if __name__ == '__main__':
    sys.exit(__main__._main())

1 安装 Bazel

推荐尺寸大于bazel 0.13.0

使用以下方法之一在Ubuntu上安装Bazel

  • 使用二进制安装程序(推荐)
  • 使用Bazel自定义APT存储库

方法一:使用二进制安装程序(推荐)

第1步:安装所需的包
首先,安装先决条件:pkg-config,zip,g++,zlib1g-dev,unzip,和python。

sudo apt-get install pkg-config zip g++ zlib1g-dev unzip python

第2步:下载Bazel
export BAZEL_VERSION=0.13.1
mkdir /bazel
cd /bazel
wget https://github.com/bazelbuild/bazel/releases/download/$BAZEL_VERSION/bazel-$BAZEL_VERSION-installer-linux-x86_64.sh

第3步:运行安装程序
chmod +x bazel-*.sh
./bazel-$BAZEL_VERSION-installer-linux-x86_64.sh --user

第4步:删除安装包
cd /
rm -f /bazel/bazel-$BAZEL_VERSION-installer-linux-x86_64.sh

第5步:设置环境
该--user标志将Bazel安装到$HOME/bin系统上的目录并设置.bazelrc路径$HOME/.bazelrc。使用该--help命令可以查看其他安装选项。

如果您使用--user上面的标志运行Bazel安装程序,则Bazel可执行文件将安装在您的$HOME/bin目录中。将此目录添加到默认路径,如下所示:

export PATH="$PATH:$HOME/bin"

也可以将此命令添加到~/.bashrc文件中。

注:试过通过离线下载好的包进行安装出现错误,后改成用wget在线下载进行安装成功

如果安装成功后输入命令bazel 正常,使用sudo bazel却提示找不到命令的话,解决方案如下:

以root用户身份来编辑文件/etc/sudoers
sudo vim /etc/sudoers

找到Defaults env_reset, 将其改为
Defaults        !env_reset  这里加了这个感叹号表示不重置环境变量

然后,编辑用户根目录下的配置文件~/.bashrc
vim .bashrc

在文件内最后追加
alias sudo='sudo env PATH=$PATH'

最后, 使配置文件生效
source ~/.bashrc

方法二:使用Bazel自定义APT存储库

第1步:安装JDK
安装JDK 8:
sudo apt-get install openjdk-8-jdk

在Ubuntu 14.04 LTS上,必须使用PPA:
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update && sudo apt-get install oracle-java8-installer

第2步:添加Bazel分发URI作为包源
注意:这是一次性设置步骤。

echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -

如果要安装Bazel的测试版,请替换stable为testing。

第3步:安装和更新Bazel
sudo apt-get update && sudo apt-get install bazel

如果这一步出错:
由于没有公钥,无法验证下列签名: NO_PUBKEY 7EA0A9C3F273FCD8
W: 仓库 “http://mirrors.aliyun.com/docker-ce/linux/ubuntu xenial InRelease” 没有数字签名。
N: 无法认证来自该源的数据,所以使用它会带
解决办法:(红色字符串是PUBKEY的后八位)
  sudo apt-key adv --recv-keys --keyserver keyserver.Ubuntu.com F273FCD8

安装后,可以使用以下命令升级到较新版本的Bazel:
sudo apt-get upgrade bazel

注:安装bazel最新版本0.17.1出现无法正常编译mace

2 安装Android NDK 

推荐的Android NDK版本包括r15b,r15c和r16b

# Download NDK r15c
cd /opt/
wget https://dl.google.com/android/repository/android-ndk-r15c-linux-x86_64.zip 
unzip android-ndk-r15c-linux-x86_64.zip 
rm -f android-ndk-r15c-linux-x86_64.zip


配置NDK系统环境变量

sudo vim /etc/profile

在文件内最后追加

export ANDROID_NDK_VERSION=r15c
export ANDROID_NDK=/opt/android-ndk-${ANDROID_NDK_VERSION}
export ANDROID_NDK_HOME=${ANDROID_NDK}

# add to PATH
export PATH=${PATH}:${ANDROID_NDK_HOME}

查看是否安装成功
ndk-build

3 在Ubuntu16.04下安装Docker(17.09)

1 安装docker:sudo apt-get install docker.io
2 检查版本: docker version 当出现client和service表面安装成功
3 启动docker:systemctl start docker.service
4 更新docker 
    4.1 需要使用apt-get来升级,借助阿里的docker-ce源
    sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
  4.2 sudo apt-get update
  4.3 搜索源 apt-cache madison docker-ce
 
  会出现版本,选择一个
  4.4 sudo apt-get -y install docker-ce=17.09.0~ce-0~ubuntu --allow-unauthenticated
  4.5 查看是否更新
    sudo docker version

构建并运行示例模型

首先,确保已经正确设置了环境

1 拉取MACE项目

git clone https://github.com/XiaoMi/mace.git
cd mace/
git fetch --all --tags --prune

# Checkout the latest tag (i.e. release version)
tag_name=`git describe --abbrev=0 --tags`
git checkout tags/${tag_name}

2 拉取MACE Model Zoo项目

git clone https://github.com/XiaoMi/mace-models.git

3 构建通用MACE库

cd path/to/mace
# Build library
# output lib path: builds/lib
bash tools/build-standalone-lib.sh

注:编译时如果NDK没有设置环境变量会提示未找到NDK则需要配置NDK路径

在mace源码根目录下有一个WORKSPACE文件,请把你的NDK 路径配置在android_ndk_repository下

NDK路径是相对于mace源码的根目录

# Set up Android NDK
android_ndk_repository(
    name = "androidndk",
    # Android 5.0
    api_level = 21,
    path="../../Android/Sdk/ndk-bundle",
)

4 将预先训练的mobilenet-v2模型转换为MACE格式模型

cd path/to/mace
# Build library
python tools/converter.py convert --config=/path/to/mace-models/mobilenet-v2/mobilenet-v2.yml

注: 在转换模型过程中,如果mobilenet-v2.yml格式为code时,不知为何只要Android Studio打开Demo工程就无法转换成功,关闭后就可以,但是格式为file时就不存在此问题

编译运行DEMO

位置:mace/examples/android

使用以下方法之一可以生成APK

  • 运行build.sh编译
  • 使用Android Studio编译

运行build.sh编译

android工程目录下有一个build.sh的配置文件,运行就可以编译,但是该配置使用的模型是mobilenet,该模型只有arm64-v8a平台,而现在手机大部分是armeabi-v7a平台,所以改成使用模型mobilenet-v2

第一步,修改build.sh文件

打开build.sh文件

TARGET_ABI=arm64-v8a
修改成
TARGET_ABI=armeabi-v7a

python tools/converter.py convert --config=mace/examples/android/mobilenet.yml --target_abis=$TARGET_ABI
cp -rf builds/mobilenet/include/mace/public/*.h $INCLUDE_DIR
cp -rf builds/mobilenet/model $LIBRARY_DIR

重新指定模型路径
mobilenet-v2模型路径:mace-models/mobilenet-v2/mobilenet-v2.yml替换mobilenet模型路径:mace/examples/android/mobilenet.yml

模型转换成功后会builds下生成mobilenet-v2目录
将mobilenet-v2替换mobilenet

修改完成如下所示
python tools/converter.py convert --config=mace-models/mobilenet-v2/mobilenet-v2.yml  --target_abis=$TARGET_ABI
cp -rf builds/mobilenet-v2/include/mace/public/*.h $INCLUDE_DIR
cp -rf builds/mobilenet-v2/model $LIBRARY_DIR

第二步,修改CMake配置文件 

打开macelibrary Module下CMakeLists.txt文件

set(mace_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/lib/arm64-v8a/libmace.a)
set(mobilenet_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/model/arm64-v8a/mobilenet.a)

将arm64-v8a平台换成armeabi-v7a
将mobilenet.a 修改成 mobilenet-v2.a

修改完成如下所示
set(mace_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/lib/armeabi-v7a/libmace.a)
set(mobilenet_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/model/armeabi-v7a/mobilenet-v2.a)

第三步,修改build.gradle

打开macelibrary Module工程下的build.gradle

abiFilters "arm64-v8a"
修改成
abiFilters "armeabi-v7a"

第四步,修改模型转换格式

file:文件格式,tensorflow的模型将转换成 .pb格式文件

code:c++代码格式,模型加密与保护

模型转换成C++代码,防止反编译有效保护模型

model_graph_format: file
model_data_format: file

将模型图形格式和模型数据格式都转换为代码

model_graph_format: code
model_data_format: code

具体操作将mace-models/mobilenet-v2 目录下的mobilenet-v2.yml和mobilenet-v2-host.yml都修改为code,修改完成如下所示
library_name: mobilenet-v2
target_abis: [armeabi-v7a, arm64-v8a]
model_graph_format: code
model_data_format: code

第五步,设置sdk和ndk路径

在项目根目录下local.properties文件设置SDK和NDK

sdk.dir=E\:\\AndroidStudio\\SDK
ndk.dir=E\:\\AndroidStudio\\android-ndk-r16b

第六步,编译Demo

在项目根目录下运行
./build.sh

注:因为编译时有进行模型转换,如上所注,在编译的时候Android Studio不能打开该Demo工程,否则编译将出现错误。编译完成后可能会因为没有连接设备而提示错误,但是可以在app/build/outputs下看是否有成功打包apk

2 使用Android Studio编译

第一步,转换模型数据

将mace-models/mobilenet-v2 目录下的mobilenet-v2.yml和mobilenet-v2-host.yml都修改为code,修改完成如下所示
library_name: mobilenet-v2
target_abis: [armeabi-v7a, arm64-v8a]
model_graph_format: code
model_data_format: code

修改完后使用命令转换
python tools/converter.py convert --config=/path/to/mace-models/mobilenet-v2/mobilenet-v2.yml

第二步,导入Demo工程,设置sdk和ndk

小米开源AI框架mace编译构建_第1张图片

注:ndk如果设置最新的版本将无法正常编译,请选择推荐的版本

第三步,将生成的库放至macelibrary

在Demo项目中的macelibrary/src/main/cpp 目录下

    1 新建include/mace/public文件夹

           1.1 将builds/include/mace/public/ 下的mace.h 和 mace_runtime.h复制到该文件夹下

           1.2 将builds/mobilenet-v2/include/mace/public/ 下的mace_engine_factory.h 、mobilenet_v2.h复制到该文件夹下

    2 新建lib文件夹

           2.1 将builds/lib下的arm64-v8a、armeabi-v7a和linux-x86-64复制到该文件夹下

           2.2 将cpu_gpu/下的libmace.a、libmace.so文件复制到与此同级别目录后删除cpu_gpu文件夹

    3 新建model文件夹

           3.1 将builds/mobilenet-v2/model 下的 arm64-v8a/mobilenet-v2.a、armeabi-v7a/mobilenet-v2.a复制到该文件夹下

           3.2 将mobilenet-v2.a 重命名为 mobilenet.a  或 修改CMakeLists.txt文件  将mobilenet.a 改为 mobilenet-v2.a  如下

                 set(mobilenet_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/model/arm64-v8a/mobilenet-v2.a)

第四步,点击运行

修改以下代码,加载使用模型mobilenet_v2后点击运行

小米开源AI框架mace编译构建_第2张图片

你可能感兴趣的:(小米开源AI框架mace编译构建)