高通AI Stack Models开源仓库介绍（一）

文章介绍

AI是高通一直关注的领域，为此推出了高通Qualcomm AI Stack，提供了一个集成所有AI框架（如TensorFlow、PyTorch、ONNX、Keras）、开发者库、系统软件和操作系统的整合平台，有不同层面的架构支持，能够助力开发人员一次开发，即可跨不同终端和操作系统进行扩展，赋能生态系统。高通进一步推出了Qualcomm AI Stack Models，演示了使用Qualcomm AI Stack端到端的解决方案，以及使用到的AI模型，也提供模型精度调优的例子。Qualcomm AI Stack Models的代码可以在这里获得

https://github.com/quic/ai-stack-models/tree/main/

本文主要介绍Qualcomm AI Stack Models代码仓库中的AI解决方案部门，下图是解决方案的工作流程。

参考下面的部署，把示例代码部署到不同的操作系统平台上

AI 解决方案

1. Linux版本 AI solution

• 根据QCS8550.LE.1.0的release note，下载基线并编译基线，下载到设备确认能正常启动
• 编译生成ai-solutions app文件，并下载对应的镜像到设备，确认ai-solutions app在对应目录下(build-qti-distro-fullstack-debug/tmp-glibc/work/qrb5165_rb5-oe-linux/qti-robotics-image/1.0-r0/rootfs/usr/bin/)
• 运行ai-solutions app，确认结果

命令：ai-solutions -c -i -o

2. Ubuntu版本 AI solution

1）electron-gui：

I. electron_app_ui目录：该目录包含UI代码，并处理启动UI并将其连接到flask server的部分。在这里，用户提供输入图像，选择人工智能模型供他们使用。所有这些信息都使用ajax请求发送到python。

• 安装依赖项：
• pip install empatches flask opencv-python pillow icecream flask_cors zmq pyinstaller numpy==1.24.3
• 创建sr_dlc目录并将dlc放在此目录，dlc按照models-for-solutions目录生成
• 开始运行flask server：python server.py
• 服务器端口为9081，查看网页为http://localhost:9081

II. SNPE_CPP_CODE目录：这是Flask server的服务。这将在网络上运行经过预处理的图像，并将模型给出的输出返回到Flask Server。

• 将zmq_support.patch打到SNPE SDK,然后将examples/NativeCpp/SampleCode/jni拷贝到SNPE_CPP_CODE 
• 根据您的设置更改SNPE_CPP_Code的CmakeLists.txt中的以下路径：

set (SNPE_ROOT "/opt/qcom/aistack/snpe/2.12.0.230626/")

set (SNPE_INCLUDE_DIR "${SNPE_ROOT}/include/SNPE")

set (SNPE_LIB_PREFIX "${SNPE_ROOT}/lib")

set (_dtuple_POSTFIX ubuntu-gcc7.5) 

•  创建build目录然后编译  

mkdir build

cd build

mkdir Release

cmake --build ./

III. python_flask_server目录：Electron UI充当前台，Flask server在后台处理来自Electron用户界面的请求。它获取elecron UI提供的所有信息，并在此处对接收到的图像进行预处理，然后将处理后的图像提供给SNPE_CPP_CODE以运行所选模型。SNPE_CPP_CODE返回模型的输出，然后我们将模型给出的数据处理成人们可以理解的形式，并将其返回到Electron UI进行显示。

• 安装npm依赖包：npm install
• Start UI：

node package_snpe_cpp.js && node package_python.js

npm start

•  生成package

npm install

export USE_SYSTEM_FPM=true

npm run package

• 安装package

dpkg -i .deb

•  运行app

setx  DISPLAY 127.0.0.1:0.0

ssh -X root@target_ip   NOTE:(default password:- oelinux123)

echo "X11Forwarding yes" >> /etc/ssh/sshd_config

export DISPLAY="localhost:10.0"

ai-solutions --no-sandbox

3. Windows版本AI solution

1）angular-app-nlp

I. python_flask_server目录

• 安装依赖项：
• pip install empatches flask opencv-python pillow icecream flask_cors zmq pyinstaller numpy==1.24.3
• 创建sr_dlc目录并将dlc放在此目录，dlc按照models-for-solutions目录生成
• 开始运行flask server：python server.py
• 服务器端口为9081，查看网页为http://localhost:9081

II. SNPE_CPP_CODE目录

•  将zmq_support.patch打到Windows SNPE SDK,然后将所有文件拷贝到SNPE_CPP_CODE 
• ZeroMQ库，请参照如下命令

libzmq:

git clone https://github.com/zeromq/libzmq.git

cd libzmq

mkdir build

cd build

cmake ../. -G "Visual Studio 17 2022" -D WITH_PERF_TOOL=OFF -D ZMQ_BUILD_TESTS=OFF -D ENABLE_CPACK=OFF -D CMAKE_BUILD_TYPE=Release

Open ZeroMQ.sln in Visual Studio

In Solution Directory, right click on INSTALL and build solution

See that the ZeroMQ is installed in C Drive.

Cppzmq:

git clone https://github.com/zeromq/cppzmq.git

cd cppzmq

mkdir build

cd build

`cmake ../. -G "Visual Studio 17 2022"

Open cppZMQ.sln in Visual Studio

In Solution Directory, right click on INSTALL and build solution

Confirm that cppzmq is installed in C Drive.

• 根据您的设置更改SNPE_CPP_Code的CmakeLists.txt中的以下路径：

set (SNPE_INCLUDE_DIR "C:/Qualcomm/AIStack/SNPE/2.12.0.230626/include/SNPE")

set (SNPE_LIB_PREFIX "C:/Qualcomm/AIStack/SNPE/2.12.0.230626/lib")

set (ZERO_MQ_PATH "C:/Program Files (x86)/ZeroMQ")

根据您的设置更改DLL文件名： get_filename_component(ZMQ_DLL_PATH "${ZERO_MQ_PATH}/bin/libzmq-v143-mt-gd-4_3_5.dll" REALPATH BASE_DIR ${CMAKE_CURRENT_SOURCE_DIR})

• 创建build目录然后编译

Mkdir build

Cd build

cmake ../ -G "Visual Studio 17 2022" -A ARM64

cmake --build ./ --config Release

III. Electron app UI目录

• 运行生成.exe文件

npm install

npm run build

npm run dist

• 可以在release文件夹下找到exe文件，运行文件
• 使用命令npm start就可以在浏览器中打开应用程序

2）electron-app-cv（参照angular-app-nlp流程）

作者：高通工程师，戴忠忠（Zhongzhong Dai）