华为云ModelBox实战：体感小游戏应用实操
目录
- 一、VsCode插件注册ModelBox设备
- 二、Windows SDK安装
-
- 1.安装Git for Windows
- 2.下载ModelBox SDK
- 3.相关插件安装
- 三、体感小游戏应用开发
-
- 1.技能模板使用
- 2.AI应用示例
- 3.体感小游戏体验
参与华为云活动【HCSD】ModelBox实战营邀请活动，呼朋唤友学AIoT，完成体感小游戏体验。
以及ModelBox端边云AI应用开发框架交流专区。
ModelBox是高性能、高扩展、易用的端云协同AI应用开发框架，帮助开发者快速完成AI应用开发和部署到端边云设备上，30分钟完成AI应用开发，同时可以增加推理的数据吞吐量，降低AI分析耗时！
以人体关键点检测案例为例，使用原生的ONNXRuntime API做开发，可以达到36fps；而ModelBox版本（推理框架同样是ONNXRuntime），则达到了79fps，大大提升了分析速率，详细的分析过程可参考ModelBox推理真的高效吗一文。
简易Flappy Bird游戏，ModelBox体感小游戏：玩家通过上下摆动双臂做出“扇动翅膀”的动作，阻止小鸟下落，躲避画面中的“狼柱”；如果小鸟不小心碰到了“狼”或者触碰到画面边缘，游戏停止，然后会重新开始。画面左上方显示的是玩家存活的时长。
一、VsCode插件注册ModelBox设备
安装VsCode，VS Code官网下载安装Windows x64版本的编辑器，也可以参考Visual Studio Code 安装教程，打开VsCode，搜索并安装ModelBox管理插件
安装完成后，点击插件，进入华为云登录界面，获取访问密钥
新增访问密钥，确认后将下载的表格文件中AK/SK，输入访问密钥登录
登录后，右键ModelBox的本地设备，选择注册此设备，即可注册完成
二、Windows SDK安装
1.安装Git for Windows
ModelBox中有些脚本的执行依赖bash，使用Git bash也可以让开发者在Windows上获得与Linux相同的执行环境，因此需要安装Git for Windows，根据以下步骤安装即可
安装时注意勾选关联sh文件的默认应用为Git for Windows，即Associate .sh files to be run with Bash其他按照默认点击即可
2.下载ModelBox SDK
在HiLens管理控制台，选择专业版，同意协议后，再选择技能开发-工具/插件板块下载Windows系列的ModelBox SDK
新建一个用于ModelBox开发的文件夹（注意路径中不能有中文和空格），将下载的SDK压缩包解压到该路径
使用VSCode打开该文件夹
ModelBox SDK的目录结构，modelbox-win10-x64文件夹即为ModelBox核心库，包含ModelBox运行环境、内置的功能单元等，SDK中已经包含了Python运行环境python-embed目录，AI应用常用的OpenCV、NumPy等三方库也已经内置，开发者无需手动安装
3.相关插件安装
相关插件安装用于提高开发效率
Python：后面教程会涉及到ModelBox的Python功能单元开发，可以进行语法高亮、自动补全、代码跳转等
Even Better TOML：ModelBox中的流程图、配置文件等使用 TOML 语法编写，可以进行语法检查、关键字高亮、文件排版等
三、体感小游戏应用开发
1.技能模板使用
新建终端：打开VSCode，点击终端-新建终端，在下方会出现一个新终端
ModelBox技能模板：ModelBox中存在口罩检测、手势检测、人体姿态识别等AI技能模板，存放在华为云OBS中
在ModelBox SDK中提供了一个solution.bat工具，用于下载云侧的技能模板，执行.\solution.bat -l可看到当前已有的技能模板，如果是第一次执行solution.bat工具，会先去下载安装相关的obs工具
.\solution.bat -l
安装完成后再执行一次.\solution.bat -l，就可以看到技能模板了
2.AI应用示例
创建工程：ModelBox SDK中提供了create.bat工具，用于创建ModelBox工程、创建功能单元、工程打包等
执行.\create.bat可看到辅助工具的用法介绍
.\create.bat
执行以下命令可以创建车辆检测技能
.\create.bat -t server -n car_det -s car_det
创建好的工程结构如下
运行应用：车辆检测技能默认会打开工程中的测试视频（data/car_test_video.mp4），检测画面中的车辆，将车辆画框再输出到另一个视频文件中
进入到车辆检测工程目录，然后执行命令启动应用
cd .\workspace\car_det\
.\bin\main.bat
看到Task SUCCEEDED、请按任意键继续等字样，即表示应用运行完毕
在hilens_data_dir目录下生成了car_test_result.mp4文件，用播放器打开将看到车辆检测效果
至此，ModelBox开发环境已准备完毕，可以进行AI应用开发了
3.体感小游戏体验
体感小游戏对应的ModelBox版本已经做成模板放在华为云OBS中，可以用SDK中的solution.bat工具下载
下载模板：执行.\solution.bat -l查看当前公开的技能模板
.\solution.bat -l
pose_game_flappy_bird为体感小游戏应用模板，下载模板
.\solution.bat -s pose_game_flappy_bird
solution.bat工具的参数中，-l 代表list，即列出当前已有的模板名称；-s 代表solution-name，即下载对应名称的模板，下载下来的模板资源，将存放在ModelBox核心库的solution目录下
创建工程：在ModelBox SDK目录下使用create.bat创建flappy_bird工程
.\create.bat -t server -n flappy_bird -s pose_game_flappy_bird
create.bat工具的参数中，-t 表示创建事务的类别，包括工程(server)、Python功能单元(Python)、推理功能单元(infer)等；-n 代表name，即创建事务的名称；-s 代表solution-name，表示将使用后面参数值代表的模板创建工程，而不是创建空的工程
运行应用：打开工程目录下bin/mock_task.toml文件，修改其中的任务输入和任务输出配置为如下内容
即使用编号为0的摄像头（默认为PC自带的摄像头），输出画面显示到名为pose_game的本地屏幕窗口中
[input]
type = "url"
url = "0" # 表示0号摄像头，即PC自带摄像头，若PC无摄像头需外接USB摄像头
[output]
type = "local"
url = "0:pose_game" # 表示名为```pose_game```的本地窗口
进入到应用目录，执行.\bin\main.bat运行应用开始游戏
cd .\workspace\flappy_bird\
.\bin\main.bat
如果需要终止游戏，打开任务管理器，结束进程即可，然后返回终端停止
更多有关体感小游戏应用的介绍可以参考：ModelBox开发案例 - 体感小游戏