基于MaixBit（K210芯片）的图像识别猜拳手势博弈装置

本文介绍了一种基于嵌入式平台开发的图像识别部署装置，其主要功能包括实现机器与人的“猜拳博弈”，其组成分为三个部分：

1. 手势检测数据集

2. 图像识别模型训练

3. 模型格式部署

4. maixbit开发板部署

手势检测数据集：本项目的数据集包括三种标签：石头，剪刀，布。数据集采用的是自己采集，自行采集数据集有两个优点：1.对最终的部署于maixbit开发板进行识别更加具有针对性；2.可以任意控制数据集的数量。

如上图所示：maixpy提供了线上的数据集制作平台，进行训练集以及验证集的编写，通过手动标注数据集，由于本项目中所使用的是图像分类的识别模型，不需要进行手动标注。

数据集的样本采集方式使用手机端进行直接的训练样本采集,上传至maixHub的后端服务器，图像样本以及对应的标签。

选取模型进行模型的训练，使用的分类模型为mobilenet，进行数据集的拟合。

踩坑经验:数据集三种标签的样本采集数量应该严格相等，同时尽可能数量多，不低于80张采集样本图片。模型选择方面，仅支持官方推荐的几种模型，也是因为芯片的RAM较小，并且其中固件占据了太多部分的内存。

选择部署方式，本项目最终部署的平台是maixBit开发板，因此适用于nncase的部署方式，如果选择部署于树莓派与安卓平台时，可以选择ncnn的部署方式。

配置项选择全部结束，创建训练任务，日志平台进行训练日志的监控，主要包括损失函数loss的下降趋势监控，以及模型acc准确率的显示等，训练完成的模型进行终端部署相关操作。

maixhub帮助我们实现了一个初步的推理代码，实现部署直接应用模型，即可实现调用maixbit开发进行模型的图像识别。

import sensor, image, lcd, time
import KPU as kpu
import gc, sys

input_size = (224, 224)
labels = ['cloth', 'Scissors', 'Stone']

def lcd_show_except(e):
    import uio
    err_str = uio.StringIO()
    sys.print_exception(e, err_str)
    err_str = err_str.getvalue()
    img = image.Image(size=input_size)
    img.draw_string(0, 10, err_str, scale=1, color=(0xff,0x00,0x00))
    lcd.display(img)

def main(labels = None, model_addr="/sd/m.kmodel", sensor_window=input_size, lcd_rotation=0, sensor_hmirror=False, sensor_vflip=False):
    sensor.reset()
    sensor.set_pixformat(sensor.RGB565)
    sensor.set_framesize(sensor.QVGA)
    sensor.set_windowing(sensor_window)
    sensor.set_hmirror(sensor_hmirror)
    sensor.set_vflip(sensor_vflip)
    sensor.run(1)

    lcd.init(type=1)
    lcd.rotation(lcd_rotation)
    lcd.clear(lcd.WHITE)

    if not labels:
        with open('labels.txt','r') as f:
            exec(f.read())
    if not labels:
        print("no labels.txt")
        img = image.Image(size=(320, 240))
        img.draw_string(90, 110, "no labels.txt", color=(255, 0, 0), scale=2)
        lcd.display(img)
        return 1
    try:
        img = image.Image("startup.jpg")
        lcd.display(img)
    except Exception:
        img = image.Image(size=(320, 240))
        img.draw_string(90, 110, "loading model...", color=(255, 255, 255), scale=2)
        lcd.display(img)

    try:
        task = None
        task = kpu.load(model_addr)
        while(True):
            img = sensor.snapshot()
            t = time.ticks_ms()
            fmap = kpu.forward(task, img)
            t = time.ticks_ms() - t
            plist=fmap[:]
            pmax=max(plist)
            max_index=plist.index(pmax)
            img.draw_string(0,0, "%.2f : %s" %(pmax, labels[max_index].strip()), scale=2, color=(255, 0, 0))
            img.draw_string(0, 200, "t:%dms" %(t), scale=2, color=(255, 0, 0))
            lcd.display(img)
    except Exception as e:
        raise e
    finally:
        if not task is None:
            kpu.deinit(task)


if __name__ == "__main__":
    try:
        # main(labels=labels, model_addr=0x300000)
        main(labels=labels, model_addr="/sd/model-26548.kmodel")
    except Exception as e:
        sys.print_exception(e)
        lcd_show_except(e)
    finally:
        gc.collect()

maixbit开发使用摄像头以及LCD屏幕进行图像的结果显示，包括实时视频检测的结果以及模型识别的推理时间，进行显示。

maix bit主板示意图如下图所示：

maix bit开发板示意图

maix bit开发板的内部包含KPU神经网络处理器，类似华为的NPU芯片，可以加快模型的推理速度。

目前手上有可以识别石头剪刀布三种手势的模型设备，需要进行人机交互层面的实现工作。

选取上电运行的主界面图片：

具体需要实现的交互功能为根据人的手势，识别其具体的手势类别，再做出相应的手势反应。

主界面的上电运行图片进行实际的切分，分为剪刀图片，石头图片以及布图片：

三种手势图片

图片进行显示预处理，maix bit开发板的显示屏采用的LCD液晶显示屏，其如下图所示：

其显示屏的参数对于项目的区别在于320x240的视频显示分辨率，因此其主界面的图片显示应调整分辨率为320x240的图像分辨率，这里使用的是画图软件，进行图片大小的调整。

部署模型Python代码如下所示：

import sensor, image, lcd, time
import KPU as kpu
import gc, sys
input_size = (224, 224)
labels = ['cloth', 'Scissors', 'Stone']
cloth_pic = "/sd/bu.jpg"
Scissors_pic = "/sd/jian.jpg"
Stone_pic = "/sd/shi.jpg"
def lcd_show_except(e):
    import uio
    err_str = uio.StringIO()
    sys.print_exception(e, err_str)
    err_str = err_str.getvalue()
    img = image.Image(size=input_size)
    img.draw_string(0, 10, err_str, scale=1, color=(0xff,0x00,0x00))
    lcd.display(img)
def main(labels = None, model_addr="", sensor_window=input_size, lcd_rotation=0, sensor_hmirror=False, sensor_vflip=False):
    sensor.reset()
    sensor.set_pixformat(sensor.RGB565)
    sensor.set_framesize(sensor.QVGA)
    sensor.set_windowing(sensor_window)
    sensor.set_hmirror(sensor_hmirror)
    sensor.set_vflip(sensor_vflip)
    sensor.run(1)
    lcd.init(type=1)
    lcd.rotation(lcd_rotation)
    lcd.clear(lcd.WHITE)
    try:
        img = image.Image("/sd/start.jpg")
        lcd.display(img)
        time.sleep(2)
        lcd.clear()
        img = image.Image(size=(320, 240))
        img.draw_string(80, 110, "Mora Guess Game", color=(255, 255, 255), scale=2)
        lcd.display(img)
        time.sleep(2)
    except Exception:
        img = image.Image(size=(320, 240))
        img.draw_string(50, 50, "model exception...", color=(255, 255, 255), scale=2)
        lcd.display(img)
    try:
        task = None
        task = kpu.load(model_addr)
        lcd.clear()
        while(True):
            img = sensor.snapshot()
            t = time.ticks_ms()
            if img is None or img == "":
                continue
            fmap = kpu.forward(task, img)
            t = time.ticks_ms() - t
            fps = 1000/t
            plist=fmap[:]
            pmax=max(plist)
            max_index=plist.index(pmax);
            img.draw_string(0,0, "%.2f: %s" %(pmax,labels[max_index].strip()), scale=2, color=(000, 0,255))
            img.draw_string(0, 200, "fps :%.1f" %(fps), scale=2, color=(0, 0, 255))
            lcd.display(img,roi=(0, 0, 160, 240), oft=(0, 0))
            if max_index == 0:
                Scissors = image.Image(Scissors_pic)
                lcd.display(Scissors,roi=(0, 0, 160, 240), oft=(160, 0))
            elif max_index == 1:
                Stone = image.Image(Stone_pic)
                lcd.display(Stone,roi=(0, 0, 160, 240), oft=(160, 0))
            elif max_index == 2:
                cloth = image.Image(cloth_pic)
                lcd.display(cloth,roi=(0, 0, 160, 240), oft=(160, 0))
    except Exception as e:
        raise e
    finally:
        if not task is None:
            kpu.deinit(task)
if __name__ == "__main__":
    try:
        main(labels=labels, model_addr="/sd/model-26548.kmodel")
    except Exception as e:
        sys.print_exception(e)
        lcd_show_except(e)
    finally:
        gc.collect()

maix bit可以外接SD卡配置，将进行显示所用的文件为了节约芯片的内存，将LCD屏幕的320x240的屏幕进行一分为二，因此以上三个手势图片分辨率为160x240。

进行视频显示视频流显示与模型处理结果进行分割，针对视频流采集的图片进行预测，进行模型的前向传播，获取各个预测标签对应的概率。获取最大的概率所对应的索引，输出对应的预测标签结果。

博弈操作的逻辑代码如下：

if max_index == 0:
    Scissors = image.Image(Scissors_pic)
    lcd.display(Scissors,roi=(0, 0, 160, 240), oft=(160, 0))
elif max_index == 1:
    Stone = image.Image(Stone_pic)
    lcd.display(Stone,roi=(0, 0, 160, 240), oft=(160, 0))
elif max_index == 2:
    cloth = image.Image(cloth_pic)
    lcd.display(cloth,roi=(0, 0, 160, 240), oft=(160, 0))

将图像识别的标签进行分布为[石头，布，剪刀],通过识别的图片结果，读取sd卡中的图像数据，在半个LCD显示屏进行操作结果的显示，以此类推。

如图为本智能设备的最终识别效果：

以上为MaixBit（K210芯片）的图像识别猜拳手势博弈装置的最终效果，完整源代码通过关注我的公众号“千与编程”，有详细教程。其实这个项目是我一早就很想做的项目，现在也算完整完成了，做一个完整的项目，用编程改变世界加油！

我是千与千寻，我们下期见！