基于轻量级CNN开发构建学生课堂行为识别系统

其实早在之前，我的一些文章里面就有做过关于学生课堂行为检测识别的项目，感兴趣的话可以自行移步阅读：

《yolov4-tiny目标检测模型实战——学生姿势行为检测》

《基于yolov5轻量级的学生上课姿势检测识别分析系统》

这些主要是偏目标检测类的项目

这里主要是想基于图像识别的方式来实现不同类型课堂行为的识别。首先来看下效果：

这里识别的课堂行为一共有以下5种，如下：

drink     喝水
listen    听课
phone     玩手机
trance    走神
write     记笔记

简单看下数据：

drink：

listen：

phone：

trance：

write：

首先解析构建标砖h5数据集如下：

for one_label in os.listdir(picDir):
    for one_pic in os.listdir(picDir + one_label + "/"):
        if (
            one_pic.endswith("jpg")
            or one_pic.endswith("png")
            or one_pic.endswith("jpeg")
        ):
            try:
                one_path = picDir + one_label + "/" + one_pic
                print("one_path: ", one_path)
                # 图片
                one_img = cv2.imread(one_path)
                one_img = cv2.resize(one_img, (100, 100))
                one_img = one_img.transpose((2, 0, 1))
                # 标签
                one_pic_classes = one_label
                one_y = getY(one_pic_classes)
                # 整合
                X_train.append(one_img)
                y_train.append(one_y)
            except Exception as e:
                print("Exception: ", e)

接下来搭建轻量级的CNN模型，核心实现如下：

model = Sequential()
model.add(
    Conv2D(
        64,
        (3, 3),
        strides=(2, 2),
        input_shape=input_shape,
        padding="same",
        activation="relu",
        kernel_initializer="uniform",
    )
)
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(
    Conv2D(
        128,
        (3, 3),
        strides=(2, 2),
        padding="same",
        activation="relu",
        kernel_initializer="uniform",
    )
)
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(
    Conv2D(
        256,
        (3, 3),
        strides=(2, 2),
        padding="same",
        activation="relu",
        kernel_initializer="uniform",
    )
)
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(256, activation="relu"))
model.add(Dropout(0.1))
model.add(Dense(512, activation="relu"))
model.add(Dropout(0.15))
model.add(Dense(numbers, activation="softmax"))
model.compile(
    loss="categorical_crossentropy", optimizer="sgd", metrics=["accuracy"]
)

训练出来的模型很轻量级，只有不到5MB的大小。

训练集-测试集准确度曲线如下：

损失值曲线如下：

训练结束还绘制了混淆矩阵如下：

为了使得推理计算过程可视化，这里编写了专用的界面可以方便使用，如下：

点击上传自己想要测试的图片：

点击执行识别即可启动推理计算：

测试结果还是很不错的，这点从混淆矩阵上也可以印证。