基于Django的深度学习视频分类Web系统

系统描述

桨大规模视频分类模型VideoTag基于百度短视频业务千万级数据，支持3000个源于产业实践的实用标签，具有良好的泛化能力，非常适用于国内大规模（千万/亿/十亿级别）短视频分类场景的应用。VideoTag采用两阶段建模方式，即图像建模和序列学习。第一阶段，使用少量视频样本（十万级别）训练大规模视频特征提取模型(Extractor)；第二阶段，使用千万级数据训练预测器(Predictor)，最终实现在超大规模（千万/亿/十亿级别）短视频上产业应用，其原理示意如下图所示。

Temporal shift module

数据处理：视频是按特定顺序排列的一组图像的集合，这些图像也称为帧。视频分类任务需要先对短视频进行解码，然后再将输出的图像帧序列灌入到VideoTag中进行训练和预测。

图像建模：先从训练数据中，对每个类别均匀采样少量样本数据，构成十万量级的训练视频。然后使用TSN网络进行训练，提取所有视频帧的TSN模型分类层前一层的特征数据。在这个过程中，每一帧都被转化成相应的特征向量，一段视频被转化成一个特征序列。

序列学习：采用Attention clusters、LSTM和Nextvlad对特征序列进行建模，学习各个特征之间的组合方式，进一步提高模型准确率。由于序列学习相比于图像建模耗时更短，因此可以融合多个具有互补性的序列模型。示例代码仅使用Attention_LSTM网络进行序列特征预测。

预测结果：融合多个模型结果实现视频分类，进一步提高分类准确率。

系统截图展示

首页功能

上传视频后，后端调用百度的模型，使用hub生成预测结果。

登录

注册

个人中心可以修改个人信息

系统环境

环境	版本	下载链接
windows	所有版本
python	3.7	必须是3.7+或者
django	3.2.7	–

系统安装启动

系统采用django开发，全套使用django就可以，数据库为sqlite

• 打开项目，安装python

• 安装依赖包: pip install -r requests.txt

• 启动django：python manage.py runserver

• 出现下图为成功：

代码截图