章节1 行为识别slowfast算法知识点通俗解读(唐宇迪)

目录

1 slowfast基本思想

1.1 slowfast项目

• 通用行为识别框架
• 可以拓展到自己项目
• 提供常规训练模型
• 模板项目直接讨论
  视频异常检测
• 异常行为识别模型
• 根据自己应用数据进行改进
• 常用无监督
  视频行为分类
• 通用时评行为分类框架，基于UCF-101数据进行实战

1.2 slowfast基本思想

动作在变环境不变，环境和动作信息，怎么融合前面

• 你

前后的序列 提取人再做什么 ，动作的顺序，2D的卷积，采取几帧，获取动作序列 获取多少帧 进行采样，去中间图片进行环境信息
行为识别，基于视觉，每个小序列，每个特诊非常丰富，能达到实时处理的速度嘛

1.3 主要贡献

一个通用的行为识别框架，自己的项目轻松套用，对比试验很丰富网络结构设计及其预训练模型均提供，思想比较直接，高频与低频特征通吃，直接融合特征进行预测，源码资源丰富，直接可以当作模板的项目

1.4 slowfast核心网络结构

去环境信息的时候，stride值要大（stride取4，那么32帧中取8帧）

环境信息很少，网络结构应该复杂还是简单呢？
网络结构应该复杂更好一点
动作信息很多，网络结构应该复杂还是简单呢？
应该简单，不然的话信息太多解决不了
图片中 α和β是0-1之间的小鼠，代表网络结构的缩小。

做完拼接。卷积

resnet层：特征提取
slow与fast提取特征目的不同
均使用3D卷积计算
fast计算要更加轻量级

1.5 特征融合

slow与fast的特征图如何融合呢

1. reshape
2. 抽帧，采样
3. 3D卷积