章节1 行为识别slowfast算法知识点通俗解读(唐宇迪)

目录章节1 行为识别slowfast算法知识点通俗解读(唐宇迪)_第1张图片

1 slowfast基本思想

1.1 slowfast项目

  • 通用行为识别框架
  • 可以拓展到自己项目
  • 提供常规训练模型
  • 模板项目直接讨论
    视频异常检测
  • 异常行为识别模型
  • 根据自己应用数据进行改进
  • 常用无监督
    视频行为分类
  • 通用时评行为分类框架,基于UCF-101数据进行实战

1.2 slowfast基本思想

动作在变环境不变,环境和动作信息,怎么融合前面

前后的序列 提取人再做什么 ,动作的顺序,2D的卷积,采取几帧,获取动作序列 获取多少帧 进行采样,去中间图片进行环境信息
行为识别,基于视觉,每个小序列,每个特诊非常丰富,能达到实时处理的速度嘛

1.3 主要贡献

一个通用的行为识别框架,自己的项目轻松套用,对比试验很丰富网络结构设计及其预训练模型均提供,思想比较直接,高频与低频特征通吃,直接融合特征进行预测,源码资源丰富,直接可以当作模板的项目

1.4 slowfast核心网络结构

章节1 行为识别slowfast算法知识点通俗解读(唐宇迪)_第2张图片

去环境信息的时候,stride值要大(stride取4,那么32帧中取8帧)

环境信息很少,网络结构应该复杂还是简单呢?
网络结构应该复杂更好一点
动作信息很多,网络结构应该复杂还是简单呢?
应该简单,不然的话信息太多解决不了
图片中 α和β是0-1之间的小鼠,代表网络结构的缩小。

做完拼接。卷积
章节1 行为识别slowfast算法知识点通俗解读(唐宇迪)_第3张图片

resnet层:特征提取
slow与fast提取特征目的不同
均使用3D卷积计算
fast计算要更加轻量级

1.5 特征融合

slow与fast的特征图如何融合呢

  1. reshape
  2. 抽帧,采样
  3. 3D卷积

你可能感兴趣的:(行为识别,算法,深度学习,pytorch)