阅读文献记录四（跨模态数据增广）

基于跨模态数据增广的视频连续手语识别

问题1：连续手语识别中优化目标和评价指标不一致的问题。例如：最大解码概率预测句子可能不是在误字率标准下最好的选择。

解决方法：提出了一种基于跨模态增强的框架，首先通过模拟误字率的计算过程来增强跨模态数据，即对句子和其对应视频采取替换、删除和插入操作。

创新点：为了最小化真实手语视频与其对应真实标签之间的距离，同时最大化真实手语视频与伪标签之间的距离，本章提出了一项真伪辨别损失函数。

本章提出了多项损失函数，旨在缩小视频与对应文本之间的跨模态距离。

真伪辨别损失函数：1.最大化真实手语视频与其对应真实标签之间的距离；2.最大化真实手语视频与伪标签间的距离。

CTC 损失函数：真实与伪标签对齐；

跨模态语义一致性损失函数：最小化真实手语视频与文本之间的跨模态距离。

最终的优化损失函数由CTC损失函数、真伪辨别损失函数、跨模态语义损失函数相加而成；

框架示意图：

 增广文本序列的方法包括同义词替换、随机交换、随机删除等。生成伪视频－文本对。

序列模型：使用BLSTM，它能够抓住以前向和反向的方式捕获时间依赖性；

文本编码器：为了约束视觉特征与文本序列之间的语义一致性；

使用三元组损失函数最小化锚点与正样本之间的距离，同时最大化锚点与负样本之间的距离；

将特征分为两组，

分别表示真实视频，真实文本，伪文本，伪视频。真实视频与真实样本之间的特征距离理应比真实视频与伪文本之间的距离更近。

真实视频为锚点的真伪辨别损失函数如下定义：

 真实文本锚点的真伪分辨损失函数如下定义：

 真伪辨别损失为上述两个部分的相加。

真伪辨别损失聚焦于视频与文本之间的相对距离。
之间的距离度量使用动态时间规整（DTW）算法衡量；