(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash

论文的贡献:
1.我们提出了一种新的无监督视频哈希框架,称为自监督时间哈希(ssth)。据我们所知,ssth是视频哈希的第一个原则性深层框架。它是一种优化的端到端方法,解决了传统视频散列方法中的各种弱点,例如对时间性质的无知以及对池、松弛和二值化的隔离。
2。我们开发了一个新的lstm变量,名为binary lstm(blstm),它是temporalaware散列函数的构建块。我们还开发了一个有效的反向传播规则,可以直接解决BLSTM的二进制优化问题,而不需要任何松弛。
3。对传统的一阶编码器译码器RNN[27,28]进行了改进,采用了正反阶帧重构的方法。我们的策略是一个新的无监督学习目标,更好地模拟数据的时间性质。

BSLTM 的每个节点构建如下:

(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第1张图片
其中 圆圈表示元素的乘法

每个节点图示:
(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第2张图片
因为增加了一个BatchNormal计算,所以BLSTM比LSTM得到的数据更去相关和平衡,如图:
(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第3张图片
网络的整个图形:
(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第4张图片
中间部分细化如下:
(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第5张图片
编码和解码都是两层结构
重建公式:
在这里插入图片描述
(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第6张图片
损失函数:
(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第7张图片
(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第8张图片
(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第9张图片

(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash_第10张图片

你可能感兴趣的:(一些论文)