Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval

Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval

解决问题：1.在模型训练时利用单标签去估计语义相关性，但实际数据集中有多类标签同时存在，利用多标签更精准；2.利用哈希编码会导致高维数据的丢失

主要思想：自监督对抗哈希网络

将标签作为自监督学习的标准，建立两个对抗网络，可让文本，图像，标签在特征提取后信息丢失更少，且语义相关性保持；同时还需保持文本，图像，标签生成的哈希码相似性。以及减少文本，图像，标签自身哈希码生成到转换到统一哈希码的损失。

创新点：1.考虑到多标签的问题；2.利用自身标签作为监督信息；3.使用两个对抗网络，比较为转换成哈希码前与原始数据的差别，减少了高维数据的丢失。

缺点：虽考虑到多标签，但文章中相似度矩阵的S的描述为只要有一个标签相同，则为1；若存在多个标签，标签在图像中占的比重也不相同；有多相似并没有进行区分。