cross-modal similarity hashing

原文：Data fusion through cross-modality metric learning using similarity-sensitive hashing（CVPR 2010）

文章工作：提出一种利用多模态数据，进行相似度敏感哈希的方法，其中各个哈希函数之间用boosting的思想进行提升。

其算法如下：n为哈希函数的个数，K为每对样本权重，也即相似度矩阵每个位置的权重。

boosted cross-modality similarity learning algorithm

该算法的运作：首先用随机映射初始化，将原始数据哈希，得到各个模态的哈希码，利用该哈希码和定义的多模态数据融合方式得到相似度矩阵，其融合如下：

多模态数据融合方式

汉明距离定义-进一步得到相似度矩阵

利用这个相似度矩阵得到下一个哈希函数的权重，再用随机映射产生下一个映射函数如此继续。。。

各个哈希函数的权重学习完之后，利用多模态数据产生哈希码的过程：

模态融合

将原始松弛并重写

其中p和q是用随机的方式产生的，利用最大化C的方式得到a和b。

总结：不学映射矩阵，类似LSH；学习各个哈希函数的权重，基于贪心策略。多模态融合，利用多模态数据的一致性。