什么是跨模态检索与多模态检索？

徐海蛟 博士

华中科技大学计算机学院[数据与软件工程实验室]

最近的跨模态检索与多模态检索炙手可热。

与传统的单模态检索不同，在跨模态检索中，检索结果的模态和查询的模态是不同的。比如，用户使用图像检索文本，视频和音频。跨模态检索的关键在于对不同模态的关系进行建模，难点就是跨越语义鸿沟。然而，当要检索的文档包含多模态的时候，一般的跨模态方法就无法直接应用到多模态检索。

多模态检索方法可以处理带有多个模态的多媒体数据，在多模态检索中，查询和要检索的文档可能包含不止一个模态。多模态检索方法可以用来提高单模态检索的准确度。多模态和跨模态检索的主要区别在于: 在多模态检索中，查询和要检索的文档必须至少有一个模态是相同的。多模态方法通常是融合不同的模态进行检索，而不是对他们的关系进行建模。比如，在许多多模态图像检索系统中，查询图像可能都有相关的文本，要检索的图像也包含相关的文本信息。而如果查询和要检索的文档没有相同的模态，那么这就是跨模态要解决的问题，传统的多模态方法就无能为力了。