基于内容的图像检索技术：从特征到检索

基于内容的图像检索（CBIR, Content Based Image Retrieval）是相对成熟的技术领域，在工业界也有广泛的应用场景，如搜索引擎（Google、百度）的以图搜图功能，各电商网站（淘宝、Amazon、ebay）的相似商品搜索，社交平台（Pinterest）的相似内容推荐等。本文从图像检索流程出发，结合我们团队在社交应用中的相似图片、视频检索中的实践经验，介绍构建基于内容的图像检索系统所涉及的算法技术，包括特征提取、索引构建、近邻搜索等技术，供相关领域研发人员参考。

在介绍视觉内容检索流程前，先来回顾下文本检索流程。

一、相似文本检索

相似文本检索可以分成构建词库、构建索引和检索三部分，如下图所示。

#知乎打大括号好难，所以此处用'伪伪代码'，凑合看吧
if q(x) == q(y) && h(b(x), b(y))<= h_t:
  f(x,y) = tfidf(q(x))
else:
  f(x,y) = 0

参考文献

[1]. Video google: a text retrieval approach to object matching in videos, 2003.

[2]. Aggregating local descriptors in to a compact image representation, 2010

[3]. Large scale image retrieval with compressed Fisher Vectors, 2010

[4]. Triangular embedding, 2014

[5]. Nueral codes for image retrieval, 2014

[6]. Aggregating deep convolutional features for image retrieval, 2015

[7]. Spectral hashing, 2018

[8]. Deep hashing with category mast for fast video retrieval, http://cn.arxiv.org/abs/1712.08315

[9]. Deep learning of binary hash codes for fast image retrieval, 2015.

[10]. p-stable LSH: locality-sensitive hashing scheme based on p-stable distributions, 2004.

[11]. Hamming embedding and weak geometric consistency for large scale image search, 2008.

[12]. https://blog.csdn.net/icvpr/article/details/12342159

[13]. The inverted multi-index, 2012.

[14]. Efficient indexing of billion-scale datasets of deep descriptors, 2016.

[15]. Product quantization for nearest neighbor search, 2011.

[16]. Visual search at ebay, 2017.

[17]. Visual search at Pinterest, 2017.

[18]. https://github.com/facebookresearch/faiss