以图找图

以图找图

1. 介绍

基于内容的图片检索（Content Based Image Retrieval, CBIR），也有人称之为以图搜图，是一个很老的研究领域，它是利用机器学习、模式识别、计算机视觉等相关技术对图片的内容进行分析、检测、检索的一种应用。

2.原理

如下图,原理是用从需要查询的图片提取出一组特征来和数据库的特征进行相似度匹配,以此来定位检索和显示寻找到的图片.

3.主要挑战

A semantic gap exists between low-level image pixels captured by machines and the high-level semantics perceived by humans
换言之就是怎么解决特征提取问题和特征匹配问题

4.解决方法

传统方法:

论文:(2016 CVPR) Content-Based Image Retrieval Using Multiresolution Analysis Of Shape-Based Classified Images

系统有三个特征向量和储存他们的数据库组成,
1.第一个特征向量使用描述性统计学来描述在图片的RGB通道的分布;
2.第二个特征向量使用对图片的RGB各通道作4level的2D DWT变换后生成的39 sub-bands 的特征值来描述纹理.

3.第三个特征向量描述了基本形状,这些用 黑白颜色来表示轮廓. 使用BP-FFN(神经网络的一种)

深度学习方法:

论文(2014 ACM International Conference on Multimedia)
Deep Learning for Content-Based Image Retrieval:
A Comprehensive Study
论文(2016 msc)
Deep Learning for Image-Based Localization

深度学习的CBIR有两个工作组成:
1.训练一个用大量的训练数据集来训练深度模型
2.使用已经训练好的深度模型在新的领域里学习CBIR的特征表达
第一篇论文使用的是普通的CNN,而第二篇论文则换成了2016效果最好的ResNet.