计算机视觉——Bag of features 图像检索算法

1. 算法

1.1 原理

Bag of features是一种用于图像和视频检索的算法，这个算法厉害的地方在于对于不同角度不同光照的图像都能检索到。
这个算法的模型源于文本分类技术，在信息检索中，它假定对于一个文本，忽略其词序和语法、句法。将其仅仅看作是一个词集合，或者说是词的一个组合，文本中每个词的出现都是独立的，不依赖于其他词是否出现，或者说这篇文章的作者在任意一个位置选择词汇都不受前面句子的影响而独立选择的。
图像可以看成是一个文档，图像中的局部区域特征或者是其他特征可以看成是图像的词汇，而其中相近的特征区域可以看成是一个词，所以这样就可以把文本检索及分类的方法用到图像分类及检索中去。

1.2 步骤

1. 构造不小于100张图片的数据集
2. 针对数据集，做sift特征提取
3. 根据SIFT特征提取结果，采用K-MEANS算法学习“视觉词典(visual vocabulary)”，其中维度至少满足4个量级(比如10，50，100，1000，5000)
4. 根据IDF原理，计算每个视觉单词的权
5. 针对数据库中每张土坯那的特征集，根据视觉词典进行量化，以及TF-IDF解算。每张图片转化成特征向量
6. 对于输入的检索图像(非数据库中图片)，计算SIFT特征，并根据TF-IDF转化成频率直方图/特征向量
7. 构造检索图像特征到数据库图像的倒排表，快速索引相关候选匹配图像集
8. 针对候选匹配图像集与检索图像进行直方图/特征匹配

2. 实验结果

1. 首先是sift提取特征并建立视觉词典
   得到100张图的sift文件
   并进行kmeans聚类得到视觉词典 得到的是 vocabulary.pkl 文件
   
   
2. 遍历所有的图像，将它们的特征投影到词汇并提交到数据库得到一个文件
   
3. 查询操作

第一张测试图片：

测试结果：

第二张测试图片：

测试结果：

3. 代码

第一部分：

# -*- coding: utf-8 -*-
import pickle
from PCV.imagesearch import vocabulary
from PCV.tools.imtools import get_imlist
from PCV.localdescriptors import sift

#获取图像列表
imlist = get_imlist('E:/python/picture/xxx1/')
nbr_images = len(imlist)
#获取特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

#提取文件夹下图像的sift特征
for i in range(nbr_images):
    sift.process_image(imlist[i], featlist[i])

#生成词汇
voc = vocabulary.Vocabulary('ukbenchtest')
voc.train(featlist, 1000, 10)
#保存词汇
# saving vocabulary
with open('E:/python/picture/xxx1/vocabulary.pkl', 'wb') as f:
    pickle.dump(voc, f)
print ('vocabulary is:', voc.name, voc.nbr_words)

第二部分：

# -*- coding: utf-8 -*-
import pickle
from PCV.imagesearch import imagesearch
from PCV.localdescriptors import sift
from sqlite3 import dbapi2 as sqlite
from PCV.tools.imtools import get_imlist

#获取图像列表
imlist = get_imlist('E:/python/picture/xxx1/')
nbr_images = len(imlist)
#获取特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

# load vocabulary
#载入词汇
with open('E:/python/picture/xxx1/vocabulary.pkl', 'rb') as f:
    voc = pickle.load(f)
#创建索引
indx = imagesearch.Indexer('testImaAdd.db',voc)
indx.create_tables()
# go through all images, project features on vocabulary and insert
#遍历所有的图像，并将它们的特征投影到词汇上
for i in range(nbr_images)[:1000]:
    locs,descr = sift.read_features_from_file(featlist[i])
    indx.add_to_index(imlist[i],descr)
# commit to database
#提交到数据库
indx.db_commit()

con = sqlite.connect('testImaAdd.db')
print (con.execute('select count (filename) from imlist').fetchone())
print (con.execute('select * from imlist').fetchone())

第三部分：

# -*- coding: utf-8 -*-
import pickle
from PCV.localdescriptors import sift
from PCV.imagesearch import imagesearch
from PCV.geometry import homography
from PCV.tools.imtools import get_imlist

# load image list and vocabulary
#载入图像列表
imlist = get_imlist('E:/python/picture/xxx1/')
nbr_images = len(imlist)
#载入特征列表
featlist = [imlist[i][:-3]+'sift' for i in range(nbr_images)]

#载入词汇
with open('E:/python/picture/xxx1/vocabulary.pkl', 'rb') as f:
    voc = pickle.load(f)

src = imagesearch.Searcher('testImaAdd.db',voc)

# index of query image and number of results to return
#查询图像索引和查询返回的图像数
q_ind = 46
nbr_results = 5

# regular query
# 常规查询(按欧式距离对结果排序)
res_reg = [w[1] for w in src.query(imlist[q_ind])[:nbr_results]]
print ('top matches (regular):', res_reg)

# load image features for query image
#载入查询图像特征
q_locs,q_descr = sift.read_features_from_file(featlist[q_ind])
fp = homography.make_homog(q_locs[:,:2].T)

# RANSAC model for homography fitting
#用单应性进行拟合建立RANSAC模型
model = homography.RansacModel()
rank = {}

# load image features for result
#载入候选图像的特征
for ndx in res_reg[1:]:
    locs,descr = sift.read_features_from_file(featlist[ndx])  # because 'ndx' is a rowid of the DB that starts at 1
    # get matches
    matches = sift.match(q_descr,descr)
    ind = matches.nonzero()[0]
    ind2 = matches[ind]
    tp = homography.make_homog(locs[:,:2].T)
    # compute homography, count inliers. if not enough matches return empty list
    try:
        H,inliers = homography.H_from_ransac(fp[:,ind],tp[:,ind2],model,match_theshold=4)
    except:
        inliers = []
    # store inlier count
    rank[ndx] = len(inliers)

# sort dictionary to get the most inliers first
sorted_rank = sorted(rank.items(), key=lambda t: t[1], reverse=True)
res_geom = [res_reg[0]]+[s[0] for s in sorted_rank]
print ('top matches (homography):', res_geom)

# 显示查询结果
imagesearch.plot_results(src,res_reg[:5]) #常规查询
imagesearch.plot_results(src,res_geom[:5]) #重排后的结果

4. 实验结果分析及总结

1. 因为数据库中每幅图片大概是3~5张同类型的样子，而匹配的是前五张最高的图片，所以中间一般会穿插一张或者两张背景相同的图片，这应该不算bug。

2. 比如第一张测试图片，是在地上拍的体重秤，但是图库中只有四张类似的图所以第四张出现了同在地上拍的盒子图片，我觉得可能是因为地板纹路相同所以匹配出来了。

3. 但是测试其他几组图片的时候，有时候都会在第四张出现错误，目前不知是什么原因

4. 总的来说，对于图片特征毕竟多且明显，或者数据库同类图片毕竟多的情况下，匹配情况会比较好。我测试图用了娃娃的图片 (如下图) 都测试失败了

   测试的娃娃图片：
   
   检测结果：
   

5. 多试了其他的娃娃图片检测结果都出现错误，猜想：娃娃特征点都有点类似，因为算法不能辨别颜色，只能辨别同样的眼睛形状等特征点，而娃娃都长得差不多所以导致无法检索到，希望以后能扩展出辨别颜色的算法。

6. 其中所有测试的图片中，植物、多边形物体(行李箱，体重秤，盒子等)这几个类型的图片测试结果是准确的，而娃娃、座机电话等物体测试均出现了错误，猜想是特征不够明显或者说特征太少所以测试失败。