python计算机视觉--基于(BOW)的图像检索与识别

目录

前言

一、基本原理

1.1 图像分类简介

1.2 Bag-of-words模型

1.3 Bag-of-features模型

1.4  Bag-of-features算法

1.5  Bag-of-features过程

1.6 TF-IDF

二、代码实现

2.1 数据集

2.2 创建词汇

2.3 建立数据库

2.4 在数据库中搜素图像

2.5 遇到的问题

参考文章

---

前言

本次实验将参照Bag-of-words模型实现简单的图像检索操作。

环境：Pycharm，python3.8.5

---

一、基本原理

1.1 图像分类简介

图像分类，即通过图像内容的不同将图像划分为不同的类别，基于内容的图像分类技术不需要对图像的语义信息进行人工标注，而是通过计算机提取图像中所包含的特征，并对特征进行处理和分析，得出分类结果。
 
常用的图像特征有 色彩、纹理、灰度等信息。而图像分类过程中，提取的特征要求不容易受随机因素干扰，特征的有效提取可提高图像分类的精度。特征提取完成后，选择合适的算法创建图像类型与视觉特征之间的关联度，对图像进行类别划分。
 
图像分类领域中，根据图像分类要求，一般可以分为 场景分类和 目标分类两类问题。
场景分类指的是从多幅图像中区分出具有相似场景特征的图像。
目标分类指的是对图像中 出现的目标 (物体)进行识别或分类。

1.2 Bag-of-words模型

Bow起始可以理解为一种直方图统计，开始是用于自然语言处理和信息检索中的一种简单的文档表示方法。BoW也只是统计频率信息，并没有序列信息。Bow是选择words字典，然后统计字典中每个单词出现的次数。

BoW(Bag of Words)词袋模型最初被用在文本分类中，将文档表示成特征矢量。它的基本思想是假定对于一个文本，忽略其词序和语法、句法，仅仅将其看做是一些词汇的集合，而文本中的每个词汇都是独立的。简单说就是将每篇文档都看成一个袋子（因为里面装的都是词汇，所以称为词袋，Bag of words即因此而来），然后看这个袋子里装的都是些什么词汇，将其分类。如果一篇文档中猪、马、牛、羊、山谷、土地、拖拉机这样的词汇多些，而银行、大厦、汽车、公园这样的词汇少些，我们就倾向于判断它是一篇描绘乡村的文档，而不是描述城镇的。

1.3 Bag-of-features模型

Bag of Feature 也是借鉴了这种思路，只不过在图像中，我们抽出的不再是一个个word，而是图像的关键特征Feature，所以研究人员将它更名为Bag of Feature。
Bag of Feature在检索中的算法流程和分类几乎完全一样，唯一的区别在于，对于原始的 BOF 特征，也就是直方图向量，我们引入TF-IDF 权值。

1.4  Bag-of-features算法

Bag of Feature的本质是提出一种图像的特征表示方法

按照Bag of Feature算法的思想，首先我们要找到图像中的关键特征，而且这些关键特征必须具备较高的区分度。实际过程中，通常会采用SIFT特征。

有了特征之后，我们会将这些特征通过聚类算法得出很多聚类中心。这些聚类中心通常具有较高的代表性，比如，对于人脸来说，虽然不同人的眼睛、鼻子等特征都不尽相同，但它们往往具有共性，而这些聚类中心就代表了这类共性。我们将这些聚类中心组合在一起，形成一部视觉词典（visual vocabulary）。

对于图像中的每个SIFT特征，我们能够在字典中找到最相似的聚类中心，统计这些聚类中心出现的次数，可以得到一个向量表示（有些文章称之为直方图）这些向量就是所谓的Bag。这样，对于不同类别的图片，这个向量应该具有较大的区分度，基于此，我们可以训练出一些分类模型（SVM等），并用其对图片进行分类。

1.5  Bag-of-features过程

算法流程：

1. 提取图像特征
2. 对特征进行聚类，得到一部视觉字典( visual vocabulary )
3. 针对输入特征集，根据视觉词典进行量化
4. 把输入图像根据TF-IDF转化成视觉单词的频率直方图
5. 构造特征到图像的倒排表，通过倒排表快速索引相关图像
6. 根据索引结果进行直方图匹配

（1）提取图像特征

特征提取及描述主要是将一些 具有代表性且 区分性较强的 全局或局部特征从图像中进行抽取，并对这些特征进行描述。
这些特征一般是类别之间差距比较明显的特征，可以将其与其他类别区分开，其次，这些特征还要求具有 较好的稳定性，能够最大限度的在光照、视角、尺度、噪声以及各种外在因素变化的情况下保持稳定，不受其影响。这样即使在非常复杂的情况下，计算机也能通过这些稳定的特征很好的检测与识别出这个物体。

特征提取最简单且有效的方法就是 规则网格方法，
该方法采用均匀网格对图像进行划分，从而得到图像的局部区域特征。

兴趣点检测方法是另一个有效的特征提取方法，兴趣点检测的基本思想是:
在人为判断一幅图像的类别时，首先捕捉到物体的整体轮廓特征，然后聚焦于物体与其他物体具有显著特征区别的地方，最后判断出图像的类别。即通过该物体与其他物体 区别开的 显著特征，进而判断图像的类别。

在提取完图像的特征后，下一步就要应用特征描述子来对抽取的图像特征进行描述，特征描述子所表示的特征向量一般在处理算法时会作为输入数据,因此，如果描述子具有一定的判别性及可区分性，则该描述子会在后期的图像处理过程中起着很大的作用。

SIFT描述子是近年比较经典且被广泛应用的一种描述子。
SIFT会从图片上提取出很多特征点，每个特征点都是128维的向量，因此，如果图片足够多的话,我们会提取出一个巨大的特征向量库。

（2） 学习视觉词典（visual vocabulary）

提取完特征后，我们会采用一些聚类算法对这些特征向量进行聚类。

最常用的聚类算法是 ：k-means。

K-means算法是度量样本间相似性的一种方法，该算法设置参数为K，把N个对象分成K个簇，簇内之间的相似度较高，而簇间的相似度较低。

至于 K-means 中的 K如何取，要根据具体情况来确定。另外，由于特征的数量可能非常庞大，这个聚类的过程也会非常漫长。聚类完成后得到K个聚类中心，每个聚类中心称为“视觉单词”，而将所有视觉单词组成的集合称为视觉词典/码本（codebook）。构建视觉单词的过程如图所示：

关于码本的大小：

（1）如果码本规模太小，我们的视觉词典不能包括所有可能的情况；

（2）如果码本过大，会使得计算量增加，且有过拟合现象出现。

 （3）图片直方图表示

利用视觉词典中的词汇表示待分类图像。计算每幅图像中的SIFT特征到这K个视觉单词的距离，
其中 距离最近的视觉单词为该SIFT特征对应的视觉单词。
通过统计每个单词在图像中出现的次数，将图像表示成一个K维数值向量，
如图所示，其中K=4，每幅图像用直方图进行描述:

（4）量化

这一步骤通过对图像特征提取，然后将提取出来的特征点，根据第三步，转换为频率直方图。

这里在转换为频率直方图时候，有使用到TF-IDF，即词频(Term Frequency，TF)与逆文档频率(Inverse Document Frequency，IDF)乘积作为权值。引入这个权值的目的是为了降低一些重复特征所带来的影响。比如在BOW中，一些常用词汇譬如the，it，do等等词汇，不能体现文本内容特征，但是出现频率却很高，利用tf-idf可以降低这种不必要词汇的影响。同理，在BOF图像搜索中，图像之间也会有这样的无意义的特征出现，所以需要降低这类特征的权值。

（5）构造倒排表

倒排表是一种逆向的查找方式，在BOW中大体的思路是通过已经提取出来的词汇，反向查找出现过这个词汇的文章。如图，查找多个词汇，就形成了一个倒排表。

BOF中倒排表也是同理。通过对视觉词汇的反向查找，就会得到拥有同一视觉词汇的图像集合，反复多次就能得到一张倒排表。倒排表可以快速的得到新的图像与数据库里相似的图像。

（6）匹配直方图

当我们做完上面的步骤，就需要对直方图进行匹配。直方图的匹配给出输入图像的频率直方图，在数据库中查找K个最近邻的图像，根据这K个近邻来投票图像的分类结果。

1.6 TF-IDF

TF-IDF(Term frequency-Inverse document frequency)是一种统计方法，用来评估特征词的重要程度。根据TF-IDF公式，特征词的权重与在 语料库中出现的频率有关，也与在文档里出现的频率有关。传统的TF-IDF公式如下:

TF-IDF用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。就目前来说，如果一个 关键词只在很少的网页中出现，我们通过它就 容易锁定搜索目标，它的 权重也就应该 大。反之如果一个词在大量网页中出现，我们看到它仍然 不是很清楚要找什么内容，因此它的 权重 应该 小。

TF-IDF公式详细介绍：CSDN编程社区 (smartapps.cn)

二、代码实现

2.1 数据集

通过爬虫在百度爬取三类图片各60张，并利用批处理工具将所有数据图像裁剪成一致大小，统一裁剪为640*480

A场景：60张汽车图片

 B场景：60张猫的图像

 C场景：60张小狗的图像

 2.2 创建词汇

createSift.py

# -*- coding: utf-8 -*-
"""
@author: RRJ
@software: PyCharm
@file: createSift.py
@time: 2022/6/12 22:44
"""
import pickle
from newPCV.imagesearch import vocabulary
from newPCV.tools.imtools import get_imlist
from newPCV.Localdescriptors import sift


# 获取图像列表
imlist = get_imlist('D:\\python\\RRJ\\pycharmproject\\Bag_of_words\\Imgtrain\\BOW_train\\')
nbr_images = len(imlist)
# 获取特征列表
featlist = [imlist[i][:-3] + 'sift' for i in range(nbr_images)]

# 提取文件夹下图像的sift特征
for i in range(nbr_images):
    sift.process_image(imlist[i], featlist[i])

# 生成词汇
voc = vocabulary.Vocabulary('training')
voc.train(featlist, 180, 10)

# 保存词汇
# saving vocabulary
with open('D:\\python\\RRJ\\pycharmproject\\Bag_of_words\\BOW\\vocabulary.pkl', 'wb') as f:
    pickle.dump(voc, f)
print('vocabulary is:', voc.name, voc.nbr_words)

训练函数：train

def train(self,featurefiles,k=100,subsampling=10):
        """ 用含有k个单词的 K-means 列出在 featurefiles 中的特征文件训练出一个词汇。对训练数据下采样可以加快训练速度 """
        
        nbr_images = len(featurefiles)
        # 从文件中读取特征
        descr = []
        descr.append(sift.read_features_from_file(featurefiles[0])[1])
        # 将所有的特征并在一起，以便后面进行 K-means 聚类
        descriptors = descr[0]
        for i in arange(1,nbr_images):
            descr.append(sift.read_features_from_file(featurefiles[i])[1])
            descriptors = vstack((descriptors,descr[i]))
            
        #K-means: 最后一个参数决定运行次数
        self.voc,distortion = kmeans(descriptors[::subsampling,:],k,1)
        self.nbr_words = self.voc.shape[0]
        
        # 遍历所有的训练图像，并投影到词汇上
        imwords = zeros((nbr_images,self.nbr_words))
        for i in range( nbr_images ):
            imwords[i] = self.project(descr[i])
        
        nbr_occurences = sum( (imwords > 0)*1 ,axis=0)
        
        self.idf = log( (1.0*nbr_images) / (1.0*nbr_occurences+1) )
        self.trainingdata = featurefiles
    
    def project(self,descriptors):
        """ 将描述子投影到词汇上，以创建单词直方图  """
        
        # 图像单词直方图
        imhist = zeros((self.nbr_words))
        words,distance = vq(descriptors,self.voc)
        for w in words:
            imhist[w] += 1
        
        return imhist

 部分结果：

 同时生成了数据模型vocabulary.pkl，如果数据模型为空，在后面存入数据库会出现报错，读入数据为空。判断.pkl是否为空可根据查看它的大小，如下图所示，这里pkl为196KB，故不为空。

 2.3 建立数据库

将上面得到的数据模型存放数据库testImaAdd.db中，即运行下面代码会生成一个testImaAdd.db数据库文件。

createDatabase.py

# -*- coding: utf-8 -*-
"""
@author: RRJ
@software: PyCharm
@file: createDatabase.py
@time: 2022/6/12 23:20
"""
import pickle
from newPCV.imagesearch import imagesearch
from newPCV.Localdescriptors import sift
import sqlite3
from newPCV.tools.imtools import get_imlist

# 获取图像列表
# imlist = get_imlist('E:/Python37_course/test7/first1000/')
imlist = get_imlist('D:\\python\\RRJ\\pycharmproject\\Bag_of_words\\Imgtrain\\BOW_train\\')
nbr_images = len(imlist)
# 获取特征列表
featlist = [imlist[i][:-3] + 'sift' for i in range(nbr_images)]

# load vocabulary
# 载入词汇
with open('../BOW/vocabulary.pkl', 'rb') as f:
    voc = pickle.load(f)
# 创建索引
indx = imagesearch.Indexer('testImaAdd.db', voc)
indx.create_tables()

# go through all images, project features on vocabulary and insert
# 遍历所有的图像，并将它们的特征投影到词汇上(比如我的是180张图片)
for i in range(nbr_images)[:179]:
    locs, descr = sift.read_features_from_file(featlist[i])
    indx.add_to_index(imlist[i], descr)
# commit to database
# 提交到数据库
indx.db_commit()

con = sqlite3.connect('testImaAdd.db')
print(con.execute('select count (filename) from imlist').fetchone())
print(con.execute('select * from imlist').fetchone())

运行结果：

2.4 在数据库中搜素图像

利用索引获取候选图像 + 用一幅图像进行查询 + 确定对比基准并绘制结果
建立好图像的索引，就可以在数据库中搜索相似的图像了。这里，使用BOW（词袋模型）来表示整个图像，这是通用的，可以应用于寻找相似的物体、相似的脸、相似的颜色等，它完全取决于图像及所用的描述子。为了实现搜索，在Imagesearch.py中有Searcher类:

Searcher 类:
class Searcher(object):
    
    def __init__(self,db,voc):
        """ Initialize with the name of the database. """
        self.con = sqlite3.connect(db)
        self.voc = voc
    
    def __del__(self):
        self.con.close()
    
    def get_imhistogram(self,imname):
        """ Return the word histogram for an image. """
        
        im_id = self.con.execute(
            "select rowid from imlist where filename='%s'" % imname).fetchone()
        s = self.con.execute(
            "select histogram from imhistograms where rowid='%d'" % im_id).fetchone()
        
        # use pickle to decode NumPy arrays from string
        return pickle.loads(s[0])
    
    def candidates_from_word(self,imword):
        """ Get list of images containing imword. """
        
        im_ids = self.con.execute(
            "select distinct imid from imwords where wordid=%d" % imword).fetchall()
        return [i[0] for i in im_ids]
    
    def candidates_from_histogram(self,imwords):
        """ Get list of images with similar words. """
        
        # get the word ids
        words = imwords.nonzero()[0]
        
        # find candidates
        candidates = []
        for word in words:
            c = self.candidates_from_word(word)
            candidates+=c
        
        # take all unique words and reverse sort on occurrence
        tmp = [(w,candidates.count(w)) for w in set(candidates)]
        tmp.sort(key=cmp_to_key(lambda x,y:operator.gt(x[1],y[1])))
        tmp.reverse()
        
        # return sorted list, best matches first    
        return [w[0] for w in tmp]
    
    def query(self,imname):
        """ Find a list of matching images for imname. """
        
        h = self.get_imhistogram(imname)
        candidates = self.candidates_from_histogram(h)
        
        matchscores = []
        for imid in candidates:
            # get the name
            cand_name = self.con.execute(
                "select filename from imlist where rowid=%d" % imid).fetchone()
            cand_h = self.get_imhistogram(cand_name)
            cand_dist = sqrt( sum( self.voc.idf*(h-cand_h)**2 ) )
            matchscores.append( (cand_dist,imid) )
        
        # return a sorted list of distances and database ids
        matchscores.sort()
        return matchscores
    
    def get_filename(self,imid):
        """ Return the filename for an image id. """
        
        s = self.con.execute(
            "select filename from imlist where rowid='%d'" % imid).fetchone()
        return s[0]
 
 
def tf_idf_dist(voc,v1,v2):
    
    v1 /= sum(v1)
    v2 /= sum(v2)
    
    return sqrt( sum( voc.idf*(v1-v2)**2 ) )
 
 
def compute_ukbench_score(src,imlist):
    """ Returns the average number of correct
        images on the top four results of queries. """
        
    nbr_images = len(imlist)
    pos = zeros((nbr_images,4))
    # get first four results for each image
    for i in range(nbr_images):
        pos[i] = [w[1]-1 for w in src.query(imlist[i])[:4]]
    
    # compute score and return average
    score = array([ (pos[i]//4)==(i//4) for i in range(nbr_images)])*1.0
    return sum(score) / (nbr_images)

使用几何特性对结果排序
这是一种是常用BOW模型改进检索结果的常用方法。BOW模型的一个主要 缺点是在用视觉单词表示图像时 不包含图像特征的位置信息，这是为了 获取速度和可伸缩性而付出的 代价。最常用的方法是在查询图像与靠前图像的特征位置间拟合单应性。

# -*- coding: utf-8 -*-
"""
@author: RRJ
@software: PyCharm
@file: searchImg.py
@time: 2022/6/13 0:43
"""

import pickle
from newPCV.Localdescriptors import sift
from newPCV.imagesearch import imagesearch
from newPCV.geometry import homography
from newPCV.tools.imtools import get_imlist

# load image list and vocabulary
# 载入图像列表
imlist = get_imlist('D:\\python\\RRJ\\pycharmproject\\Bag_of_words\\Imgtrain\\BOW_train\\')  # 存放数据集的路径
nbr_images = len(imlist)
# 载入特征列表
featlist = [imlist[i][:-3] + 'sift' for i in range(nbr_images)]

# 载入词汇
with open('../BOW/vocabulary.pkl', 'rb') as f:  # 存放模型的路径
    voc = pickle.load(f)
src = imagesearch.Searcher('testImaAdd.db', voc)

# index of query image and number of results to return
# 查询图像索引和查询返回的图像数
q_ind = 18
nbr_results = 5

# regular query
# 常规查询(按欧式距离对结果排序)
res_reg = [w[1] for w in src.query(imlist[q_ind])[:nbr_results]]
print('top matches (regular):', res_reg)

# load image features for query image
# 载入查询图像特征
q_locs, q_descr = sift.read_features_from_file(featlist[q_ind])
fp = homography.make_homog(q_locs[:, :2].T)

# RANSAC model for homography fitting
# 用单应性进行拟合建立RANSAC模型
model = homography.RansacModel()
rank = {}

# load image features for result
# 载入候选图像的特征
for ndx in res_reg[1:]:
    locs, descr = sift.read_features_from_file(featlist[ndx])  # because 'ndx' is a rowid of the DB that starts at 1
    # get matches
    # 获取匹配数 # get matches执行完后会出现两张图片
    matches = sift.match(q_descr, descr)
    ind = matches.nonzero()[0]
    ind2 = matches[ind]
    tp = homography.make_homog(locs[:, :2].T)
    # compute homography, count inliers. if not enough matches return empty list
    # 计算单应性，对内点技术。如果没有足够的匹配书则返回空列表
    try:
        H, inliers = homography.H_from_ransac(fp[:, ind], tp[:, ind2], model, match_theshold=4)
    except:
        inliers = []
    # store inlier count
    rank[ndx] = len(inliers)

# 将字典排序，以首先获取最内层的内点数
sorted_rank = sorted(rank.items(), key=lambda t: t[1], reverse=True)
res_geom = [res_reg[0]] + [s[0] for s in sorted_rank]
print('top matches (homography):', res_geom)

# 显示查询结果
imagesearch.plot_results(src, res_reg[:8])  # 常规查询
imagesearch.plot_results(src, res_geom[:8])  # 重排后的结果

查询索引为18的图像，运行结果：

查询图像在最左边，后面都是按图像列表检索的前5幅图像。
对输出的结果，首先是载入图像列表、特征列表及词汇。然后创建一个Searcher对象，执行定期查询，并将结果保存在res_reg列表中，然后载入res_reg列表中每一幅图像特征，并和查询的图像进行匹配。通过计算匹配数和计数内点数得到，最终可通过减少内点数目对包含图像索引和内点数的字典进行排序。最后可视化检索靠前的匹配图像结果。

查询索引为100的图像，运行结果：

 可见在此处搜素出现了错误图像，而且明显发现两类图像差别明显，猜测错误原因是数据集太小或者K太大的缘故。

2.5 遇到的问题

（1）ModuleNotFoundError: No module named 'pysqlite2'

解决方法：网上查阅，python3已经不支持pysqlite2这个库了，找自己 imagesearch.py 文件的所在的路径，把红线区域的修改为如图示，并且保证自己的python已经成功安装了 pysqlite3 包。

（2）TypeError: 'cmp' is an invalid keyword argument for sort()

 解决方法：找到目标文件按下图修改

 （3）TypeError: a bytes-like object is required, not 'str'

 解决方法：

---

参考文章

（1）计算机视觉——图像检索与识别_Nikki_du的博客-CSDN博客_图像识别和图像检索

（2）python计算机视觉-图像检索和识别_我超爱Debug的博客-CSDN博客_python视觉识别