用Python和OpenCV创建一个图片搜索引擎的完整指南

           在我的博文里曾经有一篇文章简单的介绍了CBIR（Content-Based Image Retrieval），详细内容猛戳基于内容的图像检索技（CBIR）术相术介绍。CBIR由于其应用的广泛性，特别是近年来，随着数码设备的迅猛普及，网络上的图片每天以几十亿级的速度猛增，而且对于一些摄影爱好者和自拍族来说，电脑和存储设备里更是有数不清的图片，如何从这么多图片中找到自己所需的图片是困惑很多人的难题。而CBIR正是这问题的一种一种很好的解决方式。

         什么是CBIR呢？简单的说，就是你提供一张图片，然后从图片库找为你找到与你相似的图片，看看百度识图：http://stu.baidu.com/，输入一张图片：

从本地上传一张图片，立马就可以返回与上传图片类似的网络图片。本文将介绍用Python和OpenCV创建一个简单的图片搜索引擎。

          CBIR系统的构建主要包括：
         1）定义图像描述符（图像特征提取）

         这一阶段，需要决定描述图像的哪一方面。图像的可描述特征很多、包括颜色、形状、纹理、能量等，而颜色有分为很多种，如颜色直方图、颜色矩等。在这一阶段，我们选定要提取的颜色特征，根据应用的不同，选取的颜色特征可以是一种或多种。

         2）索引化数据集（存储）

         现在有了图像描述符，接着就是将这个图像描述符应用得到数据集中的每幅图像，提取这些图像的特征，将其存储起来（如CSV文件、RDBMS、Redis数据库中），这样后续步骤就能使用以便比较。

         3）定义相似矩阵

         很好，现在有了许多特征向量。但如何比较这些特征向量呢？比较常用的流行的相似性度量方式有：欧几里德距离、余弦距离、或卡方距离、巴氏距离、闵式距离、相关性等。但实际中取决于两点：①、数据集；②、提取的特征类型。
        4）检索

         上面步骤都完成了，剩下的就是根据输入的图片，从图像库中检索相似的图像并返回了。用户会向系统提交一幅需要搜索的图片（例如从上传窗口或通过移动App提交），而你的任务是：1、提取这幅图像的特征；2、使用相似度函数将这幅图像的特征与已经索引化的特征进行比较。这样，只需根据相似度函数的结果，返回相关的图像就可以了。

         很简单吧，其实和我们常用的百度搜索、google搜索是一样的，只不过，传统的搜索的输入都是文本关键字，而CBIR的输入是一副图像罢了。上面的步骤，通过下图就很清晰了：

         步骤1和2（定义图像描述符和存储）：

            步骤3和4（定义相似性和检索）：

         接着，开始实施CBIR系统。

       1、定义图像描述符（特征提取）

        颜色直方图是一种比较常用而且有效的描述图像特征的描述子，因此本文采用颜色直方图来表示图像特征；而HSV颜色空间是更符合人类视觉感知的颜色空间，因此我们在HSV颜色空间计算颜色直方图。为了减少计算量，我们进一步对颜色空间进行量化，用8个bin量化H色相通道、12个bin量化S饱和度通道和3个bin量化V明度通道，总共的特征向量有8 × 12 × 3=288。这也意味着对于数据集中的每幅图像，无论其像素数目是36 × 36，还是2000 × 1800。最终都会用288个浮点数构成的列表抽象并量化表示。

       为了提供检索的精度，这里我们采用局部颜色直方图，将图像划分为5个部分，分别表示为：1、左上角；2、右上角；3、右下角；4、左下角；以及图像的中央，然后计算各个区域颜色直方图特征，图示如下：

 颜色描述符的实现如下colordescriptor.py：

"CBIR(Content-Base Image Retrieval)"
import numpy as np
import cv2

class ColorDescriptor:
    def __init__(self, bins):
        # store the number of bins for the HSV histogram
        self.bins = bins

    def describe(self, image):
        # convert the image into HSV color space
        image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
        features =[]
        # grab the dimensions and compute the center of the image
        (h,w) = image.shape[:2]
        (cx,cy) = (int(w*0.5), int(h*0.5))

        # segment the image
        segments =[(0,cx,0,cy),(cx,w,0,cy),(cx,w,cy,h),(0,cx,cy,h)]

        # construct an elliptical mask representing the center of the image
        (axesX, axesY) =(int(w*0.75)/2, int(h*0.75)/2)
        ellipMask = np.zeros(image.shape[:2],dtype="unit8")
        cv2.ellipse(ellipMask,(cx,cy),(axesX,axesY),0,0,360,255,-1)

        # loop over the segments
        for(startX,endX, startY, endY) in segments:
            cornerMask = np.zeros(image.shpae[:2],dtype="unit8")
            cv2.rectangle(cornerMask,(startX,startY),(endX,endY),255,-1)
            cornerMask = cv2.subtract(cornerMask, ellipMask)

            # compute the histogram
            hist = self.histogram(image, cornerMask)
            features.extend(hist)

        # compute the ellipse histogram
        hist = self.histogram(image, ellipMask)
        features.extend(hist)

        # return the feature vectr
        return features

    # define the function of histogram
    def histogram(self, image, mask):
        # extract the color histogram from the masked region
        hist = cv2.calcHist([image],[0,1,2],mask, self.bins,[0,180,0,256,0,256])
        hist = cv2.normalize(hist).flatten()
        return hist     
        

        2、特征索引化

         定义好了图像描述符，就进入第二步，对数据集中的每幅图像提取特征（如颜色直方图）。提取特征并将其持久保存起来的过程一般称为“索引化”，实现代码如下：

"CBIR(Content-Base Image Retrieval)--Extract Features and Indexing"
import ColorDescriptor
import argparse
import glob
import cv2

ap = argparse.ArgumentParser()
ap.add_argument("-d", "--dataset", required=True, help="Path to the directory that cntains the images to be indexed")
ap.add_argument("-i", "--index", required=True, help="Path to where the computed index will be stored")
args = vars(ap.parse_args())
cd = ColorDescriptor.ColorDescriptor((8,12,3))

#Open the output index file for writing
output = open(args["index"],"w")

# use glob to grab the image paths and loop over them
for imagePath in glob.glob(args["dataset"]+"/*.jpg"):
    # extract the image ID from the image
    imageID = imagePath[imagePath.rfind("/")+1:]
    image = cv2.imread(imagePath)

    # describe the image
    features = cd.describe(image)

    # write feature to file
    features = [str(f) for f in features]
    output.write("%s,%sn" %(imageID,",".join(features)))
# close index file
output.close()

     现在，可以创建索引了。本实例将文章代码保存在python2.7的根目录的CBIR下，通过下面命令创建索引文件：

        3、检索

         通过以上2步，图像特征库已经建好了。接下来，我们需要定义图像特征相似度。

现在已经从数据集提取了特征了，接下来需要一个方法来比较这些特征，获取相似度。这就是第三步的内容，创建一个类来定义两幅图像的相似矩阵。        

"CBIR(Content-Base Image Retrieval)--Similarity and Search"
import numpy as np
# use for processing index.csv
import csv

class Searcher:
    def __init__(self, indexPath):
        self.indexPath = indexPath

    def search(self, queryFeatures, limit=10):
        results = {}

        # open the index file for reading
        with open(self.indexPath) as f:
            # initialize the CSV reader
            reader = csv.reader()

            # loop over the rows in the index
            for row in reader:
                # parse out the imageID and features,
                # then compute the chi-squared distance
                features = [float(x) for x in row[1:]]
                d = self.chi2_distance(features, queryFeatures)
                results[row[0]] = d
            f.close()
            results = sorted([(v,k) for (k,v) in results.items()])
            return results[:limit]

        def chi2_distance(self, histA, histB, eps=1e-10):
            # compute the chi-squred distance
            d = 0.5*np.sum([((a-b)**2)/(a+b+eps) for(a,b) in zip(histA,histB)])
            return d
        
        
        

         4）执行搜索

          最后一步就是把上面的代码结合起来，执行搜索操作。

"CBIR(Content-Base Image Retrieval)--Search"
import ColorDescriptor
import Searcher
import argparse
import cv2

ap = argparse.ArgumentParser()
ap.add_argument("-i", "--index", required=True, help="Path to where the computed index will be stored")

ap.add_argument("-q", "--query", required=True, help="Path to query image")
ap.add_argument("-r", "--result_path", required = True, help="Path to the result Path")
args = vars(ap.parse_args())
cd = ColorDescriptor.ColorDescriptor((8,12,3))

# load the query image and describe it
query = cv2.imread(args["query"])
features = cd.describe(query)

# perform the search
searcher = Searcher.Searcher(args["index"])
results = searcher.search(features)

# loop over the results
for(score, resultID) in results:
    # load the result image and display it
    print(args["result_path"]+"/"+resultID)    
    result = cv2.imread(args["result_path"]+"/"+resultID)  
    cv2.imshow("Result",result)
    cv2.waitKey(0)

参考资料

1、用Python和OpenCV创建一个图片搜索引擎的完整指南

2、基于内容的图像检索技（CBIR）术相术介绍