视频相似度对比 python opencv sift flann

视频相似度对比 python opencv sift flann_第1张图片 提取SIFT特征的代码,返回关键点kp及特征描述符des

def SIFT(frame):
    # 创建SIFT特征提取器
    sift = cv2.xfeatures2d.SIFT_create()

    # 提取SIFT特征
    kp, des = sift.detectAndCompute(frame, None)

    return kp, des

这行代码是使用SIFT(Scale-Invariant Feature Transform)算法在图像中检测关键点并计算对应的特征描述符。

在这行代码中,sift是一个SIFT特征提取器的实例,detectAndCompute是它的一个方法,用于在给定的图像中检测关键点并计算特征描述符。

这个方法有两个参数:第一个参数是输入的图像,第二个参数是一个掩码,用于指定在哪些地方检测关键点。在这个例子中,我们没有使用掩码,所以第二个参数是None

这个方法返回两个值:kpdes

  • kp是一个列表,包含了在图像中检测到的所有关键点。每个关键点是一个KeyPoint对象,包含了关键点的位置、大小、角度、响应度等信息。

  • des是一个NumPy数组,包含了每个关键点的特征描述符。每个特征描述符是一个128维的向量,可以用于比较不同关键点(或来自不同图像的关键点)的相似性。

总的来说,这行代码的作用就是使用SIFT算法提取图像的关键点和特征描述符,这些关键点和特征描述符可以用于图像匹配、物体检测、图像识别等任务。


特征描述匹配算法

FlannBasedMatcher 是 OpenCV 中的一个特征匹配方法,它使用了近似最近邻搜索算法(Approximate Nearest Neighbors,简称 FLANN)来寻找特征之间的匹配。这种方法的主要优点是它在大规模数据集上的性能非常好,尤其是在处理高维特征(例如 SIFT 或 SURF)时。

FLANN 是一种优化的最近邻搜索算法,它可以在高维空间中快速找到查询点的最近邻。传统的最近邻搜索算法(例如暴力搜索)在高维空间中的性能往往很差,因为它们需要对每一个可能的匹配进行计算,这在处理大规模数据集时会变得非常慢。FLANN 通过使用一种叫做 k-d 树的数据结构,以及一种叫做优先级搜索的策略,来大大加快搜索速度。

FLANN 的另一个优点是它可以自动选择最优的搜索算法和参数,这使得它可以在各种不同的数据集和特征类型上都有很好的性能。然而,这也意味着 FLANN 可能需要一些时间来调整这些参数,因此在小规模数据集上,FLANN 可能不如其他更简单的方法(例如暴力搜索或基于哈希的方法)快。

总的来说,FlannBasedMatcher 的主要优势是它在处理大规模、高维特征数据集时的性能和效率。然而,这也意味着它可能不适合所有的应用场景,尤其是在数据集较小或特征维度较低的情况下。

# 近似匹配
# 近似最近邻搜索算法来找到最佳匹配
def FlannMatcher(des1, des2):
    # 创建FLANN匹配器
    FLANN_INDEX_KDTREE = 1
    index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)  # KD树索引 树的数量5
    search_params = dict(checks=50)  # 回溯查找的次数
    flann = cv2.FlannBasedMatcher(index_params, search_params)

    # 使用FlannBasedMatcher比较特征描述符
    matches = flann.knnMatch(des1, des2, k=2)

    # 应用比例测试(ratio test)来选择好的匹配
    good_matches = []
    for m, n in matches:
        if m.distance < 0.7 * n.distance:
            good_matches.append([m])

    return good_matches

根据视频流取帧进行特征对比
def process(path1, path2):
    # 读取视频
    cap1 = cv2.VideoCapture(path1)
    cap2 = cv2.VideoCapture(path2)
    index = 0
    # matches_over_time 根据时序得到特征匹配结果
    # scores 记录每个匹配的得分情况 根据 最佳匹配/提取特征数 计算
    matches_over_time, scores = [], []
    while True:
        index = index + 1
        # 读取第一帧
        ret1, frame1 = cap1.read()
        ret2, frame2 = cap2.read()
        if not ret1:
            break
        if not ret2:
            break
        if index % 25 != 0:  # 每秒一帧进行采样
            continue
        # 如果成功读取帧
        if ret1 and ret2:
            kp1, des1 = SIFT(frame1)
            kp2, des2 = SIFT(frame2)
            good_matches = FlannMatcher(des1, des2)
            matches_over_time.append(good_matches)
            # 计算得分
            score = len(good_matches) / min(des1.shape[0], des2.shape[0])
            scores.append(score)
    # 释放资源
    cap1.release()
    cap2.release()
    return matches_over_time, scores

# 主函数调用
if __name__ == '__main__':
    path1 = 'video_base.mp4'
    path2 = 'video_origin.mp4'
    t1 = int(time.time() * 1000)
    matches, scores = process(path1, path2)
    t2 = int(time.time() * 1000)
    print(f"用时 {(t2-t1)/1000.0}s")
    total_score = sum(scores) / len(scores)
    print(f"相似度得分 {round(total_score, 7)}")
    # cv2.destroyAllWindows()

你可能感兴趣的:(python,opencv,开发语言)