极智项目 | 实战多模态文本-视频检索

欢迎关注我的公众号，获取我的更多经验分享

极智传送《极智项目 | 实战多模态文本-视频检索》

大家好，我是极智视界，本文介绍 实战多模态视频检索，并提供完整项目工程源码。

本文介绍的实战多模态视频检索，提供完整的可以一键执行的项目工程源码，获取方式有两个：

(1) 本文工程项目资源下载，链接：https://download.csdn.net/download/weixin_42405819/87603922

(2) 加入我的知识星球「极智视界」，星球内还有更多项目源码下载，链接：https://t.zsxq.com/0aiNxERDq

多模态文本-视频检索是指通过同时处理文本和视频数据，实现文本到视频的检索。这种技术在视频搜索、视频推荐等领域都有广泛的应用。

具体来说，多模态文本-视频检索的过程可以分为两个阶段。首先，我们需要将文本数据和视频数据转换成向量表示。在得到文本和视频的向量表示之后，我们可以使用一些相似度度量方法来计算它们之间的相似度。常用的相似度度量方法包括余弦相似度、欧几里得距离等等。通过计算文本和视频之间的相似度，我们可以实现文本到视频的检索。

多模态文本-视频检索的应用非常广泛。例如，在视频搜索领域，我们可以使用多模态文本-视频检索技术来实现基于文本的视频搜索。具体来说，我们可以让用户输入一个文本查询，然后使用多模态文本-视频检索技术来搜索与查询相关的视频。在视频推荐领域，我们可以使用多模态文本-视频检索技术来实现基于用户兴趣的视频推荐。具体来说，我们可以根据用户的历史行为和兴趣，生成一个文本查询，然后使用多模态文本-视频检索技术来推荐与查询相关的视频。

这里分享的一个实战项目就是多模态文本-视频检索，主要采用BLIP大模型的多模态能力，项目以

在视频中检测 "打架" 行为为示例进行展示，当然当你拿到项目工程后，你可以很方便的扩展到其他行为的识别检索，因为本身输入的检索文本和待检测视频是不限定的。

下面开始。

项目的整体目录架构如下：

在拿到项目工程后，首先需要搭建开发环境，然后就可以愉快的一键执行了。这里使用 Anaconda 进行 conda 环境的管理，安装 Anaconda 的过程略过。下面是项目执行的流程：

# 构建conda虚拟环境
conda create -n blip_py38 python=3.8.5

# 激活conda虚拟环境
conda activate blip_py38

# 安装依赖
pip install -i https://pypi.douban.com/simple -r requirements.txt

### 一键执行检测
./run_demo.sh

可在 demo.py 中对 question 和 读取的视频 进行配置，如下：

if __name__ == '__main__':
    question = ['Are there any fighting?']      # question
    input_path = './video'                      # video
    save_path = "./res"                         # res

    ## run
    video_search(input_path, save_path, question)

在 demo.py中还有一些超参可以根据自己的实际情况进行更改，比如跳帧帧率、输入图像的shape、推送过滤阈值、图像打成patch的大小等。

检测结果存放于 res 文件夹，以下是我对于一个在bili上随便下载的打架视频的检测结果展示：

可以看到效果还是挺好的。

好了，以上分享了 实战多模态文本-视频检索，包括完整的项目工程源码分享，希望我的分享能对你的学习有一点帮助。

---

 畅享人工智能的科技魅力。邀请您加入我的知识星球，星球内有丰富的AI技术应用相关技术文章、资源、项目源码，涵盖人脸、检测、分割、多模态、自动驾驶、工业等实用、好玩的项目应用，一定会对你的学习有所帮助。https://t.zsxq.com/0aiNxERDq

​​