【Milvus的以图搜图】
0. 介绍
Milvus官方在bootcamp项目中给开发者提供多种解决方案，包含常见的以图搜图、人脸检索、DNA相似性检索、视频检索等等，具体可以参考bootcamp项目。
本文主要就bootcamp中以图搜图reverse_image_search的代码介绍如何运行该样例，进而了解如何打造自己的图像搜索engine。
参考连接：
- https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search
- https://fastapi.tiangolo.com/zh/
- 搭建自己的Milvus以图搜图服务_在平凡生活中挣扎的博客-CSDN博客
- 虹软人脸识别SDK接入Milvus实现海量人脸快速检索_Memory2414的博客-CSDN博客
- 【pymysql的基本使用】_hello_dear_you的博客-CSDN博客
- 【Milvus的安装和使用】_hello_dear_you的博客-CSDN博客
1. 启动Milvus和MySQL容器
在Milvus的系列文章，【Milvus的安装和使用】和【pymysql的基本使用】两篇文章介绍了如何安装Milvus、pymvilus的基本使用，以及如何通过pymysql库来操作MySQL。
在这一部分，主要是确认Milvus和MySQL容器处于启动状态下，以及两个容器的基本信息。首先，在milvus的docker-compose.yml文件的同级目录下，通过如下命令插入milvus容器的状态。
# 启动
docker-compose up -d
# 查看
docker-compose ps -a
# 停止
docker-compose down大致的过程如下图所示：
然后确认MySQL容器的状态，具体过程如下图所示：
此外，需要在MySQL中建立一个milvus的db来存放后续实验的数据内容。
2. 项目内容
本文此次以reverse_image_search的quick_deploy工程进行讲解，milvus中以图搜图的例子主要思路如下图所示。
整个过程可以如下两个阶段：
- 构建数据样本库阶段
- 准备用于构建样本库的图像数据；
- 使用目标分类网络ResNet50提取图像特征信息；
- 将每个图像的特征embedding信息插入到Milvus中，同时将Milvus对每个图像生成index和对应的图像名信息存储到MySQL数据库中；
- 目标样本检索阶段
- 输入目标样本文件名；
- 目标样本经过目标分类网络提取特征得到对应embedding信息；
- 执行搜索；
- milvus返回与该样本相似的topK个图像名；
接下来，主要介绍一些需要用户配置的参数以及相关的一些改进。
2.1 特征提取网络修改
在该项目的server端的encode.py文件是图像特征提取的实现，通过towhee库调用resnet50网络提取图像特征，部分代码如下图所示：
由于本人没有用过towhee库，所以基于pytorch重写了特征提取的过程，同时支持single图像和batch图像推理，在构建样本库使用batch推理可以极大节省时间。部分代码如下图所示。
2.2 配置信息
以图搜图项目中，主要是milvus和MySQL容器的相关参数需要配置，具体如下图所示：
首先分析一下miluvs的相关参数：
- MILVUS_HOST和MILVUS_PORT：miluvs容器的IP地址和端口
- VECTOR_DIMENSION：特征提取网络输出的维度，在pytorch中，resnet50的输出为1000维
-
DEFAULT_TABLE：默认存放特征embedding数据的collection名称
-
TOP_K：即检索时，输出前K个相似的图像名
然后，MySQL相关参数含义如下：
- MYSQL_HOST和MYSQL_PORT：MySQL的IP地址和端口
-
MYSQL_USER和MYSQL_PWD：用户名和密码
-
MYSQL_DB：存放数据的database名称
3. 运行服务端
在配置好上述参数和确认milvus和MySQL容器处于启动状态之后，此时就可以来启动项目的服务端。以图搜图使用fastapi库来构建服务端，启动服务的命令如下：
uvicorn main:app --reload对于fastapi库的内容本人不是特别熟悉，如果想要了解具体了解fastapi可以参考其官方文档。
运行上述命令，看到如下截图信息即可表示，服务启动成功。
如同所提示的一样，此时可以在浏览器中输入地址127.0.0.1:8000，可以看到如下页面内容。
然后输入FastAPI - Swagger UI
http://127.0.0.1:8000/docs
即可看到，该服务定义的一些接口，大致的含义，已经在图上描述出来。
接下来对其中重要接口调用功能和使用方法进行介绍。
3.1 构建样本检索库
img/load条目的作用是输入collection名称和图像路径从而构建样本检索库，通过点击/img/load条目，然后点击try it out，输入相应的collection名称和图像路径，最后点击execute。然后图像路径下的图像会经过resnet50提取特征，得到embedding，最后插入到指定的collection中。具体过程如下图所示。
3.2 加载数据
/embedding/load条目的作用是将collection中的数据加载到memory中，输入collection名称即可。
3.3 执行检索
/img/search条目的作用是执行目标样本的搜索，需要输入collection名称，选择目标样本的路径和topK的值。
该操作会返回topK个相似的图像路径，如下图所示。
4. 运行客户端
milvus提供了一个以图搜图项目对应的客户端，通过如下命令拉取客户端的镜像。
docker pull milvusbootcamp/img-search-client:1.0
然后，通过如下命令启动客户端容器。
#!/bin/bash
# Modify API_URL to the IP address and port of the server.
export API_URL='http://127.0.0.1:8000'
docker run -d -p 8001:80 \
-e API_URL=${API_URL} \
milvusbootcamp/img-search-client:1.0在浏览器中输入127.0.0.1：8001，进入到客户端，如下图所示：
到这里就完成milvus以图搜图实例如何运行的描述，替换图像样本库路径就能打造属于自己的以图搜图工具。在milvus的reverse_image_search中除了本文所说的使用目标分类网络来提取特征之外，还有一种以目标检测+分类的object_detection样例。同样也可以将特征提取网络替换为人脸识别模型，这样就可以打造属于自己的人脸搜索引擎✌。