使用Qdrant进行矢量相似性搜索的实践

在今天的文章中，我将带你深入了解Qdrant，这是一个生产就绪的矢量相似性搜索引擎，并提供一个便利的API来存储、搜索和管理点。这篇文章重点展示如何使用Qdrant进行自我查询检索，并结合OpenAI Embeddings进行矢量化处理。

技术背景介绍

Qdrant是一个专注于矢量相似性搜索的引擎，适用于需要快速检索和过滤的场景。它允许我们通过API轻松地存储和管理矢量数据点，并根据矢量相似性进行高效检索。为了展示其功能，我们将使用一个包含电影摘要的小型数据集进行演示。

核心原理解析

Qdrant核心在于能够对存储的矢量进行高效的相似性搜索。这使得它在构建需要快速数据检索的应用，如推荐系统、文本相似性搜索等方面尤其有用。通过结合OpenAI的Embeddings，我们可以将文本数据转化成矢量，并通过Qdrant高效管理和检索这些数据。

代码实现演示

在实际操作中，我们首先需要安装lark和qdrant-client包：

%pip install --upgrade --quiet lark qdrant-client

接下来，我们设置API密钥并导入必要的模块：

from langchain_community.vectorstores import Qdrant
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 使用OpenAI Embeddings进行矢量化
embeddings = OpenAIEmbeddings()

# 创建文档数据集
docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"}),
    Document(page_content="Leo DiCaprio gets lost in a dream within a dream within a dream within a ...", metadata={"year": 2010, "director": "Christopher Nolan", "rating": 8.2}),
    # 其他文档省略...
]

# 创建Qdrant向量存储
vectorstore = Qdrant.from_documents(
    docs,
    embeddings,
    location=":memory:",  # 本地模式，仅内存存储
    collection_name="my_documents",
)

# 设置元数据字段信息
metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="director", description="The name of the movie director", type="string"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]

# 自我查询检索器
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

# 示例：检索与恐龙相关的电影
retriever.invoke("What are some movies about dinosaurs")

应用场景分析

Qdrant特别适合需要高效数据检索和过滤的场景，如个性化推荐系统、内容匹配、信息检索和自然语言处理等。

实践建议

• 在开发生产环境应用时，确保Qdrant的部署配置可以支撑高并发访问。
• 根据实际数据规模选择合适的存储位置（内存、本地或云服务）。
• 巧妙利用Qdrant的过滤功能来提高检索精准度。

如果遇到问题欢迎在评论区交流。

—END—