使用 DashVector 进行高效的矢量检索和自查询检索器演示

在当代AI应用中，向量数据的管理和检索是至关重要的部分。DashVector 是一个完全托管的向量数据库服务，提供了对高维稠密和稀疏向量的支持，允许实时插入和过滤搜索。这个服务基于DAMO Academy自研的高效向量引擎Proxima核心构建，具备云原生和横向扩展能力，能够快速适应不同应用需求。在本篇文章中，我们将演示如何使用 DashVector 和 SelfQueryRetriever 来高效地进行矢量检索。

技术背景介绍

随着AI模型的多样化和复杂性增加，传统的数据库无法高效处理高维向量操作。DashVector 提供了一种解决方案，通过简单的SDK/API接口，开发者可以轻松集成复杂的向量管理和检索功能，以支持大型模型生态、多模态AI搜索和分子结构分析等多种应用场景。

核心原理解析

DashVector 的核心功能包括：

• 高维向量支持：支持稠密和稀疏向量。
• 实时插入和检索：允许对向量数据的实时更新和搜索。
• 自动扩展：云原生架构确保服务可根据需求自动扩展。

代码实现演示

下面我们通过代码示例展示如何在 DashVector 中创建向量存储，并使用 SelfQueryRetriever 进行检索。

安装必要的依赖包

%pip install --upgrade --quiet lark dashvector

设置客户端并创建向量存储

import os
import dashvector
from langchain_community.embeddings import DashScopeEmbeddings
from langchain_community.vectorstores import DashVector
from langchain_core.documents import Document

# 使用稳定可靠的API服务
client = dashvector.Client(api_key=os.environ["DASHVECTOR_API_KEY"])

embeddings = DashScopeEmbeddings()

# 创建 DashVector 集合
client.create("langchain-self-retriever-demo", dimension=1536)

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 其他文档省略...
]

# 从文档创建向量存储
vectorstore = DashVector.from_documents(
    docs, embeddings, collection_name="langchain-self-retriever-demo"
)

创建 SelfQueryRetriever

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_community.llms import Tongyi

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 其他属性信息省略...
]

document_content_description = "Brief summary of a movie"
llm = Tongyi(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试自查询检索功能

# 查询关于恐龙的电影
retrieved_docs = retriever.invoke("What are some movies about dinosaurs")
for doc in retrieved_docs:
    print(doc.page_content, doc.metadata)

应用场景分析

DashVector 的应用场景包括但不限于：

• 大规模模型生态：支持多种AI模型的高效集成。
• 多模态AI搜索：在多模态AI应用中实现高效的向量检索。
• 分子结构分析：支持科学研究中的高维数据操作。

实践建议

• 优化查询：在定义查询条件时，尽量明确以提高检索效率。
• 定期更新数据集：保持向量数据的更新以确保检索结果的准确性。

如果遇到问题欢迎在评论区交流。

—END—