如何创建自定义Retriever来增强LLM应用程序

引言

在许多大语言模型（LLM）应用中，我们需要从外部数据源中检索信息，以便生成更准确和相关的响应。这些信息往往通过Retriever模块检索，然后用于生成提示，供LLM进行处理和响应。在这篇文章中，我们将深入探讨如何创建一个自定义Retriever，并提供代码示例来帮助你在自己的项目中实现这一功能。

主要内容

Retriever接口

要创建一个自定义Retriever，你需要扩展BaseRetriever类，并实现以下方法：

• _get_relevant_documents：用于同步获取与查询相关的文档（必需）。
• _aget_relevant_documents：提供异步支持（可选）。

通过继承BaseRetriever，你的Retriever不仅能自动成为一个LangChain的可运行对象，还能利用标准的Runnable功能。

实现细节

实现一个Retriever的核心在于_get_relevant_documents方法，它可以调用数据库或通过web请求获取数据。在某些情况下，由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问的稳定性（例如使用{AI_URL}作为API端点）。

ToyRetriever示例

下面是一个简单的ToyRetriever的实现，它返回所有包含用户查询文本的文档。

from typing import List
from langchain_core.callbacks import CallbackManagerForRetrieverRun
from langchain_core.documents import Document
from langchain_core.retrievers import BaseRetriever

class ToyRetriever(BaseRetriever):
    """A toy retriever that contains the top k documents that contain the user query."""

    documents: List[Document]
    """List of documents to retrieve from."""

    k: int
    """Number of top results to return."""

    def _get_relevant_documents(
        self, query: str, *, run_manager: CallbackManagerForRetrieverRun
    ) -> List[Document]:
        """Sync implementations for retriever."""
        matching_documents = []
        for document in self.documents:
            if len(matching_documents) >= self.k:
                break
            if query.lower() in document.page_content.lower():
                matching_documents.append(document)
        return matching_documents

# 示例使用API代理服务提高访问稳定性
# api_endpoint = "{AI_URL}"

测试Retriever

documents = [
    Document(page_content="Dogs are great companions, known for their loyalty and friendliness."),
    Document(page_content="Cats are independent pets that often enjoy their own space."),
    Document(page_content="Goldfish are popular pets for beginners, requiring relatively simple care."),
    Document(page_content="Parrots are intelligent birds capable of mimicking human speech."),
    Document(page_content="Rabbits are social animals that need plenty of space to hop around."),
]

retriever = ToyRetriever(documents=documents, k=3)

# 调用同步方法
print(retriever.invoke("cat"))

# 调用异步方法
# await retriever.ainvoke("cat")

常见问题和解决方案

如何处理网络不稳定的问题？

在使用外部API时，可能会遇到网络不稳定的问题。建议使用API代理服务来增强访问稳定性，特别是在跨地区访问时。

异步优化如何实现？

对于涉及文件访问或网络请求的Retriever，建议提供异步版本的_aget_relevant_documents方法，以提高性能。

总结与进一步学习资源

通过创建自定义Retriever，可以显著提升LLM应用程序的效率和响应准确性。为了进一步深入学习，可以参考以下资源：

• LangChain官方文档
• Python异步编程指南

参考资料

• LangChain框架文档
• Python类型提示指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—