LangChain 系列教程（一）：掌握基础概念，为大型语言模型应用奠定基础

这是「进击的Coder」的第 836 篇技术分享

作者：Elfa

来源：赛博精灵Elfa

“

阅读本文大概需要 6 分钟。

”

摘要：

本文介绍了一个强大的第三方开源库 LangChain，用于开发由大型语言模型驱动的应用程序。我们将详细介绍 LangChain 的基础功能、重要概念和使用方法，并为您提供关键代码示例。让我们开始我们的 LangChain 系列教程吧！

正文：

亲爱的读者，我们非常高兴向您介绍一款名为 LangChain 的强大的第三方开源库。这款库旨在帮助您开发由大型语言模型（LLM）驱动的应用程序，如 OpenAI、HuggingFace 和 AzureOpenAI。本文是 LangChain 系列教程的第一篇，接下来让我们详细了解 LangChain 的基础功能、重要概念和使用方法。

LangChain 简介

LangChain 是一个活跃的开源项目，目前已经获得了 26k 的 star。这个库主要具有以下两大功能：

1. 将 LLM 模型与外部数据源进行连接；

2. 允许与 LLM 模型进行交互。

LangChain 支持多种模型接口，如 OpenAI、HuggingFace 和 AzureOpenAI，同时提供 Fake LLM 用于测试。此外，它还支持缓存（如内存、SQLite、Redis 和 SQL）、用量记录、流模式（类似打字效果）以及 Prompt 管理等功能。

必知概念

接下来，让我们了解一些 LangChain 的关键概念：

Loader（加载器）

加载器用于从指定源加载数据。LangChain 提供了丰富的加载器，例如：

• DirectoryLoader（文件夹）

• AzureBlobStorageContainerLoader（Azure 存储）

• CSVLoader（CSV 文件）

• EverNoteLoader（印象笔记）

• GoogleDriveLoader（Google 网盘）

• UnstructuredHTMLLoader（任意网页）

• PyPDFLoader（PDF 文件）

• S3DirectoryLoader/S3FileLoader（S3）

• YoutubeLoader（YouTube 视频）

Document（文档）

当加载器读取到数据源后，需要将数据源转换成 Document 对象，方便后续使用。

Text Splitters（文本分割器）

文本分割器用于分割文本。由于向 OpenAI API 发送文本或使用其 embedding 功能时有字符限制，因此需要使用文本分割器分割加载器读取到的 Document。

Vectorstores（向量数据库）

将数据 Document 转换成向量后，便可通过向量运算进行相关性搜索。将数据存储到相应的向量数据库中即可完成向量转换。LangChain 提供了多种向量数据库供您选择。

Chain（链）

Chain 可理解为任务，可串联执行多个任务。

Agent（代理）

Agent 可以简单地理解为动态帮助我们选择和调用 Chain 或已有工具的功能。

Embedding（嵌入）

嵌入用于衡量文本的相关性，是 OpenAI API 构建知识库的关键技术。相较于 fine-tuning，嵌入的优势在于无需训练，可实时添加新内容，且成本较低。了解更多关于嵌入和 fine-tuning 的比较，请观看这个视频：https://www.youtube.com/watch?v=9qq6HTr7Ocw

代码示例

以下是一些关键的代码示例：

安装 LangChain

pip install langchain

使用加载器读取数据

from langchain.loaders import DirectoryLoader

loader = DirectoryLoader("data_folder")
documents = loader.load()

将文档分割为更小的部分

from langchain.text_splitters import SimpleTextSplitter

splitter = SimpleTextSplitter(max_tokens=2048)
split_documents = [splitter.split(doc) for doc in documents]

将文档转换为向量并存储

from langchain.vectorstores import FaissVectorStore

vector_store = FaissVectorStore()
for document in documents:
    vector = vector_store.text_to_vector(document.text)
    vector_store.add(document.id, vector)

使用 Agent 查询相关文档

from langchain.agents import SimpleAgent

agent = SimpleAgent(vector_store)
query = "What is the meaning of life?"
result = agent.search(query)

以上代码示例仅为 LangChain 的基本使用方法。要充分利用其强大功能，请参考官方文档：https://python.langchain.com/en/latest/

总结

在本文中，我们向您介绍了 LangChain 这款强大的第三方开源库，以及它在大型语言模型应用中的基础概念和关键组件。希望您能够从这篇 LangChain 系列教程的第一篇文章中受益。在接下来的文章中，我们将深入探讨更多高级功能和实际应用案例，敬请期待！

End

欢迎大家加入【ChatGPT&AI 变现圈】，零门槛掌握 AI 神器！我们带你从小白到高手，解锁智能问答、自动化创作、技术变现的无限可能。与我们共同成长，开启 AI 新征程！立即行动，未来已来！（详情请戳：知识星球：ChatGPT&AI 变现圈，正式上线！）

扫码加入：