文心ERNIE Bot SDK+LangChain：基于文档、网页的个性化问答系统

现在各行各业纷纷选择接入大模型，其中最火且可行性最高的形式无异于智能文档问答助手，而LangChain是其中主流技术实现工具，能够轻松让大语言模型与外部数据相结合，从而构建智能问答系统。ERNIE Bot SDK已接入文心大模型4.0能力，同时支持对话补全、函数调用、语义向量等功能。

本教程是基于文心一言ERNIE Bot SDK与LangChain构建基于Embedding Vector方式的文本问答系统， 整体可以解构为三部分。

1、基于ERNIE Bot与LangChain结合的Embedding，获取向量矩阵并保存

2、基于用户问题，在向量矩阵库中搜寻相近的原文句子

3、基于检索到的原文与Prompt结合，从LLM获取答案

背景介绍

问答系统处理流程

加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top_k个 -> 匹配出的文本作为上下文和问题一起添加到Prompt中 -> 提交给LLM生成回答

技术工具

ERNIE Bot SDK

ERNIE Bot SDK 提供便捷易用的接口，可以调用文心大模型的能力，包含文本创作、通用对话、语义向量、AI作图等。

LangChain

LangChain 是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如API和数据库。

项目代码

环境准备

安装相关库

!pip install -qr requirements.txt

读取 access_token

在星河社区的控制台访问令牌中找到自己的access_token，替换access_token.txt或下面代码中的access_token。

fileName='access_token.txt'
access_token=''
if len(access_token)==0:
    with open(fileName,'r') as f:
        #逐行读取文件内容
        lines = f.readlines()
    for line in lines:
        if line[:13]=='access_token=':
            access_token=line[13:]
assert len(access_token)>10
print('access_token:',access_token)

LangChain及Embedding部分

获取文档载入器

使用GetLoader(source)获取LangChain中的Loader，GetLoader会根据source类型，调用对应的LangChain文本载入器。

创建或载入向量库

引入Embeddings函数并切分文本，chunk_size按ERNIE Bot SDK要求设为384

text_splitter = RecursiveCharacterTextSplitter(chunk_size=ernieChunkSize, chunk_overlap=0)
splits = text_splitter.split_documents(documents) 

获取整个文档或网页的Embedding向量并保存。

  embeddings=ErnieEmbeddings(access_token=access_token)
    # vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
    vectorstore = Chroma.from_documents(persist_directory=persist_directory,documents=splits, embedding=embeddings)

根据用户问题获取文档中最相近的原文片段

使用了LangChain中的similarity_search_with_score就可以获取所需的top_k个文案片段，并且返回其score。结果显示score差别不是很大。

def searchSimDocs(query,vectorstore,top_k=3,scoreThershold=5):

   packs=vectorstore.similarity_search_with_score(query,k=top_k)
   contentList=[]

   for pack in packs:
       doc,score=pack
       if score

具体Embedding代码见下方：

import os

os.environ['access_token']=access_token
from langchain.vectorstores import Chroma
from langchain.chains import RetrievalQA
from langchain_embedding_ErnieBotSDK import ErnieEmbeddings# Load documents

from langchain.document_loaders import WebBaseLoader
from langchain.document_loaders.text import TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
import erniebot

## https://python.langchain.com/docs/integrations/chat/ernie


# loader = WebBaseLoader("https://cloud.tencent.com/developer/article/2329879")

## 创建新的chroma向量库
def createDB(loader,persist_directory='./chromaDB'):

    #loader = TextLoader(file_path=file_path,encoding='utf8')
    documents=loader.load()
    # Split documents

    ernieChunkSize=384
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=ernieChunkSize, chunk_overlap=0)
    splits = text_splitter.split_documents(documents)
    print('splits len:',len(splits))#,splits[:5])
    # Embed and store splits
    embeddings=ErnieEmbeddings(access_token=access_token)
    # vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
    vectorstore = Chroma.from_documents(persist_directory=persist_directory,documents=splits, embedding=embeddings)
    #https://juejin.cn/post/7236028062873550908
    # 持久化 会结合之前保存下来的 vectorstore
    #vectorstore.persist()
    return vectorstore
## 读取已保存的chroma向量库
def readDB(persist_directory="./chromaDB"):
    assert os.path.isdir(persist_directory)
    # # Embed and store splits
    embeddings=ErnieEmbeddings(access_token=access_token)
    vectorstore = Chroma(persist_directory=persist_directory, embedding_function=embeddings)
    return vectorstore
## 基于用户的query去搜索库中相近的文档
def searchSimDocs(query,vectorstore,top_k=3,scoreThershold=5):
    packs=vectorstore.similarity_search_with_score(query,k=top_k)
    contentList=[]

    for pack in packs:
        doc,score=pack
        if score

LLM根据相关文档片段回答问题

预置Prompt设定LLM角色，该Prompt将与向量计算中相关文档片段进行结合，作为query输入给大模型。

prompt=
"你是善于总结归纳并结合文本回答问题的文本助理。请使用以下检索到的上下文来回答问题。如果你不知道答案，就说你不知道。最多使用三句话，并保持答案简洁。问题为：\n"+query+" \n上下文：\n"+'\n'.join(contentList) +" \n 答案:"

以下为response解析代码：

def packPrompt(query,contentList):
    prompt="你是善于总结归纳并结合文本回答问题的文本助理。请使用以下检索到的上下文来回答问题。如果你不知道答案，就说你不知道。最多使用三句话，并保持答案简洁。问题为：\n"+query+" \n上下文：\n"+'\n'.join(contentList) +" \n 答案:"
    return prompt

def singleQuery(prompt,model='ernie-bot'):
    response = erniebot.ChatCompletion.create(
        model=model,
        messages=[{
            'role': 'user',
            'content': prompt
        }])
    print('response',response)
    try:
        resFlag=response['rcode']
    except:        
        resFlag=response['code']
    if resFlag==200:
        try:
            data=response['body']
        except:
            data=response

        result=response['result']

        usedToken=data['usage']['total_tokens']
    else:
        result=""
        usedToken=-1
    return result,usedToken

prompt=packPrompt(query,contentList)
res,usedToken=singleQuery(prompt,model='ernie-bot-4')
print(res)

该教程支持直接一键fork运行，点击下方链接查看。
https://aistudio.baidu.com/projectdetail/7051316

该教程项目来源于飞桨星河社区五周年开发精品教程征集，更多教程或有投稿需求请点击底部下方链接查看。

https://aistudio.baidu.com/topic/tutorial