用通俗易懂的方式讲解：使用Llama-2、PgVector和LlamaIndex，构建大模型 RAG 全流程

近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。

本文，我们将深入研究使用transformer库、Llama-2模型、PgVector数据库和LlamaIndex库来构建RAG Pipeline完整过程。

技术交流&资料

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了大模型技术交流群，本文完整代码、相关资料、技术交流&答疑，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：来自CSDN + 技术交流

通俗易懂讲解大模型系列

• 做大模型也有1年多了，聊聊这段时间的感悟！

• 用通俗易懂的方式讲解：大模型算法工程师最全面试题汇总

• 用通俗易懂的方式讲解：我的大模型岗位面试总结：共24家，9个offer

• 用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战

• 用通俗易懂的方式讲解：一文讲清大模型 RAG 技术全流程
  

• 用通俗易懂的方式讲解：如何提升大模型 Agent 的能力?

• 用通俗易懂的方式讲解：ChatGPT 开放的多模态的DALL-E 3功能，好玩到停不下来！

• 用通俗易懂的方式讲解：基于扩散模型（Diffusion）,文生图 AnyText 的效果太棒了

• 用通俗易懂的方式讲解：在 CPU 服务器上部署 ChatGLM3-6B 模型

• 用通俗易懂的方式讲解：使用 LangChain 和大模型生成海报文案

• 用通俗易懂的方式讲解：ChatGLM3-6B 部署指南

• 用通俗易懂的方式讲解：使用 LangChain 封装自定义的 LLM，太棒了

• 用通俗易懂的方式讲解：基于 Langchain 和 ChatChat 部署本地知识库问答系统

• 用通俗易懂的方式讲解：在 Ubuntu 22 上安装 CUDA、Nvidia 显卡驱动、PyTorch等大模型基础环境

• 用通俗易懂的方式讲解：Llama2 部署讲解及试用方式

• 用通俗易懂的方式讲解：基于 LangChain 和 ChatGLM2 打造自有知识库问答系统

• 用通俗易懂的方式讲解：一份保姆级的 Stable Diffusion 部署教程，开启你的炼丹之路

• 用通俗易懂的方式讲解：对 embedding 模型进行微调，我的大模型召回效果提升了太多了

• 用通俗易懂的方式讲解：LlamaIndex 官方发布高清大图，纵览高级 RAG技术

• 用通俗易懂的方式讲解：使用 LlamaIndex 和 Eleasticsearch 进行大模型 RAG 检索增强生成

一、什么是RAG（检索增强生成）

检索增强生成（RAG）模型是传统语言模型与信息检索组件的融合。从本质上讲，RAG利用外部数据（通常来自大型语料库或数据库）来增强大语言模型生成过程，以产生更知情和上下文相关的响应。

二、RAG的工作原理

检索阶段：当查询输入到RAG系统时，首先从数据库中检索相关信息。

增强阶段：然后将检索到的数据输入到一个语言模型中，比如案例中的Llama-2，它会生成一个响应。这种响应不仅基于模型预先训练的知识，还基于在第一阶段检索到的特定信息。

三、Llama-2：大语言模型

主要功能：

多功能性：Llama-2可以处理各种NLP任务。

上下文理解：它擅长于掌握对话或文本的上下文。

语言生成：Llama-2可以生成连贯且符合上下文的反应。

为什么Llama-2用于RAG？：Llama-2在性能和计算效率方面的平衡使其成为RAG管道的理想候选者，尤其是在处理和生成基于大量检索数据的响应时。

四、PgVector：高效管理矢量数据

PgVector是PostgreSQL的扩展，PostgreSQL是一个流行的开源关系数据库。它是为处理高维矢量数据而定制的，就像Llama-2等语言模型生成的数据一样。PgVector允许对矢量数据进行高效存储、索引和搜索，使其成为涉及大型数据集和复杂查询的项目的重要工具。

主要功能：

效率：为快速检索高维数据而优化。

集成：与PostgreSQL数据库无缝集成。

可扩展性：适用于处理大规模矢量数据集。

RAG中的重要性：对于RAG，PgVector提供了一个优化的数据库环境来存储和检索矢量化形式的数据，这对检索阶段至关重要。

五、LlamaIndex：连接语言和数据库

LlamaIndex可以使用Llama-2将文本数据转换为向量，然后将这些向量存储在由PgVector授权的PostgreSQL数据库中。这种转换对于实现基于语义相似性而不仅仅是关键字匹配的高效文本检索至关重要。

主要功能：

语义索引：将文本转换为表示语义的向量。

数据库集成：存储和检索PostgreSQL中的矢量数据。

增强检索：方便高效、上下文感知的搜索功能。

RAG中的角色:LlamaIndex对于有效搜索存储在PgVector数据库中的嵌入至关重要，它便于根据查询输入快速检索相关数据。

六、代码实现

在项目开发之前，确保正确设置环境以及安装好必要的库：

6.1 安装transformers库

Hugging Face的transformer库是使用Llama-2等模型的基石，它为自然语言处理任务提供了对预先训练的模型和实用程序的轻松访问。

pip install transformers

此命令安装transformer库的最新版本，其中包括加载和使用Llama-2模型所需的功能。

6.2 安装PgVector

PgVector是PostgreSQL的扩展，有助于有效处理矢量数据。这对于管理LLM中使用的嵌入和实现快速检索操作尤为重要。

下载PostgreSQL

访问PostgreSQL官方网站(https://www.postgresql.org/download/)并为您的操作系统选择适当的版本。PostgreSQL兼容各种平台，包括Windows、macOS和Linux。

首先，确保PostgreSQL已安装并在您的系统上运行。然后，安装PgVector扩展：

pip install pgvector

安装后，您需要创建一个PostgreSQL数据库，并在其中启用PgVector扩展：

CREATE DATABASE ragdb;
\c ragdb
CREATE EXTENSION pgvector;

此SQL命令序列创建一个名为ragdb的新数据库，并激活其中的PgVector扩展。

6.3 安装LlamaIndex库

LlamaIndex是专门为索引和检索矢量数据而设计的，使其成为RAG管道的重要组成部分。

pip install llama-index

此命令安装LlamaIndex库，使您能够为矢量数据创建和管理索引。

RAG Pipeline如下图所示：

构建LLM RAG管道包括几个步骤：初始化Llama-2进行语言处理，使用PgVector建立PostgreSQL数据库进行矢量数据管理，以及创建集成LlamaIndex的函数以将文本转换和存储为矢量。

6.4 初始化Llama-2

构建RAG管道的第一步包括使用Transformers库初始化Llama-2模型。这个过程包括建立模型及其标记器，这对编码和解码文本至关重要。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM


# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
model = AutoModelForSeq2SeqLM.from_pretrained("meta-llama/Llama-2-7b-hf")

在这个片段中，我们从llama-2包中导入LlamaModel，并使用特定的模型变体（例如“llama2-large”）对其进行初始化，该模型将用于文本生成和矢量化。

6.5 设置PgVector

一旦模型准备就绪，下一步就是建立PgVector数据库，用于存储和检索矢量化数据。

PostgreSQL数据库设置：

安装PostgreSQL：确保PostgreSQL已安装并正在运行。

创建数据库并启用PgVector：

CREATE DATABASE ragdb;
\c ragdb
CREATE EXTENSION pgvector;

用于数据库交互的Python代码：

import psycopg2

# Connect to the PostgreSQL database
conn = psycopg2.connect(dbname="ragdb", user="yourusername", password="yourpassword")

# Create a table for storing embeddings
cursor = conn.cursor()
cursor.execute("CREATE TABLE embeddings (id serial PRIMARY KEY, vector vector(512));")
conn.commit()

这段代码创建了一个到PostgreSQL数据库的连接，并设置了一个用于存储嵌入的表。矢量（512）数据类型是一个例子；可以根据模型的输出调整大小。

6.6 数据准备

对于这个例子，让我们使用一个与可再生能源相关的科学摘要的简单数据集。数据集由摘要列表组成，每个摘要都是一个字符串。

data = [
    "Advances in solar panel efficiency have led to a significant reduction in cost.",
    "Wind turbines have become a major source of renewable energy in the past decade.",
    "The development of safer nuclear reactors opens new 
possibilities for clean energy.",
    # Add more abstracts as needed
]

6.7 生成嵌入

要从这些数据生成嵌入，我们首先需要加载Llama-2模型，并通过它处理每个抽象。

安装要求：

pip install torch

安装完torch后，执行以下代码。

from transformers import AutoTokenizer, AutoModel
import torch

# Initialize the model and tokenizer
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
model = AutoModel.from_pretrained("meta-llama/Llama-2-7b-hf")


def generate_embeddings(text):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
    with torch.no_grad():
        outputs = model(**inputs)
    return outputs.last_hidden_state.mean(dim=1).numpy()

# Generate embeddings for each abstract
embeddings = [generate_embeddings(abstract) for abstract in data]

此函数通过Llama-2模型处理每个抽象，以生成嵌入，然后将嵌入存储在列表中。

6.8 使用LlamaIndex索引数据

嵌入准备好后，我们现在可以使用LlamaIndex对它们进行索引。这一步骤对于以后实现高效检索至关重要。

import numpy as np
from llama_index import VectorStoreIndex


# Convert the list of embeddings to a NumPy array
embeddings_array = np.vstack(embeddings)

# Create an index for these embeddings
index = VectorStoreIndex.from_documents(
    documents, service_context=embeddings_array
)

此代码块将嵌入列表转换为NumPy数组，然后使用LlamaIndex创建一个名为“energy_abstracts_index”的索引。

6.9 与PostgreSQL集成

最后，为了将其与PostgreSQL数据库集成（假设您已经如前所述使用PgVector进行了设置），您可以将这些嵌入存储在数据库中。

安装要求：

pip install psycopg2

安装“psycopg2”后，实现以下代码以将嵌入存储在数据库中。

import psycopg2

# Connect to your PostgreSQL database
conn = psycopg2.connect(dbname="ragdb", user="yourusername", password="yourpassword")
cursor = conn.cursor()

# Store each embedding in the database
for i, embedding in enumerate(embeddings_array):
    cursor.execute("INSERT INTO embeddings (id, vector) VALUES (%s, %s)", (i, embedding))
conn.commit()

在这个片段中，我们有一个示例文本的列表。我们循环遍历每个文本，index_document函数将文本转换为向量并将其存储在数据库中。

6.10 集成RAG管道

设置好各个组件后，将它们集成到检索增强生成（RAG）管道中是最后一步。这包括创建一个系统来处理查询，从数据库中检索相关信息，使用Llama-2模型生成响应。

创建RAG查询函数

RAG Pipeline的核心是一个函数，它接受用户查询，从数据库中检索相关上下文，并基于查询和检索到的上下文生成响应。

def your_retrieval_condition(query_embedding, threshold=0.7):
  
    # Convert query embedding to a string format for SQL query
    query_embedding_str = ','.join(map(str, query_embedding.tolist()))

    # SQL condition for cosine similarity
    condition = f"cosine_similarity(vector, ARRAY[{query_embedding_str}]) > {threshold}"
    return condition

   现在，让我们将这个自定义检索逻辑集成到我们的RAG管道中：

def rag_query(query):
    # Tokenize and encode the query
    input_ids = tokenizer.encode(query, return_tensors='pt')

    # Generate query embedding
    query_embedding = generate_embeddings(query)

    # Retrieve relevant embeddings from the database
    retrieval_condition = your_retrieval_condition(query_embedding)
    cursor.execute(f"SELECT vector FROM embeddings WHERE {retrieval_condition}")
    retrieved_embeddings = cursor.fetchall()

     # Convert the retrieved embeddings into a tensor
    retrieved_embeddings_tensor = torch.tensor([emb[0] for emb in retrieved_embeddings])

    # Combine the retrieved embeddings with the input_ids for the model
    # (This step may vary based on your model's requirements)
    combined_input = torch.cat((input_ids, retrieved_embeddings_tensor), dim=0)

    # Generate the response
    generated_response = model.generate(combined_input, max_length=512)
    return tokenizer.decode(generated_response[0], skip_special_tokens=True)

让我们看看我们的RAG管道将如何与示例查询一起工作：

query = "What are the latest advancements in renewable energy?"
response = rag_query(query)
print("Response:", response)

在这种情况下，管道检索与“可再生能源”进步相关的上下文，将其与查询相结合，并生成全面的响应。

七、结论

利用Llama-2、PgVector和LlamaIndex构建LLM-RAG管道，为NLP领域开辟了一个可能性领域。这个管道不仅可以理解和生成文本，而且还利用庞大的信息数据库来增强其响应，使其在聊天机器人、推荐系统等各种应用程序中具有难以置信的强大功能。

然而，旅程并没有就此结束。NLP的世界正在迅速发展，保持最新趋势和技术的更新至关重要。这里讨论的实现是进入更广泛、更复杂的语言理解和生成世界的垫脚石。不断试验，不断学习，最重要的是不断创新。

参考文献：

[1] https://medium.com/@shaikhrayyan123/how-to-build-an-llm-rag-pipeline-with-llama-2-pgvector-and-llamaindex-4494b54eb17d