书生·浦语大模型实战营第三次课堂笔记

LLM 的局限性

知识时效性受限: 如何让LLM能够获取最新的知识
专业能力有限: 如何打造垂域大模型
定制化成本高: 如何打造个人专属的LLM应用

RAG:检索增强生成，
核心思想：给大模型外挂一个知识库，对于用户的提问，会首先从知识库中匹配到提问对应回答的相关文档，然后将文档和提问一起交给大模型来生成回答，从而提高大模型的知识储备。
Ft:完成传统自然语言处理算法的微调
核心思想：在一个新的较小的训练集上，进行轻量级的训练微调，从而提升模型在这个新数据集上的能力
这两种开发方式都能够突破通用大模型的自身局限

RAG原理：

如何可以快速高效的开发一个2A级应用开源框架？

LangChain为我们提供了可能性！
LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用LangChain 的核心组成模块
链 (Chains) : 将组件组合实现端到端应用，通过一个对象封装实现一系列LLM 操作
Eg.检索问答链，覆盖实现了 RAG (检索增强生成)的全部流程

向量数据库的构建：

加载源文件 > 文档分块 > 文档向量化

• 确定源文件类型，针对不同类型源文件选用不同的加载器
  核心在于将带格式文本转化为无格式字符串

• 由于单个文档往往超过模型上下文上限，我们需要对加载的文档进行切分
  一般按字符串长度进行分割（例如设置字符串长度为500）
  可以手动控制分割块的长度和重叠区间长度

• 使用向量数据库来支持语义检索，需要将文档向量化存入向量数据库
  可以使用任一一种 Embedding 模型来进行向量化
  可以使用多种支持语义检索的向量数据库，一般使用轻量级的 Chroma

搭建知识库助手

RAG方案优化建议
基于RAG的问答系统性能核心受限于
检索精度
Prompt性能
一些可能的优化点：

• 检索方面:
  基于语义进行分割，保证每一个chunk的语义完整
  给每一个chunk生成概括性索引，检索时匹配索引
• Prompt方面
  迭代优化Prompt策略

代码实战

下载安装所需依赖

模型下载

LangChain 相关环境配置：
安装依赖包：

pip install langchain==0.0.292
pip install gradio==4.4.0
pip install chromadb==0.4.15
pip install sentence-transformers==2.2.2
pip install unstructured==0.10.30
pip install markdown==3.3.7

首先需要使用 huggingface 官方提供的 huggingface-cli 命令行工具。安装依赖:

pip install -U huggingface_hub

使用huggingface镜像下载
在/root/data目录下新建Python文件download_hf.py，填入以下代码：
resume-download：断点续下
local-dir：本地存储路径。（linux环境下需要填写绝对路径）

import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/data/model/sentence-transformer')

在/root/data目录下执行该脚本python download_hf.py

下载 NLTK 相关资源:
用以下命令下载nltk资源并解压到服务器上：

cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

下载本项目代码:
建议通过以下目录将仓库 clone 到本地，可以直接在本地运行相关代码：

cd /root/data
git clone https://github.com/InternLM/tutorial

知识库搭建

将远程开源仓库 Clone 到本地

# 进入到数据库盘
cd /root/data
# clone 上述开源仓库
git clone https://gitee.com/open-compass/opencompass.git
git clone https://gitee.com/InternLM/lmdeploy.git
git clone https://gitee.com/InternLM/xtuner.git
git clone https://gitee.com/InternLM/InternLM-XComposer.git
git clone https://gitee.com/InternLM/lagent.git
git clone https://gitee.com/InternLM/InternLM.git

遇到报错

发现自己看错了少写了个python文件