书生·浦语大模型实战营笔记(三)

RAG:检索增强生成

外挂知识库,对用户的问题首先从知识库中找到相关回答,再把问题和回答交给大模型,可以提高知识储备
特点:可实时更新,新知识只要放到知识库中即可,较简单

Finetune:微调

对于新的数据集,使用预训练数据集进行微调来符合新数据集
特点:个性化微调效果好,需要重新训练,无法实时更新,训练成本高
书生·浦语大模型实战营笔记(三)_第1张图片

开源框架LangChain可以实现RAG

1)数据库构建:加载源文件,转化为无格式字符串
2)文档分块
3)文档向量化

RAG优化建议:

检索方面:基于语义分割
prompt方面:迭代优化策略

你可能感兴趣的:(笔记)