InternLM大模型实战-3.InternLM+Langchain搭建知识库

前言

本文是对于InternLM全链路开源体系系列课程的学习笔记。【基于 InternLM 和 LangChain 搭建你的知识库】 https://www.bilibili.com/video/BV1sT4y1p71V/?share_source=copy_web&vd_source=99d9a9488d6d14ace3c7925a3e19793e

笔记正文

大模型开发范式

LLM的局限：知识的时效性（最新知识）、专业能力有限（垂直领域）、定制化成本高（个人专属）

两种开发范式用于解决这种局限性

RAG

检索增强生成。
低成本、可实时更新、受基座模型影响大、单次回答知识有限

Finetune

微调。
可个性化微调、知识覆盖面广、成本高昂、无法实时更新

LangChain简介

LangChain是一个开源工具，通过为各种LLM提供通用接口来简化应用程序的开发流程，帮助开发者自由构建LLM应用。其核心组成模块是Chains,可以见各种组建组合实现应用。

构建向量数据库

加载个人数据
加载源文件 -> 文档分块 -> 文档向量化

• 确定源文件的类型，针对不同类型的源文件选用不同的加载器
• 单个文档超出模型上下文的上限，所以需要切分
• 使用向量数据库来支持语义检索，需要将文档向量化存入向量数据库

虽然源文件可以是各种格式的，但是存入向量数据库之后都会成为纯的以向量形式存储的字符串

搭建知识库助手

1 InternLM+Langchain

可以全部采用本地部署本地加载的形式，Langchain有提供自定义大模型的部署方式，将InternLM的接口封装为符合Langchain的LLM的一个类。

2 构建检索问答链

Langchain提供了检索问答链模板，可以自动实现只是检索、Prompt嵌入、LLM问答的全流程。
也就是说，只需要自己来进行模型的部署和向量知识库的创建。

3 优化建议

Web Demo 部署

建议web demo部署的有gradio和streamlit.

搭建知识库

见第三次作业博客中。