大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第1张图片

基于InternLM和LangChain搭建知识库

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第2张图片

1 大模型开发范式

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第3张图片

LLM的局限性

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第4张图片

  • 知识受限:最新知识无法实时获取
  • 专业能力有限:有广度无深度
  • 定制化成本高:训练成本高

RAG VS Finetune

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第5张图片
RAG:

  • 无需重新训练
  • 组织外挂加入知识
  • 容易受基座模型的影响
  • 问题+回答一起送入大模型,占据token长度

Finetune

  • 个性化微调:风格,领域知识
  • 知识面覆盖广:新的数据集及通用数据集按照比例混合
  • 训练成本高
  • 无法实时更新

RAG检索增强

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第6张图片

2 LangChain简介

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第7张图片

  • 开源
  • 通用
  • 核心模块:
    • chains
    • agent

基于LangChain搭建RAG应用

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第8张图片

3 构建向量数据库

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第9张图片
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第10张图片

  • 加载源文件
    • 不同的文件有不同的加载方式
  • 文档分块chunk
    • 字符串长度分割
    • 重叠区间
    • 代码的话就是代码块 类等
  • 文档向量化
    • 文档embedding
    • 存入向量数据库

4 搭建知识库助手

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第11张图片
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第12张图片
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第13张图片
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第14张图片
限制:

  • 检索精度
  • prompt性能

5 Web Demo部署

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第15张图片
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第16张图片

6 动手实战环节

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第17张图片

创建开发机

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第18张图片
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第19张图片
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第20张图片
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第21张图片

新建虚拟环境

在这里插入图片描述
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第22张图片

安装相关依赖

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第23张图片
在这里插入图片描述

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第24张图片

下载模型文件

本机有,可以先复制
在这里插入图片描述
在这里插入图片描述

  • internLM-7B
  • modelscope
  • huggfingace:sentence-transformer
  • nltk
  • punkt
  • tagger

搭建自己知识库

  • 克隆opencompass项目
    大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第25张图片
  • 构建向量数据库
    • 导入数据md,txt文件
    • 获取文件中的文本
    • 对文本进行分块
    • 词向量模型进行编码
    • 加载数据到向量库Chroma
    • 向量库保存到本地磁盘
      大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第26张图片
      大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第27张图片
      大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第28张图片

将InternLM接入LangChain

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第29张图片

构建检索问答链

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第30张图片

  • 加载词向量模型
  • 加载LLM模型
  • 定义Prompt 模板
    • 不懂的要回答说不知道,缓解幻觉问题
  • 运行chain

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第31张图片

  • 存储检索问答链的对象
    大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第32张图片
    大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第33张图片

  • 实例化核心功能对象

  • gradio创建聊天机器人页面

执行代码

python web_demo.py

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库_第34张图片

参考

  • InternLM-tutorial

你可能感兴趣的:(#,书生·浦语大模型,langchain,RAG,LLM,InternLM,AIGC)