LangChain + ChatGLM-6B / ChatGLM2-6B 新手踩坑指南!

LangChain-ChatGLM-6B基本简介:

1、项目资源来源链接:

基于本地知识库的 ChatGLM 问答https://github.com/imClumsyPanda/langchain-ChatGLM

2、项目原理:

加载文件 ➝ 读取文本 ➝ 文本分割 ➝ 文本向量化 ➝ 问句向量化 ➝ 在文本向量中匹配出与问句向量最相似的top k个 ➝ 匹配出的文本作为上下文和问题一起添加到prompt中 ➝ 提交给LLM生成回答。

LangChain + ChatGLM-6B / ChatGLM2-6B 新手踩坑指南!_第1张图片

3、硬件需求:

  • ChatGLM-6B 模型硬件需求
量化等级 最低 GPU 显存(推理) 最低 GPU 显存(高效参数微调)
FP16(无量化) 13 GB 14 GB
INT8 8 GB 9 GB
INT4 6 GB 7 GB
  • Embedding 模型硬件需求

    本项目中默认选用的 Embedding 模型

你可能感兴趣的:(langchain,ai)