大语言模型langchain+ChatGLM3-6B+本地知识库实战

大语言模型langchain+ChatGLM3-6B+本地知识库实战

目标

• 进行langchain创建，以ChatGLM3-6B作为对话模型。
• 在langchain环境下，进行本地知识库定制。

微调、本地知识库和 Prompt基本概念

微调、本地知识库和 prompt 是LMM模型调整和优化中的重要概念，它们之间有一定的关系和区别。

• 微调（Finetuning）是一种让预先训练好的模型适应特定任务或数据集的低成本方案。
• 本地知识库（Local Knowledge Base）是一种存储行业特定信息的数据库，它可以为LMM模型提供实时、动态的知识补充。
• Prompt 是一种用于引导模型生成特定类型回答的输入提示。

1、环境准备

在aliyun选择硬件资源，选择镜像版本时格外注意pytorch、cuda的版本：pytorch=2.1.2、cuda=12.1、python=3.10，还有modelscope=1.11.0与Tensorflow=2.14.0。

序号	资源明细
1	32G内存，16G显卡（NVidia Tesla V100），Ubuntu20.04。
2	pytorch=2.1.2、cuda=12.1、python=3.10
3	modelscope=1.11.0与Tensorfl