1.简述本篇文章主要介绍一下，在Unity端，集成智谱AI开放平台提供的chatglm模型api，实现AI聊天互动相关的功能。

国外的大模型有：GPT-3GPT-4PaLMGalacticaLLaMA国内的大模型有：ChatGLM文心一言通义千问讯飞星火尽管大型语言模型（例如拥

Chatglm2-6B-lora&ptuning微调实践21.参考教程2.实践环境3.微调实战3.1环境安装3.2单gpu微调3.2.1lora微调**注意事项**1.lora微调代码2.lora微调代码所在位置

chatglm3部署使用1.部署2.使用3.接入微信4.vue前端1.部署1.首先去github下载chatglm3代码。Huggingface下载模型一直失败，所以用阿里的魔塔社区下载。

美格智能发挥软硬件一体协同开发能力，融合阿加犀卓越的AI优化部署技术，在搭载高通QCS8550平台的高算力AI模组上，成功运行了一系列大语言模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2

所以对ChatGLM3-6B的使用做了深入了解，特别只有CPU没有GPU的本地运行，ChatGLM3-6B最好的选择之一。

问题描述在运行ChatGLM2-6B大语言模型和使用P-Tuning训练的时候，出现如下错误cannotimportname'Doc'from'typing_extensions'问题原因因为安装的typing_extensions

机器配置阿里云GPU规格ecs.gn6i-c4g1.xlargeNVIDIAT4显卡*1GPU显存16G*1准备训练数据进入/ChatGLM-6B/ptuningmkdirAdvertiseGencdAdvertiseGen

准备机器资源显卡:包含NVIDIA显卡的机器，如果是阿里云服务器可以选择ecs.gn6i-c4g1.xlarge规格硬盘:大约50G左右操作系统:CentOS7.964位CPU内存:4C16G更新操作系统sudoyumupdate-ysudoyumupgrade-y下载并安装anaconda在命令行中，输入以下命令，点击Enter，开始下载anaconda安装包。wgethttps://repo.

关于ChatGLM3ChatGLM3是智谱AI与清华大学KEG实验室联合发布的新一代对话预训练模型。

▼最近直播超级多，预约保你有收获今晚直播：《ChatGLM3架构设计和案例实战》—1—今晚20点ChatGLM3案例实战直播ChatGLM3提供了更强大的LLM基座，在语义、数据、推理、代码、知识等不同数据集上表现出色

第一部分100B参数的大模型开始出现智能涌现在code数据集上训练，增强大模型的逻辑推理能力第二部分GLM和LLaMA中采用RoPE旋转式编码BF16牺牲了数据精度（表示由10位降到7位），但扩大了数据的表示范围（有研究表明数据表示范围比精度更重要）LLaMA采用BF16训练的大部分内存占用为激活函数有个参数服务器，模型参数在参数服务器上进行更新，然后所有节点pull模型参数alpha取0.1，手

0python/aaa/LLaMA-Factory/src/train_bash.py\--stagesft\--model_name_or_path/aaa/LLaMA-Factory/models/chatglm2

/aaabbb/LLaMA-Factory/src/train_bash.py\--stagesft\--model_name_or_path/aaabbb/LLaMA-Factory/models/chatglm2

参考：https://github.com/huggingface/pefthttps://github.com/hiyouga/LLaMA-Factory1、LLaMA-Factory可视化界面微调chatglm2

LLaMA-Factoryhiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,Qwen,ChatGLM

Lora微调的概念：lora是Low-RankAdaptation的缩写，是微软的Hu等人于2021年挂在ArXiv上（后又发表在ICLR2022上）的一篇论文《LoRA:Low-RankAdaptationofLargeLanguageModels》中提出的，通俗来讲，是一种降低模型可训练参数，又尽量不损失模型表现的大模型微调方法。为什么时隔两年，lora又突然火了一把呢？这一切都要感谢Chat

SFT训练模型的命令CUDA_VISIBLE_DEVICES=0pythonsrc/train_bash.py\--stagesft\--model_name_or_pathmodels/chatglm3

安装gitclonehttps://github.com/hiyouga/LLaMA-Factory.gitcondacreate-nllama_factorypython=3.10condaactivatellama_factorycdLLaMA-Factorypipinstall-rrequirements.txt之后运行单卡训练，CUDA_VISIBLE_DEVICES=0pythonsrc

本文结论经过自行测试，仅供参考简介langchain使用的是faiss，bge-large-zh，基础模型为chatglm3-6b，测试数据接近60万。

大家好，今天对大模型微调项目代码进行了重构，支持ChatGLM和ChatGLM2模型微调的切换，增加了代码的可读性，并且支持Freeze方法、Lora方法、P-Tuning方法、「全量参数方法」微调。

的新手入门指南：官网首页立刻体验问题测试问题1：问题2：问题3：问题4：问题5：通用大模型对比分析对csv数据集的支持比较：TableAgent对csv格式支持情况测试：文心一言对csv格式支持情况测试：Chatglm2

huggingface接口创建模型fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm2

RoPE旋转位置编码浅析本文介绍了旋转位置编码RoPE在大模型中的广泛应用，包括Llama、Mistral7B、Baichuan、ChatGLM、Qwen、…等。

这里的源码主要来自于Langchain-ChatGLM中的向量库部分，做了一些代码上的修改和封装，以适用于基于问题和包含数据库表描述的txt文件（文件名为库表名，文件内容为库表中的字段及描述）对数据库表进行快速检索

repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.shshMiniconda3-latest-MacOSX-arm64.sh1.2创建虚拟环境并激活创建名为chatglm3

AMDRyzen53600X6-CoreProcessorMem：32GBGPU：RTX4060Ti16GChatGLM3代码库下载#下载代码库​gitclone https://github.com/THUDM/ChatGLM3

pdf/2310.11454.pdf相关博客【自然语言处理】【大模型】VeRA：可调参数比LoRA小10倍的低秩微调方法【自然语言处理】【大模型】MPT模型结构源码解析(单机版)【自然语言处理】【大模型】ChatGLM

介绍ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B引入了如下新特性：更强大的性能：基于

介绍ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。

参考：LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持FastChat接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe

1CentOS7安装Python101.1安装基础环境yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develgdbm-develdb4-devellibpcap-develxz-devellibffi-devel1.2升级OpenSSL不升级OpenSSL，pipin

【大模型】更强的ChatGLM3-6B来了，开源可商用简介ChatGLM3-6B环境配置环境搭建安装依赖代码及模型权重拉取拉取ChatGLM3-6B拉取ChatGLM3-6B模型权重及代码终端测试网页测试安装

大模型干货教程看这一个就够了~2023年全网最硬核最全面的大模型公开课|大模型微调|ChatGLM|LangChain_哔哩哔哩_bilibiliAI产品经理养成记_哔哩哔哩_bilibili

ChatGlm2-6B部署【GPU显存建议12G以上，以下为单卡GPU环境】环境需求【当前环境未使用虚拟环境，建议使用虚拟环境安装】#安装Python3.8及以上#torch2.0对应CUDA11.7/

文件下载在https://github.com/THUDM/ChatGLM2-6B上进行模型的下载。

【ChatGLM2-6B】小白入门及Docker下部署前提下载安装包网盘地址开始安装加载镜像启动镜像进入容器启动模型交互页面访问页面地址前提安装好了docker安装好了NVIDIA显卡16G下载安装包网盘地址这里因为网盘上传文件有大小限制

如ChatGLM，自己实现的流式输出如下：#chatglm-6bmodel/modeling_chatglm.py@torc

GLM作为ChatGLM的前期基础论文，值得精读。本文是对GLM论文的精读笔记，希望对大家有帮助。

当前，ChatGLM-6B在自然语言处理领域日益流行。其卓越的技术特点和强大的语言建模能力使其成为对话语言模型中的佼佼者。让我们深入了解ChatGLM-6B的技术特点，探索它在对话模型中的创新之处。

condaactivatetorch1.13pipinstallrouge_chinesenltkjiebadatasetscondaactivatechatglm2-6b步骤2.gitclonehttps://github.com/THUDM/ChatGLM2

github.com/lm-sys/FastChat/pull/2622本篇用vllm运行测试可以使用1、vllm运行python-mvllm.entrypoints.api_server--model/***/chatglm

【ChatGLM2-6B】小白入门及Docker下部署注意：Docker基于镜像中网盘上上传的有已经做好的镜像，想要便捷使用的可以直接从Docker基于镜像安装看Docker从0安装前提下载启动访问Docker

多头注意力(MHA)模型中与KV缓存大小相关的内存成本显着增长对于较大的模型，KV缓存大小成为瓶颈，键和值投影可以在多个头之间共享，而不会大幅降低性能，可以使用具有单个KV投影的原始多查询格式(MQA)，ChatGLM2

参考：【大模型-第一篇】在阿里云上部署ChatGLM3-CSDN博客ChatGLM是一个开源的、支持中英双语的对话语言模型，由智谱AI和清华大学KEG实验室联合发布，基于GeneralLanguageModel

参考：Langchain-Chatchat+阿里通义千问Qwen保姆级教程|次世代知识管理解决方案-知乎(zhihu.com)中文LLM生态观察模型就开源的部分而言，从一开始的MOSS[1]ChatGLM

以本项目中默认使用的LLM模型THUDM/ChatGLM2-6B与Embedding模型moka-ai/m3e-base为例：下载模型需要先安装GitLFS，然后运行参考：通义千问部署搭建_代码浪人的博客

看到的这个开源的大模型,很牛,~关键让我们自己也可以部署体验一把了,虽然不知道具体内部怎么构造的但是,也可以自己使用也挺好.可以部署在自己的机器上也可以部署在云服务器上.安装以后,是可以使用python代码进行提问,然后返回结果的,这样就可以实现我们自己的chat应用了,非常不错.但是毕竟是6B现在已经是130B了,但是那个模型是不开源的当然也可以使用我们自己的数据集,让这个算法进行自动学习和微调

一、安装NVIDIA找到任务栏的右下角，右键选择NVIDIA进行安装。这里正在进行安装，稍等片刻。等待安装完毕。安装好之后打开，选择驱动程序进行下载。下载好，可以选择快速安装即可。安装完之后，进行重新启动系统。二、下载CUDA访问CUDA官网进行下载，CUDAToolkit12.3Update1Downloads|NVIDIADeveloper下面的选项和操作系统可以根据自己的情况自己选择下载。下

本次比赛要求参赛选手以ChatGLM2-6B模型为中心制作一个财务问答系统，回答用户的金融相关的问题，不允许使用其他的大语言模型。