ChatGLM 第11页

从0到1基于ChatGLM-6B使用LoRA进行参数高效微调

从0到1基于ChatGLM-6B使用LoRA进行参数高效微调吃果冻不吐果冻皮关注他cliniNLPer等189人赞同了该文章目录收起ChatGLM-6B简介具备的一些能力局限性LoRA技术原理环境搭建数据集准备数据预处理参数高效微调单卡模式模型训练数据并行模式模型训练模型推理结语之前尝试了基于

luoganttcc·2023-10-09 03:58

LLMs 入门实战系列

【LLMs入门实战系列】第一层LLMstoNaturalLanguageProcessing(NLP)第一重ChatGLM-6B系列ChatGLM-6BChatGLM2-6B第十一重Llama2第十重BaichuanBaichuan

luoganttcc·2023-10-08 19:25

ChatGPT中文LLM相关的开源大模型资源汇总

文章目录前言1.文本LLM模型1.1ChatGLM-6B1.2ChatGLM2-6B1.3Moss1.4Chinese-LLaMA-Alpaca1.5OpenChineseLLaMA1.6BELLE1.7Panda1.8Robin1.9Fengshenbang-LM1.10Luotuo-Chinese-LLM1.11Linly1.12Firefly1.13ChatYuan1.14ChatRWKV1

goomind·2023-10-08 09:46

汇总开源大模型的本地API启动方式

文章目录CodeGeex2ChatGLM2_6BBaichuan2_13Bsqlcoder开启后测试CodeGeex2fromfastapiimportFastAPI,RequestfromtransformersimportAutoTokenizer

羊城迷鹿·2023-10-08 09:39

本地部署 langchain-ChatGLM

简介什么是langchain-ChatGLM一种利用ChatGLM-6B+langchain实现的基于本地知识的ChatGLM应用。

kuokay·2023-10-07 22:35

Langchain-Chatchat项目：1.1-ChatGLM2项目整体介绍

ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本，引入新的特性包括更长的上下文(基于FlashAttention技术，将基座模型的上下文长度由ChatGLM-6B的2K扩展到了

NLP工程化·2023-10-07 18:42

ChatGLM2-6B的通透解析：从FlashAttention、Multi-Query Attention到GLM2的微调、源码解读

目录前言第一部分相比第一代的改进点：FlashAttention与Multi-QueryAttention第二部分FlashAttention：减少内存访问提升计算速度——更长上下文的关键2.1FlashAttention相关的背景知识2.1.1Transformer计算复杂度：编辑——Self-Attention层与MLP层2.1.1.1Self-Attention层的计算复杂度：2.1.1.2

v_JULY_v·2023-10-07 03:04

ChatGLM2发布，位居C-Eval榜首!

部署推理环境配置模型下载git-lfs安装代码调用基于gradio的网页版Demo显存占用情况数理逻辑推理性能显存占用的减少量化对模型性能的影响基于P-Tuningv2的微调（官方）环境配置微调数据准备微调ChatGLM

dzysunshine·2023-10-07 03:34

清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程

感谢清华大学开源的ChatGLM2-6B软件，让我们国人有属于自己的AI聊天机器人，期待新版本的推出。

best_mimo·2023-10-05 17:28

大模型部署手记（1）ChatGLM2+Windows GPU

1.简介：组织机构：智谱/清华代码仓：https://github.com/THUDM/ChatGLM2-6B模型：THUDM/chatglm2-6b下载：https://huggingface.co/

张小白TWO·2023-10-05 13:03

看注解逐行学习ChatGLM2-6B大模型，项目中的modeling_chatglm.py文件

模型代码地址"""PyTorchChatGLMmodel.ChatGLMModel模型结构(假设输入X大小为3x5)转载自：https://blog.csdn.net/hjyai94/article/details/132504200(embedding)Embedding(转置后5x3x4096)word_embeddings:Embedding(65024,4096)(rotary_pos_e

小怪兽会微笑·2023-10-05 10:05

大模型Llama2部署，基于text-generation-webui、Llama2-Chinese

一键部署llama2+chatglm2，集成所有环境和微调功能，本地化界面操作！

cheng_tc·2023-10-05 05:46

极简教学 | ChatGLM2-6B在只有cpu的linux服务器部署

目录一、安装wget二、安装git三、安装pip四、下载ChatGLM2-6B源码五、安装Anaconda六、安装pytorch七、下载模型库八、最后的准备工作九、运行程序一、安装wget1.删除自带的

倾斜的橡胶·2023-10-04 19:16

分享9个已开源的GPT4平替，用过感觉还不错

分享9个已开源的GPT4平替，用过感觉还不错鱼子酱关注她22人赞同了该文章目录收起1.ColossalAI2.ChatGLM3.LLaMa4.LLaMa-ChatLLaMA5.BELLE6.PaLM-rlhf-pytorch7

luoganttcc·2023-10-04 16:08

【LLM】主流大模型体验（文心一言科大讯飞字节豆包百川阿里通义千问商汤商量）

note智谱AI体验百度文心一言体验科大讯飞大模型体验字节豆包百川智能大模型阿里通义千问商汤商量简要分析：仅从测试“老婆饼为啥没有老婆”这个问题的结果来看，chatglm分点作答有条理（但第三点略有逻辑问题

山顶夕景·2023-10-03 15:02

ImportError: cannot import name ‘GenerationConfig‘ from ‘transformers.generation.utils‘

部署Chatglm2的时候报错：ImportError:cannotimportname'GenerationConfig'from'transformers.generation.utils'出错原因是本地的

mldxs·2023-10-03 15:25

GLM-130B-一个开放的双语通用预训练模型-论文精读

本文为作为类ChatGPT的模型ChatGLM的前期基础论文2《ANOPENBILINGUALPRE-TRAINEDMODEL》的精读笔记，基础论文1的精读笔记请见《GLM论文精读-自回归填空的通用语言模型

旺仔的算法coding笔记·2023-10-02 16:02

[DeepSpeed]RuntimeError: output tensor must have the same type as input tensor

最近在跑chatglm2的sft的时候出现了下面的错误，我的运行方式是bf16,deepspeedzero3，因为担心fp16会有很多的nan.File"/home/suser/.conda/envs/

农民小飞侠·2023-10-02 10:39

亲测可用国产GPT人工智能

清华大学ChatGLM官网：智谱清言中国版对话语言模型，与GLM大模型进行对话。https://chatglm.cn/开源的、支持中英双语的1300亿参数的对话语言模型，清华大学团队。

燃烧的枫·2023-10-01 20:04

深度学习实战54-基于ChatGLM2大模型构建智能自助用药问答系统与药物智能管理实战的应用

大家好，我是微学AI，今天给大家介绍一下深度学习实战54-基于ChatGLM2大模型构建智能自助用药问答系统与药物智能管理实战的应用。随着人工智能技术的发展，我们的生活在许多方面都得到了改善。

微学AI·2023-09-28 15:38

使用Triton部署chatglm2-6b模型 | 京东云技术团队

支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNXRuntime和OpenVino。

·2023-09-27 12:31

趋动云GPU云平台部署ChatGLM-6B

目录ChatGLM-6B是什么？模型部署Step1.创建项目并上传代码Step2.环境准备Step3.加载模型ChatGLM-6B是什么？ChatGLM-6B是一个基于GLM的生成式对话模型。

LYLYC_3·2023-09-27 01:41

【大模型系列 04】Chat-GLM-6B for PyTorch 昇腾迁移

源码链接https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/ChatGLM-6BChat-GLM

hiascend·2023-09-26 22:03

ChatGLM 大模型外挂(向量)知识库

前言如果我们想往大模型里边注入知识，最先能想到的就是对大模型进行微调。笔者曾实验过，只用几十万量级的数据对大模型进行微调并不能很好的将额外知识注入大模型，笔者在算力这方面囊中羞涩，只有4块卡，这几十万量级的数据训练6B的模型都要训练好几天。。。如果不微调的话，其实还是可以利用外挂数据库的方式让大模型利用额外的知识的，比如向量数据库或者是图数据库，本文主要讲解大模型如何外挂向量数据库，外挂图数据库如

张志翔的博客·2023-09-26 20:36

LLaMA Efficient Tuning 主流大模型的高效工具【预训练+指令监督微调】

LLaMAEfficientTuning的简介2023年6月发布的LLaMAEfficientTuning，它是一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/

张志翔的博客·2023-09-26 19:59

Baichuan2大模型本地部署

作为今年九月份开源的一个中午大语言模型，Baichuan2已经在各个维度上取得了亮眼的结果，效果已经超过了当前火热的ChatGLM2-6B，可以通过自然语言交互的方式为你提供以下服务：提供知识：我可以回答各领域的问题

Dr.sky_·2023-09-26 18:03

ChatGLM2-6B微调实践

可以用来微调ChatGLM2-6B的开源项目https://github.com/THUDM/ChatGLM2-6Bhttps://github.com/hiyouga/ChatGLM-Efficient-Tuninghttps

weixin_43870390·2023-09-26 12:49

国内大语言模型的相对比较：ChatGLM2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5

一、前言国产大模型有很多，比如文心一言、通义千问、星火、MOSS和ChatGLM等等，但现在明确可以部署在本地并且开放api的只有MOOS和ChatGLM。

学术菜鸟小晨·2023-09-26 12:16

使用CPU本地部署一个大模型

前言不少人都想要部署一个自己的本地大模型，但是受限于昂贵的硬件资源只能作罢，即便是量化后的模型也通常要至少5G+（ChatGLM2-6BINT4）的显存。

天使手儿·2023-09-25 04:52

FastChat 大模型部署推理；Baichuan2-13B-Chat测试、chatglm2-6b测试

FastChathttps://blog.csdn.net/qq128252/article/details/132759107##安装pip3install"fschat[model_worker,webui]"1、chatglm2

loong_XL·2023-09-24 09:11

ChatGLM Embedding+LangChain构建行业知识库

在上两篇文章中，介绍了如何利用白嫖阿里云服务器，DIY部署AI大模型ChatGLM2-6b；以及大模型的进阶，如何基于P-TuningV2微调ChatGLM2-6b打造一个个性化的定制A

张志翔的博客·2023-09-23 16:34

ChatGLM2-6B 部署与微调

文章目录一、ChatGLM-6B二、ChatGLM2-6B三、本地部署ChatGLM2-6B3.1命令行模式3.2网页版部署3.3本地加载模型权重3.4模型量化3.5CPU部署3.6多卡部署四、P-tuningv2

神洛华·2023-09-23 12:35

ChatGLM LLM大模型训练和预测如何计算算力需求

架构+数据+算力8*A100微调大模型lora工具微调内容审核:输入的审核生成的审核;GPU并行处理能力算力计算一个LLaMA-6B的数据类型为Int8模型参数6B1bytes=6GB梯度6B1bytes=6GB优化器参数Adam2倍模型参数:6GB*2=12GB训练共24GB的显存推理算力模型参数6B*1bytes=6GB推理共6GB的显存Transformer多头注意力Transformer可

张志翔的博客·2023-09-23 03:15

本地CPU部署运行ChatGLM2-6B模型

1、前期准备：需要下载模型文件2、部署过程及碰到的问题（1）编译安装python3.8.13（Asianuxrelease7.6.18gcc4.8.5）按运行的要求需要安装torch的>=2.0,因此安装了torch的2.0.1，该版本的torch依赖的glibc的版本至少是2.28,而当前操作系统的版本号是2.17。通过stringslibtorch_cpu.so|grepGLIBC_可以看到该

zcc_0015·2023-09-23 00:34

ChatGLM P-Tuningv2微调定制AI大模型

前言什么是模型微调想象一下，你正在学习如何弹奏一首钢琴曲目。你已经学会了一些基本的钢琴技巧，但你想要更进一步，尝试演奏一首特定的曲目。这时，你会选择一首你感兴趣的曲目，并开始深度练习。Fine-tuning（微调）在机器学习中也是类似的概念。当我们使用预先训练好的模型（预训练Pre-training）来解决一个特定的任务时，有时我们需要对这个模型进行微调。这意味着我们会在已经训练好的模型的基础上进

张志翔的博客·2023-09-22 13:47

ChatGLM LoRA微调定制AI大模型

一、前言对于ChatGLM2-6B模型基于PEFT的特定任务微调实验。1.1硬件需求注：r为LoRA维数大小，p为前缀词表大小，l为微调层数，ex/s为每秒训练的样本数。

张志翔的博客·2023-09-22 04:06

ChatGLM微调基于P-Tuning/LoRA/Full parameter（中）

1.ChatGLM模型介绍ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。

张志翔的博客·2023-09-21 22:46

第七篇-Tesla P40+ChatGLM2+P-Tuning

使用少量数据测试下微调流程环境系统：CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26模型文件https://huggingface.co/THUDM/chatglm2

木卫二号Coding·2023-09-21 15:51

【ChatGLM-6b的微调与推理 - CSDN App

【ChatGLM-6b的微调与推理-CSDNApp】http://t.csdn.cn/vGLde

zero2100·2023-09-21 14:40

ChatGLM 实践指南

如今ChatGLM2-6b、LLama2等越来越多强大的开源模型的出现，成本和安全性越来越可控，私有知识库也就逐渐变得可落地。再加上看到阿里云

张志翔的博客·2023-09-21 13:48

太强了开源的AI工具APP，AIdea -支持 AI聊天、协作、图片生成

一款集成了主流大语言模型以及绘图模型的APP，采用Flutter开发，代码完全开源，支持以下功能：支持GPT-3.5/4问答聊天支持国产模型：通义千问，文心一言、讯飞星火、商汤日日新支持开源模型：Llama2，ChatGLM2

AI 研习所·2023-09-21 12:33

ChatGLM多卡微调踩坑记录

题主近期尝试使用LoRA在自有数据上微调ChatGLM，尽管GitHub上已有很多LoRA相关代码，但实现过程中题主还是遇到了很多问题，现将遇到的问题整理出来供大家参考，实现的相关代码也会整理到GitHub

u013250861·2023-09-21 04:25

LLM-2-ChatGLM2

1训练1.1训练参数配置理解训练的输入长度=source的长度+target的长度–pre_seq_len：pre_seq_len的取值范围一般是1到512，它表示自然语言指令的长度，即输入序列中的前pre_seq_len个token，具体的值需要根据自然语言指令的长度和复杂度来确定。一般来说，指令越长越复杂，pre_seq_len就需要越大，以便模型能够充分理解指令的含义。但是，pre_seq_

愚昧之山绝望之谷开悟之坡·2023-09-21 04:53

ChatGLM-6B 做 LoRA fine tuning训练模型在闻达中使用

ChatGLM-6B做LoRAfinetuning训练和预测方法闻达搭建paddingpadding_qq_26689303的博客-CSDN博客第一个链接文章做出来的模型怎么整合到第二个链接搭建的闻达里呢

qq_26689303·2023-09-21 04:23

ChatGLM GPU多卡并行训练

1.为什么要使用多GPU并行训练简单来说，有两种原因：第一种是模型在一块GPU上放不下，两块或多块GPU上就能运行完整的模型（如早期的AlexNet）。第二种是多块GPU并行计算可以达到加速训练的效果。想要成为“炼丹大师“，多GPU并行训练是不可或缺的技能。2.常见的多GPU训练方法2.1模型并行方式如果模型特别大，GPU显存不够，无法将一个显存放在GPU上，需要把网络的不同模块放在不同GPU上，

张志翔的博客·2023-09-21 04:51

中文网页自动导航挑战赛——lora微调ChatGLM经验分享

继续前一篇文章，ChatGLM-6B-int4模型精度稍低，效果不理想，需要微调更大的模型。为此，租了一台32GB的TESLAV100，来完成这次比赛。

Savarus·2023-09-21 04:20

ChatGLM 大模型炼丹手册-理论篇

序言一）大还丹的崛起在修真界，人们一直渴望拥有一种神奇的「万能型丹药」，可包治百病。但遗憾的是，在很长的一段时间里，炼丹师们只能对症炼药。每一枚丹药，都是特效药，专治一种病。这样就导致，每遇到一个新的问题，都需要针对性的炼制，炼丹师们苦不堪言，修真者们吐槽一片。在那个时代，丹药尺寸普遍比较小，姑且称之为「小还丹」。经过不断的探索和尝试，炼丹师们发现，随着灵材数量和丹药尺寸的增大，丹药的疗效会更好、

张志翔的博客·2023-09-21 02:50

ChatGLM2-6B Lora 微调训练医疗问答任务

一、ChatGLM2-6BLora微调LoRA微调技术的思想很简单，在原始PLM(Pre-trainedLanguageModel)增加一个旁路，一般是在transformer层，做一个降维再升维的操作

小毕超·2023-09-20 15:20

ChatGLM2-6B模型上线wisemodel社区，国内最具影响力的开源LM模型之一

ChatGLM2-6B模型由智谱AI及清华KEG实验室共同研发，2023年6月25日发布，上一代ChatGLM-6B模型于2023年3月14日发布，基本是国内最具影响力的开源LLM模型之一。

·2023-09-20 12:53

ChatGLM 实现一个BERT

前言本文包含大量源码和讲解，通过段落和横线分割了各个模块，同时网站配备了侧边栏，帮助大家在各个小节中快速跳转，希望大家阅读完能对BERT有深刻的了解。同时建议通过pycharm、vscode等工具对bert源码进行单步调试，调试到对应的模块再对比看本章节的讲解。涉及到的jupyter可以在代码库：篇章3-编写一个Transformer模型：BERT，下载本篇章将基于HHuggingFace/Tra

张志翔的博客·2023-09-20 11:25

推荐频道

ChatGLM