chatglm

【工程记录】ChatGLM3-6B 部署的详细教程（Windows）

文章目录写在前面1.环境配置2.下载ChatGLM3-6b模型3.实现pycharm运行web_demo写在前面仅作个人学习记录用。
LZXCyrus·2024-02-02 20:30

windows安装ChatGLM3

1.下载ChatGLM3代码https://github.com/THUDM/ChatGLM32.下载ChatGLM3模型web端下载可以进入主页点击下载https://huggingface.co/THUDM
Yu_摆摆·2024-02-02 20:58

新手在消费级GPU上本地部署chatGLM-6B

ChatGLM-6B是一种基于Transformer架构的对话生成模型，由清华大学开发的一款强大的语言生成模型，它融合了最先进的深度学习技术与海量中文语料的训练成果。
韬小志·2024-02-02 20:34

(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.

理论上，ChatGLM-6B（FP16）模型部署运行时需要大约13G的显存空间即可。
韬小志·2024-02-02 20:34

LLM - ChatGLM-6B Lora 微调与推理

目录一.引言二.环境准备三.ChatGLM-6BLora微调1.样本准备ByJson2.样本生成ByTokenizer3.模型生成ByTrainer四.ChatGLM-6BLora文本生成1.文本生成ByChat2
BIT_666·2024-02-02 20:33

（新手亲测有效）bug解决：ValueError: Attempting to unscale FP16 gradients. 反复出现的问题。

在新手在消费级GPU上本地部署chatGLM-6B-CSDN博客完成chatGLM-6B（FP16）的部署后，尝试对模型进行loRA微调，期间遇到并解决了一些bug，分享给大家，希望大家少走弯路！
韬小志·2024-02-02 20:02

ChatGLM开源⼤模型

为什么要学习开源⼤模型更⼤的微调空间：相⽐在线⼤模型，开源⼤模型可以使⽤更多微调框架进⾏模型微调，微调空间更⼤，更有可能快速完成定制化⼤模型训练；更加灵活的AI应⽤开发：相⽐封闭的在线模型，开源模型可以更加灵活便捷的嵌⼊到AI应⽤中，同时也可以更加⽅便的搭配其他开源框架进⾏使⽤，从⽽实现更⾼效率的AI应⽤开发；更低的资费、更安全的数据保障：此外，不同于在线⼤模型需要根据API调⽤情况付费，开源⼤模
Andy_shenzl·2024-02-02 19:53

Chatglm3+langchain智能对话，本地文本库构建问答，图片文本库构建与问答搜索

Chatglm3+langchain主要功能：调用语言模型将不同数据源接入到语言模型的交互中允许语言模型与运行环境交互Langchain应用场景**1.文档问答：**常见的Langchain用例。
中科哥哥·2024-02-02 10:13

chatchat部署在ubuntu上的坑

gitee.com/zhaodezan/chatchat2.不必要的步骤下载模型需要先安装GitLFS，然后运行$gitlfsinstall$gitclonehttps://huggingface.co/THUDM/chatglm3
andeyeluguo·2024-02-02 02:29

基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统

LangChain-Chatchat二、搭建步骤2.1环境配置2.2模型下载2.3初始化知识库和配置文件2.4一键启动2.5启动界面示例技术交流群用通俗易懂方式讲解系列一、LangChain-Chatchat基于ChatGLM
深度学习算法与自然语言处理·2024-02-02 01:31

fastllm移植到Windows加快LLM推理

二、环境准备1.操作系统2.Clion3.VisualStudio4.Python5.CUDA三、配置环境四、构建1.打开CUDA选项2.配置Compute五、编译总结前言最近在搞一个关于Chatglm
洛克希德马丁·2024-02-01 21:11

ChatGLM3-6B模型介绍及微调

文章目录ChatGLM3-6B的强大特性更强大的基础模型更完整的功能支持更全面的开源序列ChatGLM3-6B的部署basic版部署集成版部署ChatGLM3-6B-base微调ChatGLM3-6B-chat
dzysunshine·2024-02-01 20:24

ChatGLM-6B：自定义数据集和模型微调！

Datawhale干货开源：ChatGLM，编辑：Coggle数据科学ChatGLM-6B介绍ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，基于GeneralLanguageModel
Datawhale·2024-02-01 20:52

ChatGLM-6B在法律数据集上微调

2）转为json格式（和ChatGLM-6B中ptuning提供的AdvertiseGe
Luzichang·2024-02-01 20:50

双N卡完美运行ChatGLM3

写在前面之前ChatGLM推出3了，奈何自身条件不允许，CPU运行半天出不来结果，索性放弃。
银空飞羽·2024-01-31 15:08

4.AI大语言模型

chatgpt网址langchainhttps://chat.langchain.com/glmhttps://www.chatglm.cn/main/detailopenai:他们高版本收费，国内只能通过其他渠道购买
行循自然-kimi·2024-01-31 09:20

【译】在 Mac 上加速 PyTorch 训练

为什么翻译这篇文章从清华智普开源的ChatGLM3-6B模型看到说苹果电脑本地（苹果芯片或者带了AMD独立显卡的）运行大模型有MPS在后面，不用关心显存，所以准备安装
markvivv·2024-01-31 07:10

LLM大模型：面试、微调

大模型八股答案（一）——基础知识-知乎分析transformer模型的参数量、计算量、中间激活、KVcache-知乎【NLP】GoogleBERT模型原理详解-知乎2、大模型微调学习【万字长文】LLaMA,ChatGLM
风路丞·2024-01-31 01:42

chatchat知识库对话接口修改成sse流式输出方案

在chatchat结合chatGLM搭建的私有化知识库中，使用原生的webUI画面是可以流式输出的，而直接调用api接口，不管stream为true还是false，都是阻塞式输出的，也就是一口气返回给接口
爱刘温柔的小猪·2024-01-30 03:00

python&anconda系列：ChatGLM:本地化搭建大模型实例

ChatGLM:本地化搭建大模型实例1.项目启发1.1硬件需求1.2项目地址1.3说明文档2.部署模型的基本流程(小白向)2.1下载需要启动模型的文件的几种方式2.1.1从github上下载所需要启动模型的文件模型文件已经更新到最新版
坦笑&&life·2024-01-29 15:51

python&anconda系列（亲测有效）：ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调

ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B模型基于P-Tuningv2的微调一.anconda1.anconda安装2.环境变量配置3.使用过程中的问题已经解决的问题环境方面
坦笑&&life·2024-01-29 15:20

python&anconda系列：【ChatGLM2-6B】运行问题、【ChatGLM2-6B】环境部署

【ChatGLM2-6B】环境部署完整部署过程：Anacond安装Python&aconda系列：Anacond、Miniconda的下载安装配置教程详解CUDA、cuDNN安装python&anconda
坦笑&&life·2024-01-29 15:15

【腾讯云 HAI域探秘】借助高性能应用服务HAI快速开发一款“看图识成语“益智游戏，领略成语之韵，感受汉字之美。

一键部署并使用StableDiffusion生成图片1、申请高性能应用服务HAI2、StableDiffusion模型搭建和文生图应用3、编写提示词，生成游戏所需的图片素材三、腾讯云HAI一键部署并使用ChatGLM2
国服第二切图仔·2024-01-29 04:59

在GPU云平台部署ChatGLM-6B

大模型技术发展如火如荼，国内外已经出现不少优秀开源项目，其中国内清华大学开源的ChatGLM-6B广受关注。师出名门，未来可期ChatGLM-6B是一个基于GLM的生成式对话模型。
我爱计算机视觉·2024-01-28 23:09

使用自有数据集微调ChatGLM2-6B

1ChatGLM2-6B介绍ChatGLM是清华技术成果转化的公司智谱AI研发的支持中英双语的对话机器人。
智慧医疗探索者·2024-01-28 23:08

文案生成贴心小助手

文案生成贴心小助手✨ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。
会唱歌的炼丹师·2024-01-28 17:59

大模型(LLM)应用：根据自己数据集的问答聊天；text2vec句向量生成处理数据集、RAG 检索增强案例

参考链接：基于本地知识的ChatGLM问答https://github.com/imClumsyPanda/langchain-ChatGLMhttps://www.cnblogs.com/fxjwind
loong_XL·2024-01-27 21:01

ChatGLM-6B代码微调实战训练 完整版

gitclonehttps://github.com/SCIR-HI/Med-ChatGLM.gitCloninginto'Med-ChatGLM'...remote:Enumeratingobjects
mqdlff_python·2024-01-27 16:10

Windows本地部署ChatGLM3-6B模型

往期已经进行过ChatGLM3的部署了，感兴趣的可以搜索往期的博客，我们今天主要使用github项目工程提供的demo进行玩耍，ok开始。
Silver__Wolf·2024-01-26 18:35

Pytorch分布式训练：DDP

上回测试ChatGLM3-6B推理都消耗了8G，单卡全参数训练可能够呛了，研究一下多卡分布式的，后续做chatGLM的finetune。
Silver__Wolf·2024-01-26 18:04

开源模型部署及使用

3.效果2.facefusion1.环境2.运行3.效果3.Aquila1.环境2.运行1.Langchain-ChatchatLangchain-Chatchat这里面可以调用许多模型，我本地下载了chatglm3
我是小z呀·2024-01-26 17:40

LLM-大模型训练-常见错误：RuntimeError: expected scalar type Half but found Float

RuntimeError:expectedscalartypeHalfbutfoundFloat原因一Peft版本不兼容，尝试使用不同版本的Peft原因二1.问题描述  使用GPUV100(32GB)对ChatGLM
u013250861·2024-01-26 11:52

解决ChatGML启动报错：RuntimeError: expected scalar type Half but found Float

1、编辑web_demo2.py文件2、在原始命令加上.half()原始命令：model=AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code
Levi_·2024-01-26 11:46

大模型微调报错：RuntimeError: expected scalar type Half but found Float

微调chatglm报错RuntimeError:expectedscalartypeHalfbutfoundFloat1.背景博主显卡：3090最初的设置：bfloat16开始训练后，线性层报错2.解决
N1cez·2024-01-26 11:14

【大模型实践】ChatGLM3-6B 微调实践，更新模型知识

如果你是NLP领域初学者，欢迎关注我的博客，我不仅会分享理论知识，更会通过实例和实用技巧帮助你迅速入门。我的目标是让每个初学者都能轻松理解复杂的NLP概念，并在实践中掌握这一领域的核心技能。通过我的博客，你将了解到：•NLP的基础概念，为你打下坚实的学科基础。•实际项目中的应用案例，让你更好地理解NLP技术在现实生活中的应用。•学习和成长的资源，助你在NLP领域迅速提升自己。不论你是刚刚踏入NLP
NLP前沿探寻·2024-01-25 05:04

GreptimeAI + Xinference 联合方案：高效部署并监控你的 LLM 应用

随着OpenAI的兴起，同时涌现的还有许多其他优质的开源大语言模型，比如Llama，ChatGLM，Qwen等等，这些优秀的开源模型也可以帮助团队快速地搭建出一个出色的LLM应用。
Greptime·2024-01-25 03:10

大语言模型常见的文本切分方式整理汇总

一般切分如果不借助任何包，很容易想到如下切分方案：text="我是一个名为ChatGLM3-6B的人工智能助手，是基于清华大学KEG实验室和智谱AI公司于2023年共同训练的语言模型开发的。
深度学习机器·2024-01-24 15:53

fastgpt搭配chatglm3本地使用

fastgpt搭配chatglm3本地使用安装并配置ChatGLM3安装并配置one-api安装fastgpt安装docker拉取fastgpt修改配置文件修改docker-compose.yml修改config.json
Silver__Wolf·2024-01-23 20:41

chatglm部署问题

问题：ModuleNotFoundError:Nomodulenamed‘transformers_modules.’解决方法：卸载重装pipuninstalltransformerspipinstalltransformers-ihttps://mirror.baidu.com/pypi/simple
Y3pro·2024-01-23 20:31

AI大模型【基础 01】智能AI开源模型与大模型接口整理（8个开源模型+7个大模型接口）

智能AI开源模型与大模型接口整理1.说明1.1开源模型1.2大模型接口2.开源模型整理2.1ChatGLM2.2Baichuan2.3Qwen2.4Yi2.5XVERSE2.6MOSS2.7ChatRWKV2.8GPT4All3
シ風箏·2024-01-23 16:00

GpuMall智算云教程：ChatGLM3-6B 对话预训练模型

#大模型##GpuMall智算云##算力##租赁#1.选择ChatGLM3-6B镜像创建实例提示训练ChatGLM3-6B模型，显卡显存建议选择等于大于16GB以上的显卡，因为ChatGLM3-6B模型载入后会占用大约
GpuMall·2024-01-23 11:41

从预训练模型到大模型及多模态智能体研究简述

从预训练模型到生成式大模型发展方向研究简述自然语言预训练模型（BERT；GPT；GLM）生成式大语言模型（InstructGPT；ChatGLM）多模态生成式模型智能体与具身智能异构多模态认知智能（区别其他模型核心
Ada's·2024-01-23 10:37

掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca、BOOLM、LLaMA、ChatGLM、DeepSpeedChat
机器学习社区·2024-01-23 01:02

FinGPT_Training_LoRA_with_ChatGLM2_6B_for_Beginners

colab.research.google.com/github/AI4Finance-Foundation/FinGPT/blob/master/FinGPT_Training_LoRA_with_ChatGLM2
小田_·2024-01-22 21:11

试用清华Chatglm智能体

清华AI平台，感觉在见过的国内AI平台中做的是比较优秀的，目前该平台提供的智能体功能感觉更智能或者说更傻瓜式一些。定义可以定义专属智能体，这些智能体是自己想要的网络上的汇集处理后的信息，或者是绘画或者是编写某个方面的代码等等，简单理解是上述这样。那现在软件安全威胁情报收集有很多公司在做，还有一些公司提供威胁情报服务，那借助AI平台是否可以实现该功能呢？要创建专属智能体，你需要做的就是提供智能体的描
manok·2024-01-22 11:28

LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/Manual Mode)、推理演示

LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/ManualMode)、推理演示(Chat
一个处女座的程序猿·2024-01-22 08:19

生成式语言大模型的工程实践

本文将重点探讨生成式语言大模型的一些工程思考，并结合paddlenlp、chatglm和llama这三个案例进行详细阐述。一、概述生成式语言大模型是指能够生成自然语言文本的深度学习模型。
百度_开发者中心·2024-01-22 02:30

本地搭建WaitChat智能AI聊天系统

通过对接国内外知名主流大语言模型接口及中转平台，如ChatGLM、讯飞星火、文心一言、GPT3.5、GPT4.0、API2D、知数云等，WaitChat不仅能够满足用户的日常交流需求，还能为用户提供更加丰
码农说事·2024-01-21 17:14

使用PEFT微调ChatGLM3-6B

系列文章目录该系列文章用于介绍使用peft库来进行大模型的微调第一章使用PEFT对ChatGLM3-6B进行LORA微调文章目录系列文章目录前言一、准备工作1.环境准备2.大模型准备：3.数据准备二、数据集准备和训练
saoqi_boy·2024-01-21 13:53

ChatGLM vs ChatGPT

绿色：Encoder-Decoder，尽头智谱ChatGLM。蓝色：Decoder-only，尽头OpenAIGPT4。
南宫凝忆·2024-01-21 06:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他