chatGLM 第9页

ChatGLM2 6B 本地部署

我们选用的是清华的ChatGLM2-6B的模型。发现在30708G显卡上，运行FP16的还是慢，完全不能接受，一句问好要30秒生成结果。最后还是选用INT4量化的算了。

EricPan2023·2023-10-28 08:10

ChatGLM2部署实战体验

然而，这些模型大都对中文的支持能力相当有限，国内清华大学针对这个问题，扩充中文token，采用自建的中文语料库进行训练，生成ChatGLM2模型，较上一代ChatGLM1性能有了显著提升，在答复内容的可靠性和推理速度

Spielberg_1·2023-10-28 08:08

ChatGLM2-6B! 我跑通啦！本地部署+微调（windows系统）

ChatGLM2-6B!我跑通啦！（windows系统）1.跑通了啥？2.咋跑通的？2.1ChatGLM2-6B本地部署2.2ChatGLM2-6B本地微调2.3小结3.打算做什么？1.跑通了啥？

cf_strange·2023-10-28 08:07

ChatGLM2-6B从本地加载模型报错-解决办法

报错OSError:/chatglm2-6bdoesnotappeartohaveafilenamedconfig.json.Checkout'https://huggingface.co/chatglm2

RuiyChen·2023-10-28 08:32

ChatGLM3 本地部署的解决方案

本文主要介绍了ChatGLM3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助

herosunly·2023-10-28 08:30

chatglm-6b，搭建自己的AI模型

目录环境必备软件及安装拉取模型架构使用pip安装依赖部署（GPU）从云端加载模型从本地加载模型部署（CPU）环境centos7.6CPU32GSSD>=40Gpython3.9pip23.1必备软件及安装 yuminstall -y libffi-develpython-developenssl-devel yuminstallpsutil yuminstall gcc python3-devel

小生浩浩·2023-10-28 06:49

【本地逐步部署教程】清华ChatGLM-6B本地部署，适合小白和具备一定基础的大模型尝试者

（一）安装Anaconda1、通过清华镜像源下载：https://mirrors.tuna.tsinghua.edu.cn/#，选择了Anaconda2版本2、setup位置在C:\Users\comac\Anaconda23、配置环境变量：①C:\Users\comac\Anaconda2\Scripts、②C:\Users\comac\Anaconda2cmd输入指令验证参考链接：https:

yurous·2023-10-28 06:18

部署清华ChatGLM2-6B模型

文章目录一、下载并安装python环境二、下载ChatGLM2-6B的模型及代码（可以gitclone命令下载，也可以下载zip包）三、搭建步骤安装所需依赖切换GPU版本的torch四、启动代码，查看效果五

青衫酒馆·2023-10-28 06:47

ChatGLM-6B的安装和使用最全面细节讲解

ChatGLM-6B是一个基于GeneralLanguageModel(GLM)架构的开源对话语言模型，支持中英双语。

驹意心猿·2023-10-28 06:44

ModaHub魔搭社区：ChatGLM-6B 的 Windows 部署教程

目录1、前置准备2、wsl安装指定的Linux发行版Debian3、迁移目录4、设置默认环境5、配置环境6、启动项目7、代理Windows版本：win10通过wsl部署特别注意对于已在使用的wsl用户，请注意自己数据安全，特别是做好备份对于已在使用的wsl用户，请注意自己数据安全，特别是做好

LCHub低代码社区·2023-10-28 06:44

以大语言模型ChatGLM2-6B为后台，打造个人语音交互机器人Demo

引言随着以ChatGLM2-6B为代表的开源大型语言模型的兴起，人工智能革命正席卷全球……ChatGLM2-6B这一代表性的开源大型模型，以其易于部署、适度的参数量和强大的中文处理能力，为个人用户提供了在个人显卡上部署大型模型的便捷途径

Isaac ZhangYi·2023-10-28 06:42

在Windows 10上部署ChatGLM2-6B：掌握信息时代的智能对话

在Windows10上部署ChatGLM2-6B：掌握信息时代的智能对话硬件环境ChatGLM2-6B的量化模型最低GPU配置说明准备工作ChatGLM2-6B安装部署ChatGLM2-6B运行模式解决问题总结随着当代科技的快速发展

Bennett_G·2023-10-28 06:09

在Win11上部署ChatGLM2-6B详细步骤--（上）准备工作

一：简单介绍ChatGLM-6B是清华大学知识工程和数据挖掘小组（KnowledgeEngineeringGroup(KEG)&DataMiningatTsinghuaUniversity）发布的一个开源的对话机器人

BBM的开源HUB·2023-10-28 06:39

在Win11上部署ChatGLM2-6B详细步骤--（下）开始部署

接上一章《在Win11上部署ChatGLM2-6B详细步骤--（上）准备工作》这一节我们开始进行ChatGLM2-6B的部署三：创建虚拟环境1、找开cmd执行condacreate-nChatGLM2-

BBM的开源HUB·2023-10-28 06:34

ChatGLM2-6b小白部署教程(windows系统，16G内存即可，对显卡无要求，CPU运行)

一.前言近期清华KEG和智谱AI公司一起发布了中英双语对话模型ChatGLM2-6B(小尺寸LLM)，开源在https://github.com/THUDM/ChatGLM2-6B，可单机部署推理和fine-tune

Life_Is_Good占用·2023-10-28 03:06

中文能力赶超GPT4模型ChatGLM2-6B最新发布，教你使用 CPU 本地安装部署运行实现

ChatGLM2-6B是一个清华开源的、支持中英双语的对话语言模型，基于GLM架构，具有62亿参数。

恒TBOSH·2023-10-28 03:35

【chatglm2】使用Python在CPU环境中运行 chatglm.cpp 可以实现本地使用CPU运行chatglm2模型，速度也特别的快可以本地部署，把现有项目进行AI的改造。

1，项目地址https://github.com/li-plus/chatglm.cpp.git这个项目和llama.cpp项目类似，使用C++去运行模型的。项目使用了ggml这个核心模块，去运行的。

fly-iot·2023-10-28 03:31

element-ui vue2 iframe 嵌入外链新解

效果如图实现原理在路由中通过props传值{path:'/iframe',component:Layout,meta:{title:'小助手',icon:'example'},children:[{path:'chatglm

临水逸·2023-10-27 22:37

智谱AI推出第三代基座大模型

2023年10月27日，智谱AI于2023中国计算机大会（CNCC）上，推出了全自研的第三代基座大模型ChatGLM3及相关系列产品。汇总如下。

CSDN云计算·2023-10-27 20:18

2M大小的PDF文档上传到LangChain-ChatGLM知识图谱中,大致需要的时间

对于将2M大小的PDF文档上传到LangChain-ChatGLM知识图谱中,大致需要的时间如下:PDF到文本的提取转换:若PDF内容主要为文本,此步骤约需要1-2分钟。

小草cys·2023-10-27 12:41

ChatGLM系列一：ChatGLM的介绍及代码实践

下面是官方对ChatGLM的介绍：ChatGLM-6B，结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。

永胜永胜·2023-10-26 21:57

ChatGLM系列二：ChatGLM2的介绍及代码实践

一、介绍2023年06月25日，清华大学开源了ChatGLM2-6B模型，是ChatGLM模型的升级版本。

永胜永胜·2023-10-26 20:51

大语言模型系列

-知乎GitHub-jeinlee1991/chinese-llm-benchmark:中文大模型能力评测榜单：覆盖百度文心一言、chatgpt、阿里通义千问、讯飞星火、belle/chatglm6b等开源大模型

贝猫说python·2023-10-26 16:08

【AI实战】最强开源 6B 中文大语言模型ChatGLM2-6B，从零开始搭建

【AI实战】最强开源6B中英文大语言模型ChatGLM2-6B，从零开始搭建ChatGLM2-6B简介ChatGLM2-6B评测结果ChatGLM2-6B搭建参考ChatGLM2-6B简介ChatGLM2

szZack·2023-10-26 10:24

《从零开始大模型开发与微调：基于PyTorch与ChatGLM》简介

本书使用PyTorch2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。

新知图书·2023-10-26 10:38

一款集成了主流大语言模型以及绘图模型的 APP，采用 Flutter 开发，代码完全开源！！

大语言模型支持Anthropic的Claudeinstant，Claude2.0大语言模型支持国产模型：通义千问，文心一言，讯飞星火，商汤日日新，腾讯混元，百川53B，360智脑支持开源大模型：Llama2，ChatGLM2

向彪-blockchain·2023-10-26 04:54

Compile ChatGLM in docker with Nvidia graphic card

Atfirstinstalldockerwithnvidiagraphiccard.1.createdockerwithnvidiagraphiccard$sudodockerrun-it--gpusall--namechatglm-1rocker/cuda/bin/bashIfdockerhascreated,startandexecdocker:$sudodockerstartchatglm-

武爱敏·2023-10-26 00:42

AI大模型自动生成PowerPoint（PPT）

1，使用现有开源大模型工具，生成markdown语言文件（我这里使用chatGLM2-6B）eg，请用Markdown语言生成一个大纲，主题是：给小白用户的第一课，如何快速的学好Pythonmarkdown

xxyAI·2023-10-25 19:39

大模型的实践应用4-ChatGLM-6b大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用4-ChatGLM大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读，本文介绍将ChatGLM-6B的模型结构，与设计原理。

微学AI·2023-10-25 15:50

langchain 加载各种格式文件读取方法

python.langchain.com/docs/modules/data_connection/document_loaders/https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui

loong_XL·2023-10-25 08:44

【大模型系列 01】ChatGLM-6B 昇腾迁移

一、ChatGLM-6B说明ChatGLM-6B是62亿参数的语言模型，同等参数下中文对话能力极好。

hiascend·2023-10-25 07:12

华为昇腾NPU卡大模型LLM ChatGLM2模型推理使用

参考：https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b1、安装环境：昇腾NPU卡对应英伟达

loong_XL·2023-10-25 07:37

使用screen实现服务器代码一直运行

1.安装screensudoaptinstallscreen2.创建一个screen（创建一个名为'chatglm'的新的链接，用来一直运行screen-Schatglm3.查看进程列表screen-ls

BEINTHEMEMENT·2023-10-23 06:39

ChatGLM-6B+LangChain与训练及模型微调教程

Ref:讲解视频【官方教程】ChatGLM+LangChain实践培训_哔哩哔哩_bilibili吴恩达教授讲的【LangChain+ChatGLM-6B】LLM应用开发实践LangChain_Intro_v02

人鱼线·2023-10-22 20:20

ChatGLM2-INT4 + Lora 结构适配和改造

ChatGLM2-INT4这个量化版本使用自定义的QuantizedLinear作为线性模块。如果我们要使用PEFT库添加Lora参数时，它就会不认识，因为它是为torch.nn.Li

绝不原创的飞龙·2023-10-22 00:54

【ChatGLM2-6B】在只有CPU的Linux服务器上进行部署

简介ChatGLM2-6B是清华大学开源的一款支持中英双语的对话语言模型。经过了1.4T中英标识符的预训练与人类偏好对齐训练，具有62亿参数的ChatGLM2-6B已经能生成相当符合人类偏好的回答。

太空眼睛·2023-10-21 18:09

【ChatGLM2-6B】nginx转发配置

背景好不容易把ChatGLM2-6B大语言模型部署好了，使用streamlit方式启动起来了，终于可以愉快的玩耍了，然后想着申请一个域名，使用HTTPS协议访问，但实践过程中，发现这个大语言模型的nginx

太空眼睛·2023-10-21 18:05

大模型的实践应用1-利用ChatGLM2大模型研发智能自助用药问答系统，远程监控患者的用药情况

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用1-利用ChatGLM2大模型研发智能自助用药问答系统，远程监控患者的用药情况。随着人工智能技术的发展，我们的生活在许多方面都得到了改善。

微学AI·2023-10-21 04:59

一键部署开源AI(人工智能对话模型)(支持显卡或CPU加内存运行)--ChatGLM2-6B

一、基本介绍：ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B引入了如下新特性：更强大的性能

深藏bIue·2023-10-21 02:34

ChatGLM推理报错RuntimeError: probability tensor contains either `inf`, `nan` or element ＜ 0

训练完ChatGLM后想执行推理时，发现模型报错RuntimeError:probabilitytensorcontainseither`inf`,`nan`orelement<0解决方法：删除ptuning

抓个马尾女孩·2023-10-20 23:13

pip3 install之后报错‘gbk‘ codec can‘t decode byte 0xa6 in position 480: illegal multibyte sequence

pip3install-rrequirements.txtERROR:Exception:Traceback(mostrecentcalllast):File"d:\ProgramData\Anaconda3\envs\langchain-chatglm

谢大旭·2023-10-20 13:41

chatglm2微调—ptuning

Freeze:即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或不进行TP或PP操作，就可以对大模型进行训练。P-Tuning:在输入的embedding层前，将prompt转换为可学习的额外一层embedding层.P-Tuning，仅对大模型的Embedding加入新的参数。P-Tuning-V2，将大模型的Embedding和每一层前都加上新的参数。当prefix_p

babyzbb636·2023-10-19 12:18

chatglm2微调—Lora

1.使用ChatGLM-Efficient-Tuning框架官网下载https://github.com/hiyouga/ChatGLM-Efficient-Tuning或者国内镜像https://gitee.com

babyzbb636·2023-10-19 12:48

chatglm配置

643824521以及这个https://blog.csdn.net/weixin_40547993/article/details/1317752751.需要pytorch2.0，所以CUDA推荐11.8ChatGLM2

babyzbb636·2023-10-19 12:16

【开源】给ChatGLM写个，Java对接的SDK

清华大学计算机系的超大规模训练模型ChatGLM-130B使用效果非常牛，所以我也想把这样的Ai能力接入到自己的应用中或者做一些IntelliJIDEAPlugin使用。

小傅哥·2023-10-16 11:24

cpu部署chatglm 报错No compiled kernel found.

Nocompiledkernelfound.Compilingkernels:C:\Users\admin.cache\huggingface\modules\transformers_modules\local\quantization_kernels_parallel.cCompilinggcc-O3-fPIC-pthread-fopenmp-std=c99C:\Users\admin.cac

像夏天一样热·2023-10-16 05:12

基于MindSpore的llama微调在OpenI平台上运行

基于MindSpore的llama微调在OpenI平台上运行克隆预训练模型克隆chatglm-6b代码仓，下载分布式的模型文件gitlfsinstallgitclonehttps://huggingface.co

JeffDingAI·2023-10-15 20:27

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案自从chatGPT掀起的AI大模型热潮以来，国内大模型研究和开源活动，进展也如火如荼。

Alex_StarSky·2023-10-15 13:21

Unity+百度文心大模型驱动AI小姐姐数字人

虽然一直在使用包括文心一言、chatglm这些大语言模型的，但这次好像用着合法合规，有了保障的感觉。关于百度的文心一言，也是继chatgpt发布以来国内首发跟进，发布的大语言模型了。

阴沉的怪咖·2023-10-14 10:25

微调chatGLM2-6B大模型

今天给大家带来chatGLM2-6B的微调，众所周知，微调现在已经是大模型必不可少的部分，本文微调部分主要包括LoRA：仅微调低秩适应器。P-TuningV2：仅微调前缀编码器。

羊驼锋·2023-10-14 04:10

推荐频道

chatGLM