chatglm2-6B

大模型部署手记（1）ChatGLM2+Windows GPU

1.简介：组织机构：智谱/清华代码仓：https://github.com/THUDM/ChatGLM2-6B模型：THUDM/chatglm2-6b下载：https://huggingface.co/
张小白TWO·2023-10-05 13:03

看注解逐行学习ChatGLM2-6B大模型，项目中的modeling_chatglm.py文件

模型代码地址"""PyTorchChatGLMmodel.ChatGLMModel模型结构(假设输入X大小为3x5)转载自：https://blog.csdn.net/hjyai94/article/details/132504200(embedding)Embedding(转置后5x3x4096)word_embeddings:Embedding(65024,4096)(rotary_pos_e
小怪兽会微笑·2023-10-05 10:05

极简教学 | ChatGLM2-6B在只有cpu的linux服务器部署

目录一、安装wget二、安装git三、安装pip四、下载ChatGLM2-6B源码五、安装Anaconda六、安装pytorch七、下载模型库八、最后的准备工作九、运行程序一、安装wget1.删除自带的
倾斜的橡胶·2023-10-04 19:16

深度学习实战54-基于ChatGLM2大模型构建智能自助用药问答系统与药物智能管理实战的应用

本文将介绍如何利用大模型（例如ChatGLM2-6b,百川,通义千问）构建一个智能自助用药问答系统与智能管家。该系统旨在提供更有效、安全和便捷的个性化药物管理服务，以提高患者的生活质量和健康
微学AI·2023-09-28 15:38

使用Triton部署chatglm2-6b模型 | 京东云技术团队

一、技术介绍NVIDIATritonInferenceServer是一个针对CPU和GPU进行优化的云端和推理的解决方案。支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNXRuntime和OpenVino。NVIDIATritonServer是一个高性能的推断服务器，具有以下特点：1.高性
·2023-09-27 12:31

Baichuan2大模型本地部署

作为今年九月份开源的一个中午大语言模型，Baichuan2已经在各个维度上取得了亮眼的结果，效果已经超过了当前火热的ChatGLM2-6B，可以通过自然语言交互的方式为你提供以下服务：提供知识：我可以回答各领域的问题
Dr.sky_·2023-09-26 18:03

ChatGLM2-6B微调实践

可以用来微调ChatGLM2-6B的开源项目https://github.com/THUDM/ChatGLM2-6Bhttps://github.com/hiyouga/ChatGLM-Efficient-Tuninghttps
weixin_43870390·2023-09-26 12:49

国内大语言模型的相对比较：ChatGLM2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5

一、前言国产大模型有很多，比如文心一言、通义千问、星火、MOSS和ChatGLM等等，但现在明确可以部署在本地并且开放api的只有MOOS和ChatGLM。MOOS由于需要的GPU显存过大（不量化的情况下需要80GB，多轮对话还是会爆显存），但ChatGLM可以在笔记本电脑部署（int4版本只需要6GB显存即可）。所以本文采用ChatGLM与ChatGPT做对比，看看国产模型的优点和缺点。会在选取
学术菜鸟小晨·2023-09-26 12:16

FastChat 大模型部署推理；Baichuan2-13B-Chat测试、chatglm2-6b测试

FastChathttps://blog.csdn.net/qq128252/article/details/132759107##安装pip3install"fschat[model_worker,webui]"1、chatglm2
loong_XL·2023-09-24 09:11

ChatGLM Embedding+LangChain构建行业知识库

在上两篇文章中，介绍了如何利用白嫖阿里云服务器，DIY部署AI大模型ChatGLM2-6b；以及大模型的进阶，如何基于P-TuningV2微调ChatGLM2-6b打造一个个性化的定制A
张志翔的博客·2023-09-23 16:34

ChatGLM2-6B 部署与微调

文章目录一、ChatGLM-6B二、ChatGLM2-6B三、本地部署ChatGLM2-6B3.1命令行模式3.2网页版部署3.3本地加载模型权重3.4模型量化3.5CPU部署3.6多卡部署四、P-tuningv2
神洛华·2023-09-23 12:35

本地CPU部署运行ChatGLM2-6B模型

1、前期准备：需要下载模型文件2、部署过程及碰到的问题（1）编译安装python3.8.13（Asianuxrelease7.6.18gcc4.8.5）按运行的要求需要安装torch的>=2.0,因此安装了torch的2.0.1，该版本的torch依赖的glibc的版本至少是2.28,而当前操作系统的版本号是2.17。通过stringslibtorch_cpu.so|grepGLIBC_可以看到该
zcc_0015·2023-09-23 00:34

ChatGLM LoRA微调定制AI大模型

一、前言对于ChatGLM2-6B模型基于PEFT的特定任务微调实验。1.1硬件需求注：r为LoRA维数大小，p为前缀词表大小，l为微调层数，ex/s为每秒训练的样本数。
张志翔的博客·2023-09-22 04:06

第七篇-Tesla P40+ChatGLM2+P-Tuning

使用少量数据测试下微调流程环境系统：CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26模型文件https://huggingface.co/THUDM/chatglm2
木卫二号Coding·2023-09-21 15:51

ChatGLM 实践指南

如今ChatGLM2-6b、LLama2等越来越多强大的开源模型的出现，成本和安全性越来越可控，私有知识库也就逐渐变得可落地。再加上看到阿里云
张志翔的博客·2023-09-21 13:48

ChatGLM2-6B Lora 微调训练医疗问答任务

一、ChatGLM2-6BLora微调LoRA微调技术的思想很简单，在原始PLM(Pre-trainedLanguageModel)增加一个旁路，一般是在transformer层，做一个降维再升维的操作，模型的输入输出维度不变，来模拟intrinsicrank，如下图的A和B。训练时冻结PLM的参数，只训练A和B，，输出时将旁路输出与PLM的参数叠加，进而影响原始模型的效果。该方式，可以大大降低训
小毕超·2023-09-20 15:20

ChatGLM2-6B模型上线wisemodel社区，国内最具影响力的开源LM模型之一

ChatGLM2-6B模型由智谱AI及清华KEG实验室共同研发，2023年6月25日发布，上一代ChatGLM-6B模型于2023年3月14日发布，基本是国内最具影响力的开源LLM模型之一。
·2023-09-20 12:53

清华chatGLM2-6B windows本地安装教程

文章目录电脑环境配置显卡驱动安装教程cuda+cudnn安装教程pytorch安装教程chatGLM2-6B配置教程电脑环境配置显卡驱动：12.2cuda：11.8cudnn：v8.9.5pytorch
Cachel wood·2023-09-20 09:19

Windows安装GPU版本的pytorch详细教程

文章目录chatGLM2-6B安装教程正式安装chatGLM2-6BChatGLM2-6B版本要装pytorch2.0，而且要2.0.1，因此CUDA不能用12.0，也不能用10.0，只能用11.x版本
Cachel wood·2023-09-20 09:41

macbook安装chatglm2-6b

1、前言  chatglm安装环境还是比较简单的，比起Stablediffusion安装轻松不少。  安装分两部分，一是github的源码，二是HuggingFace上的模型代码；安装过程跟着官方的readme文档就能顺利安装。以下安装内容，绝大部分是官方readme内容note1:执行默认你在conda环境下运行，我就不累赘了note2:默认认为你会把里面模型路径改为你本地的路径2、环境系统：m
淡淡的id·2023-09-13 19:24

Chatglm2-6b模型相关问题

Chatglm2-6b模型相关问题1.Chatglm2-6b模型p-tuning后推理答非所问2.ChatGLM2-6bptuning3.ChatGLM2-6b部署1.Chatglm2-6b模型p-tuning
GeekPlusA·2023-09-13 18:47

开源大模型ChatGLM2-6B 2. 跟着LangChain参考文档搭建LLM+知识库问答系统

：*端口：17520SSH账户：root密码：Jaere7pa内网：3389，外网：17518VNC地址：*端口：17519VNC用户名：root密码：Jaere7pa硬件需求，ChatGLM-6B和ChatGLM2
qq_27158179·2023-09-13 07:19

开源大模型ChatGLM2-6B 1. 租一台GPU服务器测试下

0.环境租用了1台GPU服务器，系统ubuntu20，GeForceRTX309024G。过程略。本人测试了ai-galaxy的，今天发现网友也有推荐autodl的。（GPU服务器已经关闭，因此这些信息已经失效）SSH地址：*端口：16116SSH账户：root密码：*内网：3389，外网：16114VNC地址：*端口：16115VNC用户名：root密码：*硬件需求，这是ChatGLM-6B的，
qq_27158179·2023-09-13 07:17

从 算力云 零开始部署ChatGLM2-6B 教程

硬件最低需求，显存13G以上基本环境：1.autodl-tmp目录下gitclonehttps://github.com/THUDM/ChatGLM2-6B.git然后使用pip安装依赖：pipinstall-rrequirements.txtpip使用pip阿里的再执行gitclone之前，要先在命令行执行学术加速的代码，否则执行速度太慢。source/etc/network_turbogitc
2629352674·2023-09-12 14:05

LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库

LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库一、前言二、介绍2.1、ChatGLM2-6B2.2、LangChain-Chatchat介绍三
徊忆羽菲·2023-09-12 12:56

轻松搭建本地知识库的ChatGLM2-6B

近期发现了一个项目，它的前身是ChatGLM，在我之前的博客中有关于ChatGLM的部署过程，本项目在前者基础上进行了优化，可以基于当前主流的LLM模型和庞大的知识库，实现本地部署自己的ChatGPT，并可结合自己的知识对模型进行微调，让问答中包含自己上传的知识。依托于本项目支持的开源LLM与Embedding模型，本项目可实现全部使用开源模型离线私有部署。与此同时，本项目也支持OpenAIGPT
Dr.sky_·2023-09-11 09:05

ChatGLM2-6B 部署

引言这是ChatGLM2-6B部署的阅读笔记，主要介绍了ChatGLM2-6B模型的部署和一些原理的简单解释。ChatGLM-6B它是单卡开源的对话模型。
愤怒的可乐·2023-09-10 21:31

AWS实例上本地部署ChatGLM2-6B

此篇博客主要介绍如何在AWS上创建带GPU的instance，并在instance上部署ChatGLM大模型。AWS上申请带GPU的instanceChatGLM虽然也支持在CPU的instance上部署，但这里选择在GPU的instance上部署。所以，先在AWS上选择带GPU的instance。AWS上区分了不同型号的instancetype，这里都是支持NVIDIADriver的带GPU的i
taoli-qiao·2023-09-10 15:21

chatglm2-6b在P40上做LORA微调 | 京东云技术团队

chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享的内容是用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。
·2023-09-10 01:15

chatglm2-6b在P40上做LORA微调 | 京东云技术团队

chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享的内容是用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。
京东云技术团队·2023-09-09 09:33

chatglm2-6b在P40上做LORA微调 | 京东云技术团队

chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享的内容是用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。
·2023-09-06 11:15

ChatGLM2-6B 训练参数解释

Numexamples=243NumEpochs=100Instantaneousbatchsizeperdevice=4Totaltrainbatchsize(w.parallel,distributed&accumulation)=16GradientAccumulationsteps=4Totaloptimizationsteps=1,500Numberoftrainableparamete
AI生成曾小健·2023-09-03 18:02

LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库

如果你对这篇文章感兴趣，而且你想要了解更多关于AI领域的实战技巧，可以关注「技术狂潮AI」公众号。在这里，你可以看到最新最热的AIGC领域的干货文章和案例实战教程。一、前言自从去年GPT模型火爆以来，降低了很多个人和企业进入人工智能领域的门槛，对于大模型尤其是开源的大模型国内应该比较受关注和期待，毕竟高额的成本也能将不少人阻挡在门外，其次，大家都希望在产品中集成LLM的能力，结合业务来落地智能化应
技术狂潮AI·2023-09-01 13:40

Windows环境部署安装Chatglm2-6B-int4

chatglm2-6B是最近比较火爆的大模型，可以在消费级显卡上部署使用，适合学习。但是一般人也不一定有那么高的硬件配置，所以部署个int4版本应该是大多数人的最好选择。
相国·2023-08-29 10:59

【LLM】解析pdf文档生成摘要

langchain和pdfminer切分pdf文档为k块，设置overlap等参数先利用prompt1对每个chunk文本块进行摘要生成，然后利用prompt2对多个摘要进行连贯组合/增删模型可以使用chatglm2
山顶夕景·2023-08-28 23:11

从huggingface hub 中下载模型或者数据

简简单单直接上代码fromhuggingface_hubimportsnapshot_download#下载模型snapshot_download(repo_id='THUDM/chatglm2-6b'
一如年少模样丶·2023-08-26 08:01

使用阿里云微调chatglm2

t=1691571940&download=true#%%[markdown]##微调前#%%model_path="/mnt/workspace/ChatGLM2-6B/chatglm2-6b"fromtransformersimportAutoTokenizer
movie__movie·2023-08-25 00:28

搭建基于LangChain + ChatGLM2-6B 的个人知识库

文章目录一、简介1、LangChain2、ChatGLM2-6B二、准备工作三、项目部署1、本地环境2、Embeddin部署3、LLM部署4、LangChain部署5、运行四、项目测试一、简介这个例子使用现成的
奋斗的哆啦·2023-08-24 08:31

带你学习部署最新版清华第二版chatglm：ChatGLM2-6B+使用 CPU 本地安装部署运行 ChatGLM2-6B

开源模型环境详细部署及安装——如何在低显存单显卡上面安装私有ChatGPTGPT-4大语言模型：https://blog.csdn.net/qq_31136513/article/details/1304050072【发布】ChatGLM2
stay_foolish12·2023-08-23 05:05

大模型技术实践（一）｜ChatGLM2-6B基于UCloud UK8S的创新应用

本文将重点分享ChatGLM2-6B基于UCloud云平台的UK8S实践应用。
AI 研习所·2023-08-21 18:38

从ChatGLM2-6B来看大模型扩展上下文和加速推理相关技术

ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B引入了如下新特性：更强大的性能：基于ChatGLM
wshzd·2023-08-21 09:08

ChatGLM2-6B安装部署（详尽版）

1、环境部署安装Anaconda3安装GIT安装GUDA11.8安装NVIDIA图形化驱动522.25版本，如果电脑本身是更高版本则不用更新1.1、检查CUDA运行cmd或者Anaconda，运行以下命令nvidia-smiCUDAVersion是版本信息，DricerVersion是图形化驱动版本安装python-3.8安装Pytorch，用Anaconda，运行以下命令pip3installt
被困者·2023-08-18 19:11

【大模型】长度 32K 上下文的 ChatGLM2-6B-32K 来了，开源可商用

【大模型】长度32K上下文的ChatGLM2-6B-32K来了，开源可商用简介ChatGLM2-6B-32KChatGLM2-6B-32K新特性环境配置环境搭建安装依赖代码及模型权重拉取拉取ChatGLM2
szZack·2023-08-17 19:51

chatglm2-6b模型在9n-triton中部署并集成至langchain实践 | 京东云技术团队

一.前言近期，ChatGLM-6B的第二代版本ChatGLM2-6B已经正式发布，引入了如下新特性：①.基座模型升级，性能更强大，在中文C-Eval榜单中，以51.7分位列第6；②.支持8K-32k的上下文
京东云技术团队·2023-08-16 20:29

chatglm2-6b模型在9n-triton中部署并集成至langchain实践 | 京东云技术团队

一.前言近期，ChatGLM-6B的第二代版本ChatGLM2-6B已经正式发布，引入了如下新特性：①.基座模型升级，性能更强大，在中文C-Eval榜单中，以51.7分位列第6；②.支持8K-32k的上下文
·2023-08-16 11:50

ChatGLM2-6B本地化部署

ChatGLM2-6B本地化部署一.背景介绍ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2
·2023-08-15 22:49

使用代码下载开源的大模型文件示例以及中文微调llama资源汇总：

一、下载示例fromhuggingface_hubimportsnapshot_downloadrepo_id="THUDM/chatglm2-6b"local_dir='.
samoyan·2023-08-14 11:12

大语言模型控制生成的过程Trick：自定义LogitsProcessor实践

本文以chatglm2-6B为例，通过自定义LogitsProcessor，实践大模型在生成过程中控制一些词语的生成。LogitsProc
余俊晖·2023-08-14 05:55

ChatGLM2-6B在Windows下的微调

ChatGLM2-6B在Windows下的微调零、重要参考资料1、ChatGLM2-6B!我跑通啦！
豪杰笑开怀·2023-08-11 14:07

ChatGLM2-6B在windows下的部署

版本号：22H2，内存：32GB2、已安装CUDA11.33、已安装Anaconda364bit版本4、有显卡NVIDIAGeForceRTX3060LaptopGPU二、从huggingface下载chatglm2
豪杰笑开怀·2023-08-11 14:05
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他