chatGLM

ChatGLM微调基于P-Tuning/LoRA/Full parameter（中）

1.ChatGLM模型介绍ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。
张志翔的博客·2023-09-21 22:46

第七篇-Tesla P40+ChatGLM2+P-Tuning

使用少量数据测试下微调流程环境系统：CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26模型文件https://huggingface.co/THUDM/chatglm2
木卫二号Coding·2023-09-21 15:51

【ChatGLM-6b的微调与推理 - CSDN App

【ChatGLM-6b的微调与推理-CSDNApp】http://t.csdn.cn/vGLde
zero2100·2023-09-21 14:40

ChatGLM 实践指南

如今ChatGLM2-6b、LLama2等越来越多强大的开源模型的出现，成本和安全性越来越可控，私有知识库也就逐渐变得可落地。再加上看到阿里云
张志翔的博客·2023-09-21 13:48

太强了开源的AI工具APP，AIdea -支持 AI聊天、协作、图片生成

一款集成了主流大语言模型以及绘图模型的APP，采用Flutter开发，代码完全开源，支持以下功能：支持GPT-3.5/4问答聊天支持国产模型：通义千问，文心一言、讯飞星火、商汤日日新支持开源模型：Llama2，ChatGLM2
AI 研习所·2023-09-21 12:33

ChatGLM多卡微调踩坑记录

题主近期尝试使用LoRA在自有数据上微调ChatGLM，尽管GitHub上已有很多LoRA相关代码，但实现过程中题主还是遇到了很多问题，现将遇到的问题整理出来供大家参考，实现的相关代码也会整理到GitHub
u013250861·2023-09-21 04:25

LLM-2-ChatGLM2

1训练1.1训练参数配置理解训练的输入长度=source的长度+target的长度–pre_seq_len：pre_seq_len的取值范围一般是1到512，它表示自然语言指令的长度，即输入序列中的前pre_seq_len个token，具体的值需要根据自然语言指令的长度和复杂度来确定。一般来说，指令越长越复杂，pre_seq_len就需要越大，以便模型能够充分理解指令的含义。但是，pre_seq_
愚昧之山绝望之谷开悟之坡·2023-09-21 04:53

ChatGLM-6B 做 LoRA fine tuning训练模型在闻达中使用

ChatGLM-6B做LoRAfinetuning训练和预测方法闻达搭建paddingpadding_qq_26689303的博客-CSDN博客第一个链接文章做出来的模型怎么整合到第二个链接搭建的闻达里呢
qq_26689303·2023-09-21 04:23

ChatGLM GPU多卡并行训练

1.为什么要使用多GPU并行训练简单来说，有两种原因：第一种是模型在一块GPU上放不下，两块或多块GPU上就能运行完整的模型（如早期的AlexNet）。第二种是多块GPU并行计算可以达到加速训练的效果。想要成为“炼丹大师“，多GPU并行训练是不可或缺的技能。2.常见的多GPU训练方法2.1模型并行方式如果模型特别大，GPU显存不够，无法将一个显存放在GPU上，需要把网络的不同模块放在不同GPU上，
张志翔的博客·2023-09-21 04:51

中文网页自动导航挑战赛——lora微调ChatGLM经验分享

继续前一篇文章，ChatGLM-6B-int4模型精度稍低，效果不理想，需要微调更大的模型。为此，租了一台32GB的TESLAV100，来完成这次比赛。
Savarus·2023-09-21 04:20

ChatGLM 大模型炼丹手册-理论篇

序言一）大还丹的崛起在修真界，人们一直渴望拥有一种神奇的「万能型丹药」，可包治百病。但遗憾的是，在很长的一段时间里，炼丹师们只能对症炼药。每一枚丹药，都是特效药，专治一种病。这样就导致，每遇到一个新的问题，都需要针对性的炼制，炼丹师们苦不堪言，修真者们吐槽一片。在那个时代，丹药尺寸普遍比较小，姑且称之为「小还丹」。经过不断的探索和尝试，炼丹师们发现，随着灵材数量和丹药尺寸的增大，丹药的疗效会更好、
张志翔的博客·2023-09-21 02:50

ChatGLM2-6B Lora 微调训练医疗问答任务

一、ChatGLM2-6BLora微调LoRA微调技术的思想很简单，在原始PLM(Pre-trainedLanguageModel)增加一个旁路，一般是在transformer层，做一个降维再升维的操作
小毕超·2023-09-20 15:20

ChatGLM2-6B模型上线wisemodel社区，国内最具影响力的开源LM模型之一

ChatGLM2-6B模型由智谱AI及清华KEG实验室共同研发，2023年6月25日发布，上一代ChatGLM-6B模型于2023年3月14日发布，基本是国内最具影响力的开源LLM模型之一。
·2023-09-20 12:53

ChatGLM 实现一个BERT

前言本文包含大量源码和讲解，通过段落和横线分割了各个模块，同时网站配备了侧边栏，帮助大家在各个小节中快速跳转，希望大家阅读完能对BERT有深刻的了解。同时建议通过pycharm、vscode等工具对bert源码进行单步调试，调试到对应的模块再对比看本章节的讲解。涉及到的jupyter可以在代码库：篇章3-编写一个Transformer模型：BERT，下载本篇章将基于HHuggingFace/Tra
张志翔的博客·2023-09-20 11:25

清华chatGLM2-6B windows本地安装教程

文章目录电脑环境配置显卡驱动安装教程cuda+cudnn安装教程pytorch安装教程chatGLM2-6B配置教程电脑环境配置显卡驱动：12.2cuda：11.8cudnn：v8.9.5pytorch
Cachel wood·2023-09-20 09:19

Windows安装GPU版本的pytorch详细教程

文章目录chatGLM2-6B安装教程正式安装chatGLM2-6BChatGLM2-6B版本要装pytorch2.0，而且要2.0.1，因此CUDA不能用12.0，也不能用10.0，只能用11.x版本
Cachel wood·2023-09-20 09:41

ChatGLM 大模型应用构建 & Prompt 工程

文章目录一、大模型简介1.1大模型基础知识1.2大模型分类二、如何构建大模型应用2.1`ToB`、`ToC`场景应用区别2.2大模型在ToB场景中的应用原则2.3大模型应用技巧2.3.1大模型应用技巧2.3.2大模型的应用方法2.3.3案例：车险问答系统三、指令工程（promptengineering）3.1指令工程基础知识3.2指令编写原则3.3指令编写步骤3.4指令编写技巧3.5实战技巧四、案
神洛华·2023-09-20 07:06

M3E&ChatGLM向量化构建本地知识库

M3E&ChatGLM向量化构建本地知识库整体步骤向量数据库向量数据库简介主流数据库Milvus部署文本向量化M3E介绍模型对比M3E使用向量数据存储基于本地知识库的问答问句向量化向量搜索请求ChatGLM
我在北国不背锅·2023-09-20 05:44

ChatGLM 如何应用一个BERT

前言接着上一小节，我们对Huggingface开源代码库中的Bert模型进行了深入学习，这一节我们对如何应用BERT进行详细的讲解。涉及到的jupyter可以在代码库：篇章3-编写一个Transformer模型：BERT，下载本文基于Transformers版本4.4.2（2021年3月19日发布）项目中，pytorch版的BERT相关代码，从代码结构、具体实现与原理，以及使用的角度进行分析，包含
张志翔的博客·2023-09-19 19:57

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的百倍训练加速

BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm；SFT；RTX4090；A6000；AIGC；CHATGLM
·2023-09-19 17:01

ChatGLM HuggingFace调用Bert词向量

开发环境推荐GPUDokcer$dockerpullhuggingface/transformers-pytorch-gpu:4.19.4CPUDokcer$dockerpullhuggingface/transformers-pytorch-cpu:4.18.0我这边使用的是CPU版本,建立容器$sudodockerrun-it-d-v/Volumes/Yan_Errol/:/workspace
张志翔的博客·2023-09-19 16:37

ChatGLM 项目集合

chatGLM项目对ChatGLM进行加速或者重新实现的开源项目：SwissArmyTransformer:一个Transformer统一编程框架，ChatGLM-6B已经在SAT中进行实现并可以进行P-tuning
张志翔的博客·2023-09-19 16:00

ChatGLM6B LORA微调

ChatGLM6B&ChatGLM2-6B微调目录ChatGLM6B&ChatGLM2-6B微调微调硬件需求3.1.LoRA概述3.2.LoRA微调ChatGLM步骤3.2.1.项目和环境搭建3.2.2
tiki_taka_·2023-09-19 16:42

ChatGLM微调基于P-Tuning/LoRA/Full parameter（上）

准备环境首先必须有7个G的显存以上，torch>=1.10需要根据你的cuda版本1.1模型下载$gitlfsinstall$gitclonehttps://huggingface.co/THUDM/chatglm
张志翔的博客·2023-09-19 16:11

ChatGLM DeepSpeed 全参数微调

ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。
张志翔的博客·2023-09-19 13:46

ChatGLM GPT原理介绍

图解GPT除了BERT以外，另一个预训练模型GPT也给NLP领域带来了不少轰动，本节也对GPT做一个详细的讲解。OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/)能够写出连贯并且高质量的文章，比之前语言模型效果好很多。GPT-2是基于Transformer搭建的，相比于之前的NLP语言模型的区别是：基于Transfor
张志翔的博客·2023-09-19 12:17

ChatGLM Pytorch从0编写Transformer算法

预备工作#!pipinstallhttp://download.pytorch.org/whl/cu80/torch-0.3.0.post4-cp36-cp36m-linux_x86_64.whlnumpymatplotlibspacytorchtextseabornimportnumpyasnpimporttorchimporttorch.nnasnnimporttorch.nn.functio
张志翔的博客·2023-09-19 09:52

ChatGLM 通俗理解大模型的各大微调方法：从LoRA、QLoRA到P-Tuning V1/V2

前言PEFT方法仅微调少量(额外)模型参数，同时冻结预训练LLM的大部分参数第一部分高效参数微调的发展史1.1Google之AdapterTuning：嵌入在transformer里原有参数不变只微调新增的Adapter谷歌的研究人员首次在论文《Parameter-EfficientTransferLearningforNLP》提出针对BERT的PEFT微调方式，拉开了PEFT研究的序幕。他们指出
张志翔的博客·2023-09-19 09:40

ChatGLM HuggingFace大语言模型底座

基础介绍HuggingFace是一家专注于自然语言处理（NLP）、人工智能和分布式系统的创业公司，创立于2016年。最早是主营业务是做闲聊机器人，2018年Bert发布之后，他们贡献了一个基于Pytorch的Bert预训练模型，即pytorch-pretrained-bert，大受欢迎，进而将重心转向维护NLP开源社区。经过这几年的发展，HuggingFace的开源社区，已经变成了最大的开源模型托
张志翔的博客·2023-09-19 05:03

解决 ChatGLM.CPP+clBlast 编译错误（也适用于SD.CPP）

clblast：vcpkginstallopenclclblast下载GitHub上的源码：gitclone--recurse-submoduleshttps://github.com/li-plus/chatglm.cppcdchatglm.cpp
绝不原创的飞龙·2023-09-18 19:29

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的百倍训练加速

BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm；SFT；RTX4090；A6000；AIGC；CHATGLM
高性能服务器·2023-09-18 12:32

英伟达 H100 vs. 苹果M2，大模型训练，哪款性价比更高？

A100M2芯片|ARM|A800|H100关键词：M2芯片；Ultra；M1芯片；UltraFusion；ULTRAMAN；RTX4090、A800;A100；H100；LLAMA、LM、AIGC、CHATGLM
高性能服务器·2023-09-18 12:01

如何在SAM时代下打造高效的高性能计算大模型训练平台

task；zero-shot；data；H100、H800、A100、A800、LLaMA、Transformer、OpenAI、GQA、RMSNorm、SFT、RTX4090、A6000、AIGC、CHATGLM
高性能服务器·2023-09-18 12:01

LLM（一）| 百川智能baichuan7B、13B、53B以及baichuan2总结

之前在文章baichuan-53BVSChatGLM-6B对比中做过百川大模型53B和ChatGLM6B模型的效果对比，由于百川大模型的内测模型是53B，因此本次对比参数量差异较大，但仍然可以看到两个模型的效果
wshzd·2023-09-18 11:14

ChatGLM-6b的微调与推理

基于ChatGLM-6B的推理与部署1.使用gitclone命令ChatGLM项目地址，将项目clone到本地。
抓个马尾女孩·2023-09-17 17:18

语言大模型总结

ChatGLM机构：清华大学类型：国产ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，开源GIT网址，基于GeneralLanguageModel(GLM)架构，具有62亿参数。
2332232·2023-09-16 22:54

阿里云交互式建模（PAI-DSW）训练并微调推理ChatGLM模型

参考内容为《轻量微调和推理ChatGLM模型实践》点击“交互式建模（DSW）”，然后选择“创建实例”写上实例名称，然后选择GPU规格，选择“ecs.gn6v-c8g1.2xlarge(8vCPU，32GB
seasidezhb·2023-09-16 12:12

Flask在线部署ChatGLM2大模型

1、拉取镜像dockerpullswr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_2_0:mindformers_0.6.0dev_20230616_py39_372、新建docker.sh-p8000:8000是宿主机映射到镜像8000端口如果添加–ipc=host--net=host会和-p冲突#--
Zain Lau·2023-09-15 12:19

baichuan-53B VS ChatGLM-6B对比

由于百川智能的内测模型是baichuan-53B，尽管模型大小不一致，为了方便，我们仍然选择百川智能baichuan-53B与ChatGLM-6B内测结果进行对比，其中ChatGLM-6B的结果来自https
wshzd·2023-09-15 02:37

大模型升级与设计之道：ChatGLM、LLAMA、Baichuan及LLM结构解析

本文通过深入剖析ChatGLM、LLAMA和Baichuan模型的升级路径，以及探讨大型语言模型结构选型，为大家提供了一个系统性的视角，梳理了大型预训练模型的关键要素。
阿里巴巴淘系技术团队官网博客·2023-09-14 10:26

macbook安装chatglm2-6b

1、前言  chatglm安装环境还是比较简单的，比起Stablediffusion安装轻松不少。  
淡淡的id·2023-09-13 19:24

Chatglm2-6b模型相关问题

Chatglm2-6b模型相关问题1.Chatglm2-6b模型p-tuning后推理答非所问2.ChatGLM2-6bptuning3.ChatGLM2-6b部署1.Chatglm2-6b模型p-tuning
GeekPlusA·2023-09-13 18:47

开源大模型ChatGLM2-6B 2. 跟着LangChain参考文档搭建LLM+知识库问答系统

服务器已经关机结束租赁了）SSH地址：*端口：17520SSH账户：root密码：Jaere7pa内网：3389，外网：17518VNC地址：*端口：17519VNC用户名：root密码：Jaere7pa硬件需求，ChatGLM
qq_27158179·2023-09-13 07:19

开源大模型ChatGLM2-6B 1. 租一台GPU服务器测试下

服务器已经关闭，因此这些信息已经失效）SSH地址：*端口：16116SSH账户：root密码：*内网：3389，外网：16114VNC地址：*端口：16115VNC用户名：root密码：*硬件需求，这是ChatGLM
qq_27158179·2023-09-13 07:17

国内外大语言模型调研（更新到2023.09.12）

目录国外OpenAI-ChatGPTAnthropic-ClaudeGoogle-Bard国内百度-文心一言清华大学&智谱AI-ChatGLM百川智能-百川大模型科大讯飞-星火阿里-通义千问360-360
热爱旅行的小李同学·2023-09-12 23:41

huggingface_hub.utils._validators.HFValidationError: Repo id must be in the form ‘repo_name‘ or ‘nam

/THUDM/chatglm-6b’.Userepo_typeargumentifneeded.一，前言复现chatGLM的时候报了这个错。二，解决办法1，已下载的模型路径不对这个
风吹落叶花飘荡·2023-09-12 22:22

8个免费的AI和LLM游乐场

1.ChatbotArenaChatbotArena让您体验各种各样的模型，如Vicuna，Koala，RMKV-4-Raven，Alpaca，ChatGLM，LLaMA，Dolly，
ygtu2018·2023-09-12 21:50

微调chatGLM-6B大模型的方法

GLM官方的知乎微调教程：https://zhuanlan.zhihu.com/p/618498001GLM官方的GitHub微调教程：https://github.com/THUDM/ChatGLM-
2629352674·2023-09-12 14:37

从 算力云 零开始部署ChatGLM2-6B 教程

硬件最低需求，显存13G以上基本环境：1.autodl-tmp目录下gitclonehttps://github.com/THUDM/ChatGLM2-6B.git然后使用pip安装依赖：pipinstall-rrequirements.txtpip
2629352674·2023-09-12 14:05

LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库

LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库一、前言二、介绍2.1、ChatGLM2-6B2.2、LangChain-Chatchat介绍三
徊忆羽菲·2023-09-12 12:56
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他