ChatGLM

ChatGLM GPT原理介绍

图解GPT除了BERT以外，另一个预训练模型GPT也给NLP领域带来了不少轰动，本节也对GPT做一个详细的讲解。OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/)能够写出连贯并且高质量的文章，比之前语言模型效果好很多。GPT-2是基于Transformer搭建的，相比于之前的NLP语言模型的区别是：基于Transfor
张志翔的博客·2023-09-19 12:17

ChatGLM Pytorch从0编写Transformer算法

预备工作#!pipinstallhttp://download.pytorch.org/whl/cu80/torch-0.3.0.post4-cp36-cp36m-linux_x86_64.whlnumpymatplotlibspacytorchtextseabornimportnumpyasnpimporttorchimporttorch.nnasnnimporttorch.nn.functio
张志翔的博客·2023-09-19 09:52

ChatGLM 通俗理解大模型的各大微调方法：从LoRA、QLoRA到P-Tuning V1/V2

前言PEFT方法仅微调少量(额外)模型参数，同时冻结预训练LLM的大部分参数第一部分高效参数微调的发展史1.1Google之AdapterTuning：嵌入在transformer里原有参数不变只微调新增的Adapter谷歌的研究人员首次在论文《Parameter-EfficientTransferLearningforNLP》提出针对BERT的PEFT微调方式，拉开了PEFT研究的序幕。他们指出
张志翔的博客·2023-09-19 09:40

ChatGLM HuggingFace大语言模型底座

基础介绍HuggingFace是一家专注于自然语言处理（NLP）、人工智能和分布式系统的创业公司，创立于2016年。最早是主营业务是做闲聊机器人，2018年Bert发布之后，他们贡献了一个基于Pytorch的Bert预训练模型，即pytorch-pretrained-bert，大受欢迎，进而将重心转向维护NLP开源社区。经过这几年的发展，HuggingFace的开源社区，已经变成了最大的开源模型托
张志翔的博客·2023-09-19 05:03

解决 ChatGLM.CPP+clBlast 编译错误（也适用于SD.CPP）

clblast：vcpkginstallopenclclblast下载GitHub上的源码：gitclone--recurse-submoduleshttps://github.com/li-plus/chatglm.cppcdchatglm.cpp
绝不原创的飞龙·2023-09-18 19:29

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的百倍训练加速

BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm；SFT；RTX4090；A6000；AIGC；CHATGLM
高性能服务器·2023-09-18 12:32

英伟达 H100 vs. 苹果M2，大模型训练，哪款性价比更高？

A100M2芯片|ARM|A800|H100关键词：M2芯片；Ultra；M1芯片；UltraFusion；ULTRAMAN；RTX4090、A800;A100；H100；LLAMA、LM、AIGC、CHATGLM
高性能服务器·2023-09-18 12:01

如何在SAM时代下打造高效的高性能计算大模型训练平台

task；zero-shot；data；H100、H800、A100、A800、LLaMA、Transformer、OpenAI、GQA、RMSNorm、SFT、RTX4090、A6000、AIGC、CHATGLM
高性能服务器·2023-09-18 12:01

LLM（一）| 百川智能baichuan7B、13B、53B以及baichuan2总结

之前在文章baichuan-53BVSChatGLM-6B对比中做过百川大模型53B和ChatGLM6B模型的效果对比，由于百川大模型的内测模型是53B，因此本次对比参数量差异较大，但仍然可以看到两个模型的效果
wshzd·2023-09-18 11:14

ChatGLM-6b的微调与推理

基于ChatGLM-6B的推理与部署1.使用gitclone命令ChatGLM项目地址，将项目clone到本地。
抓个马尾女孩·2023-09-17 17:18

语言大模型总结

ChatGLM机构：清华大学类型：国产ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，开源GIT网址，基于GeneralLanguageModel(GLM)架构，具有62亿参数。
2332232·2023-09-16 22:54

阿里云交互式建模（PAI-DSW）训练并微调推理ChatGLM模型

参考内容为《轻量微调和推理ChatGLM模型实践》点击“交互式建模（DSW）”，然后选择“创建实例”写上实例名称，然后选择GPU规格，选择“ecs.gn6v-c8g1.2xlarge(8vCPU，32GB
seasidezhb·2023-09-16 12:12

Flask在线部署ChatGLM2大模型

1、拉取镜像dockerpullswr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_2_0:mindformers_0.6.0dev_20230616_py39_372、新建docker.sh-p8000:8000是宿主机映射到镜像8000端口如果添加–ipc=host--net=host会和-p冲突#--
Zain Lau·2023-09-15 12:19

baichuan-53B VS ChatGLM-6B对比

由于百川智能的内测模型是baichuan-53B，尽管模型大小不一致，为了方便，我们仍然选择百川智能baichuan-53B与ChatGLM-6B内测结果进行对比，其中ChatGLM-6B的结果来自https
wshzd·2023-09-15 02:37

大模型升级与设计之道：ChatGLM、LLAMA、Baichuan及LLM结构解析

本文通过深入剖析ChatGLM、LLAMA和Baichuan模型的升级路径，以及探讨大型语言模型结构选型，为大家提供了一个系统性的视角，梳理了大型预训练模型的关键要素。
阿里巴巴淘系技术团队官网博客·2023-09-14 10:26

macbook安装chatglm2-6b

1、前言  chatglm安装环境还是比较简单的，比起Stablediffusion安装轻松不少。  
淡淡的id·2023-09-13 19:24

Chatglm2-6b模型相关问题

Chatglm2-6b模型相关问题1.Chatglm2-6b模型p-tuning后推理答非所问2.ChatGLM2-6bptuning3.ChatGLM2-6b部署1.Chatglm2-6b模型p-tuning
GeekPlusA·2023-09-13 18:47

开源大模型ChatGLM2-6B 2. 跟着LangChain参考文档搭建LLM+知识库问答系统

服务器已经关机结束租赁了）SSH地址：*端口：17520SSH账户：root密码：Jaere7pa内网：3389，外网：17518VNC地址：*端口：17519VNC用户名：root密码：Jaere7pa硬件需求，ChatGLM
qq_27158179·2023-09-13 07:19

开源大模型ChatGLM2-6B 1. 租一台GPU服务器测试下

服务器已经关闭，因此这些信息已经失效）SSH地址：*端口：16116SSH账户：root密码：*内网：3389，外网：16114VNC地址：*端口：16115VNC用户名：root密码：*硬件需求，这是ChatGLM
qq_27158179·2023-09-13 07:17

国内外大语言模型调研（更新到2023.09.12）

目录国外OpenAI-ChatGPTAnthropic-ClaudeGoogle-Bard国内百度-文心一言清华大学&智谱AI-ChatGLM百川智能-百川大模型科大讯飞-星火阿里-通义千问360-360
热爱旅行的小李同学·2023-09-12 23:41

huggingface_hub.utils._validators.HFValidationError: Repo id must be in the form ‘repo_name‘ or ‘nam

/THUDM/chatglm-6b’.Userepo_typeargumentifneeded.一，前言复现chatGLM的时候报了这个错。二，解决办法1，已下载的模型路径不对这个
风吹落叶花飘荡·2023-09-12 22:22

8个免费的AI和LLM游乐场

1.ChatbotArenaChatbotArena让您体验各种各样的模型，如Vicuna，Koala，RMKV-4-Raven，Alpaca，ChatGLM，LLaMA，Dolly，
ygtu2018·2023-09-12 21:50

微调chatGLM-6B大模型的方法

GLM官方的知乎微调教程：https://zhuanlan.zhihu.com/p/618498001GLM官方的GitHub微调教程：https://github.com/THUDM/ChatGLM-
2629352674·2023-09-12 14:37

从 算力云 零开始部署ChatGLM2-6B 教程

硬件最低需求，显存13G以上基本环境：1.autodl-tmp目录下gitclonehttps://github.com/THUDM/ChatGLM2-6B.git然后使用pip安装依赖：pipinstall-rrequirements.txtpip
2629352674·2023-09-12 14:05

LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库

LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库一、前言二、介绍2.1、ChatGLM2-6B2.2、LangChain-Chatchat介绍三
徊忆羽菲·2023-09-12 12:56

轻松搭建本地知识库的ChatGLM2-6B

近期发现了一个项目，它的前身是ChatGLM，在我之前的博客中有关于ChatGLM的部署过程，本项目在前者基础上进行了优化，可以基于当前主流的LLM模型和庞大的知识库，实现本地部署自己的ChatGPT，
Dr.sky_·2023-09-11 09:05

ChatGLM2-6B 部署

引言这是ChatGLM2-6B部署的阅读笔记，主要介绍了ChatGLM2-6B模型的部署和一些原理的简单解释。ChatGLM-6B它是单卡开源的对话模型。
愤怒的可乐·2023-09-10 21:31

AWS实例上本地部署ChatGLM2-6B

此篇博客主要介绍如何在AWS上创建带GPU的instance，并在instance上部署ChatGLM大模型。
taoli-qiao·2023-09-10 15:21

chatglm2-6b在P40上做LORA微调 | 京东云技术团队

chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享的内容是用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。
·2023-09-10 01:15

如何在SAM时代下打造高效的高性能计算大模型训练平台

task；zero-shot；data；H100、H800、A100、A800、LLaMA、Transformer、OpenAI、GQA、RMSNorm、SFT、RTX4090、A6000、AIGC、CHATGLM
·2023-09-10 01:45

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的百倍训练加速

BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm；SFT；RTX4090；A6000；AIGC；CHATGLM
·2023-09-10 01:44

【Python 自动化】小说推文一键生成思路概述

于是我们需要把段落拆成句子，像这样：由于用于生成图片的软件SD不支持中文提示词，我们需要翻译成英文，用ChatGLM即可，纯本地部署，非常方便。THUD
绝不原创的飞龙·2023-09-09 10:50

chatglm2-6b在P40上做LORA微调 | 京东云技术团队

chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享的内容是用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。
京东云技术团队·2023-09-09 09:33

清华 chatglm 本地部署

一.环境配置需求硬件需求：软件需求安装cudaWindow10搭建GPU环境（CUDA、cuDNN）安装pytorchpip安装pytorch二.安装chatglm安装chatglmgitclonehttps
咸鱼布衣·2023-09-08 22:58

accelerate 分布式技巧实战--部署ChatGLM-6B（三）

accelerate分布式技巧实战–部署ChatGLM-6B（三）基础环境torch==2.0.0+cu118transformers==4.28.1accelerate==0.18.0TeslaT415.3G
发呆的比目鱼·2023-09-08 06:03

ChatGLM学习

GLMpaper：https://arxiv.org/pdf/2103.10360.pdfchatglm130B：https://arxiv.org/pdf/2210.02414.pdf前置知识补充双流自注意力Two-streamself-attentionmechanism（双流自注意机制）是一种用于自然语言处理任务的注意力机制。它是基于自注意力机制（self-attention）的扩展，通过引
银晗·2023-09-07 22:20

解决ChatGLM-6B的微调算法运行train.sh出错

微调ChalGLM-6B是报下面错误：AttributeError:'ChatGLMForConditionalGeneration'objecthasnoattribute'enable_input_require_grads'解决方法：升级transformerspipinstalltransformers==4.27.1
xddwz·2023-09-07 16:05

自然语言处理 微调ChatGLM-6B大模型

自然语言处理微调ChatGLM-6B大模型1、GLM设计原理2、大模型微调原理1、P-tuningv2方案2、LORA方案1、GLM设计原理bert的主要任务是随机的去除掉某个单词，使用上下文将其预测出来
郭庆汝·2023-09-06 17:43

chatglm2-6b在P40上做LORA微调 | 京东云技术团队

chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享的内容是用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。
·2023-09-06 11:15

python代码服务汇总

一、chatglm6bweb服务fromtransformersimportAutoModel,AutoTokenizerimportgradioasgr#model_name_or_path="THUDM
小李飞刀李寻欢·2023-09-06 10:28

ChatGLM无需代码连接飞书即时消息的方法

继ChatGPT大火之后，各种大语言模型相继被发布，其中由清华大学KEG实验室和智谱AI公司于2023年共同训练开发的千亿对话模型-ChatGLM所展现出来的自然语
·2023-09-05 16:33

一种使得大模型输出结构化数据的简易方法

背景任务是这样的，我需要用大模型（比如ChatGPT，ChatGLM等等）对文本进行名词提取。输入一段文本，我需要大模型理解这段文本，然后输出这段文本中的所有代表事件的动词。
AndrewMe8211·2023-09-05 12:32

chatglm+langchain

目录chatglm+langchain1.1.主要功能：1.2.Langchain中提供的模块1.3.Langchain应用场景2.1.chatglm应用：1.1.基于单一文档问答的实现原理chatglm
tiki_taka_·2023-09-05 05:35

Prompt Tuning训练过程

-知乎Promptlearning系列之promptengineering(二)离散型prompt自动构建Promptlearning系列之训练策略篇-知乎ptuningv2的chatglm垂直领域训练记录
tiki_taka_·2023-09-05 05:02

使用 Amazon SageMaker 微调和部署 ChatGLM 模型

本篇文章主要介绍如何使用AmazonSageMaker进行ChatGLM模型部署和微调的示例。
亚马逊云开发者·2023-09-05 04:17

【LLM】chatglm-6B模型训练和推理

本篇文章记录下chatglm-6B训练和推理过程环境：Ubuntu20.04+1.13.0+cu116chatglm-6B源代码仓库：链接chatglm-6B模型权重：链接源代码及模型clone到本地这里使用的是
renlei2293·2023-09-04 05:47

ChatGLM-6B模型使用

一、创建环境condacreate-nchatglmpython=3.8condaactivatechatglm二、下载代码gitclonehttps://github.com/THUDM/ChatGLM
永胜永胜·2023-09-03 18:41

ChatGLM-6B 的部署与微调以及过程中涉及知识总结(7.26更新)

最近因为工作关系，接触到ChatGLM-6B，自己部署做了一些测试。参考了网上很多优秀的资料，在此基础上，补充一些自己实践中发现的细节。
windywolf301·2023-09-03 18:04

ChatGLM2-6B 训练参数解释

Numexamples=243NumEpochs=100Instantaneousbatchsizeperdevice=4Totaltrainbatchsize(w.parallel,distributed&accumulation)=16GradientAccumulationsteps=4Totaloptimizationsteps=1,500Numberoftrainableparamete
AI生成曾小健·2023-09-03 18:02

CodeGeeX2: 更强大的多语言代码生成模型

不同于一代CodeGeeX（完全在国产华为昇腾芯片平台训练），CodeGeeX2是基于ChatGLM2架构加入代码预训练实现，得益于ChatGLM2的更优性能，CodeGeeX2在多项指标上取得性能提升
池佳齐·2023-09-03 01:39
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他