ChatGLM 第10页

chatGLM2-6B模型LoRA微调数据集实现大模型的分类任务

【TOC】1.chatglm介绍ChatGLM模型是由清华大学开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。

三更两点·2023-10-14 04:03

一键部署开源AI(人工智能对话模型)(支持显卡或CPU加内存运行)--ChatGLM-6B

一、基本介绍：基于ChatGLM-6B的快速安装服务，支持一键安装，无需任何服务配置和代码编写即可完成。

深藏bIue·2023-10-13 16:09

基于MindSpore的ChatGLM微调

基于MindSpore的ChatGLM微调克隆HuggingFace模型克隆chatglm-6b代码仓，下载分布式的模型文件gitlfsinstallgitclonehttps://huggingface.co

JeffDingAI·2023-10-13 13:46

超详细！主流大语言模型的技术原理细节汇总！

1.比较LLaMA、ChatGLM、Falcon等大语言模型的细节：tokenizer、位置编码、LayerNormalization、激活函数等。

Python算法实战·2023-10-13 03:23

chatglm.cpp使用手记

chatglm.cppAI搭建1.环境准备2githup下载项目3安装加载和量化拥抱面模型所需的软件包4准备编译环境5开始编译项目6模型转换7CLI验证8web验证9api验证10遗留问题1.环境准备cat

这样的宋哥哥·2023-10-12 06:57

虚拟桌宠模拟器(VPet)使用ChatGLM替代ChatGPT

开源工程虚拟桌宠ChatGLM特别感谢zkz098大佬找到的BUG和给出的解决方案1.拉取代码cdProjectgitclonehttps://github.com/THUDM/ChatGLM2-6B.git2

人工智能护发素·2023-10-11 20:09

ChatGLM2-6B微调实践-P-Tuning方案

ChatGLM2-6B微调实践环境准备安装部署1、安装Anaconda2、安装CUDA3、安装PyTorch4、安装ChatGLM2-6B微调实践1、准备数据集2、安装python依赖3、微调并训练新模型

我在北国不背锅·2023-10-10 19:36

LLM 时代，如何优雅地训练大模型？

details/130764843整理大家好，ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca、BOOLM、LLaMA、ChatGLM

Python算法实战·2023-10-10 05:09

通过Python提取pdf中的文字

通过Python的pdfplumber库提取pdf中的文字背景安装pdfplumber提取PDF文字提取PDF表格PyPDF2分割pdf合并PDFpdf旋转PDF加密解密加密解密加水印背景参加了chatglm

JOKers_Joke·2023-10-10 03:49

ChatGLM2-6B 模型本地部署及基于 P-Tuning v2 的微调

1.说明ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，还引入了更强大的性能、更强大的性能、更高效的推理、更高效的推理四大特性

天于·2023-10-09 04:06

（三）ChatGLM-6B 的 DeepSpeed/P-Tuning v2微调

sawyes·2023-10-09 04:05

使用DeepSpeed/P-Tuning v2对ChatGLM-6B进行微调

link之前尝试了基于ChatGLM-6B使用LoRA进行参数高效微调，本文给大家分享使用DeepSpeed和P-Tuningv2对ChatGLM-6B进行微调，相关代码放置在GitHub上面：llm-action

luoganttcc·2023-10-09 04:34

ChatGLM-6B 部署与 P-Tuning 微调实战

但最近一个月，开源文本大模型如雨后春笋般接踵而至，例如LLaMA、Alpaca、Vicuna、ChatGLM-6B等。树先生觉得这个事有着落了，毕竟站在巨人的肩膀上，离成功就会更近一步。

程序员树先生·2023-10-09 04:29

ChatGLM-6B微调p tuning v2和lora对比

官方项目地址：https://github.com/THUDM/ChatGLM-6B参考本人之前的博客下载ChatGLM-6B模型：https://blog.csdn.net/Acecai01/article

Acecai01·2023-10-09 04:28

从0到1基于ChatGLM-6B使用LoRA进行参数高效微调

从0到1基于ChatGLM-6B使用LoRA进行参数高效微调吃果冻不吐果冻皮关注他cliniNLPer等189人赞同了该文章目录收起ChatGLM-6B简介具备的一些能力局限性LoRA技术原理环境搭建数据集准备数据预处理参数高效微调单卡模式模型训练数据并行模式模型训练模型推理结语之前尝试了基于

luoganttcc·2023-10-09 03:58

LLMs 入门实战系列

【LLMs入门实战系列】第一层LLMstoNaturalLanguageProcessing(NLP)第一重ChatGLM-6B系列ChatGLM-6BChatGLM2-6B第十一重Llama2第十重BaichuanBaichuan

luoganttcc·2023-10-08 19:25

ChatGPT中文LLM相关的开源大模型资源汇总

文章目录前言1.文本LLM模型1.1ChatGLM-6B1.2ChatGLM2-6B1.3Moss1.4Chinese-LLaMA-Alpaca1.5OpenChineseLLaMA1.6BELLE1.7Panda1.8Robin1.9Fengshenbang-LM1.10Luotuo-Chinese-LLM1.11Linly1.12Firefly1.13ChatYuan1.14ChatRWKV1

goomind·2023-10-08 09:46

汇总开源大模型的本地API启动方式

文章目录CodeGeex2ChatGLM2_6BBaichuan2_13Bsqlcoder开启后测试CodeGeex2fromfastapiimportFastAPI,RequestfromtransformersimportAutoTokenizer

羊城迷鹿·2023-10-08 09:39

本地部署 langchain-ChatGLM

简介什么是langchain-ChatGLM一种利用ChatGLM-6B+langchain实现的基于本地知识的ChatGLM应用。

kuokay·2023-10-07 22:35

Langchain-Chatchat项目：1.1-ChatGLM2项目整体介绍

ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本，引入新的特性包括更长的上下文(基于FlashAttention技术，将基座模型的上下文长度由ChatGLM-6B的2K扩展到了

NLP工程化·2023-10-07 18:42

ChatGLM2-6B的通透解析：从FlashAttention、Multi-Query Attention到GLM2的微调、源码解读

目录前言第一部分相比第一代的改进点：FlashAttention与Multi-QueryAttention第二部分FlashAttention：减少内存访问提升计算速度——更长上下文的关键2.1FlashAttention相关的背景知识2.1.1Transformer计算复杂度：编辑——Self-Attention层与MLP层2.1.1.1Self-Attention层的计算复杂度：2.1.1.2

v_JULY_v·2023-10-07 03:04

ChatGLM2发布，位居C-Eval榜首!

部署推理环境配置模型下载git-lfs安装代码调用基于gradio的网页版Demo显存占用情况数理逻辑推理性能显存占用的减少量化对模型性能的影响基于P-Tuningv2的微调（官方）环境配置微调数据准备微调ChatGLM

dzysunshine·2023-10-07 03:34

清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程

感谢清华大学开源的ChatGLM2-6B软件，让我们国人有属于自己的AI聊天机器人，期待新版本的推出。

best_mimo·2023-10-05 17:28

大模型部署手记（1）ChatGLM2+Windows GPU

1.简介：组织机构：智谱/清华代码仓：https://github.com/THUDM/ChatGLM2-6B模型：THUDM/chatglm2-6b下载：https://huggingface.co/

张小白TWO·2023-10-05 13:03

看注解逐行学习ChatGLM2-6B大模型，项目中的modeling_chatglm.py文件

模型代码地址"""PyTorchChatGLMmodel.ChatGLMModel模型结构(假设输入X大小为3x5)转载自：https://blog.csdn.net/hjyai94/article/details/132504200(embedding)Embedding(转置后5x3x4096)word_embeddings:Embedding(65024,4096)(rotary_pos_e

小怪兽会微笑·2023-10-05 10:05

大模型Llama2部署，基于text-generation-webui、Llama2-Chinese

一键部署llama2+chatglm2，集成所有环境和微调功能，本地化界面操作！

cheng_tc·2023-10-05 05:46

极简教学 | ChatGLM2-6B在只有cpu的linux服务器部署

目录一、安装wget二、安装git三、安装pip四、下载ChatGLM2-6B源码五、安装Anaconda六、安装pytorch七、下载模型库八、最后的准备工作九、运行程序一、安装wget1.删除自带的

倾斜的橡胶·2023-10-04 19:16

分享9个已开源的GPT4平替，用过感觉还不错

分享9个已开源的GPT4平替，用过感觉还不错鱼子酱关注她22人赞同了该文章目录收起1.ColossalAI2.ChatGLM3.LLaMa4.LLaMa-ChatLLaMA5.BELLE6.PaLM-rlhf-pytorch7

luoganttcc·2023-10-04 16:08

【LLM】主流大模型体验（文心一言科大讯飞字节豆包百川阿里通义千问商汤商量）

note智谱AI体验百度文心一言体验科大讯飞大模型体验字节豆包百川智能大模型阿里通义千问商汤商量简要分析：仅从测试“老婆饼为啥没有老婆”这个问题的结果来看，chatglm分点作答有条理（但第三点略有逻辑问题

山顶夕景·2023-10-03 15:02

ImportError: cannot import name ‘GenerationConfig‘ from ‘transformers.generation.utils‘

部署Chatglm2的时候报错：ImportError:cannotimportname'GenerationConfig'from'transformers.generation.utils'出错原因是本地的

mldxs·2023-10-03 15:25

GLM-130B-一个开放的双语通用预训练模型-论文精读

本文为作为类ChatGPT的模型ChatGLM的前期基础论文2《ANOPENBILINGUALPRE-TRAINEDMODEL》的精读笔记，基础论文1的精读笔记请见《GLM论文精读-自回归填空的通用语言模型

旺仔的算法coding笔记·2023-10-02 16:02

[DeepSpeed]RuntimeError: output tensor must have the same type as input tensor

最近在跑chatglm2的sft的时候出现了下面的错误，我的运行方式是bf16,deepspeedzero3，因为担心fp16会有很多的nan.File"/home/suser/.conda/envs/

农民小飞侠·2023-10-02 10:39

亲测可用国产GPT人工智能

清华大学ChatGLM官网：智谱清言中国版对话语言模型，与GLM大模型进行对话。https://chatglm.cn/开源的、支持中英双语的1300亿参数的对话语言模型，清华大学团队。

燃烧的枫·2023-10-01 20:04

深度学习实战54-基于ChatGLM2大模型构建智能自助用药问答系统与药物智能管理实战的应用

大家好，我是微学AI，今天给大家介绍一下深度学习实战54-基于ChatGLM2大模型构建智能自助用药问答系统与药物智能管理实战的应用。随着人工智能技术的发展，我们的生活在许多方面都得到了改善。

微学AI·2023-09-28 15:38

使用Triton部署chatglm2-6b模型 | 京东云技术团队

支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNXRuntime和OpenVino。

·2023-09-27 12:31

趋动云GPU云平台部署ChatGLM-6B

目录ChatGLM-6B是什么？模型部署Step1.创建项目并上传代码Step2.环境准备Step3.加载模型ChatGLM-6B是什么？ChatGLM-6B是一个基于GLM的生成式对话模型。

LYLYC_3·2023-09-27 01:41

【大模型系列 04】Chat-GLM-6B for PyTorch 昇腾迁移

源码链接https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/ChatGLM-6BChat-GLM

hiascend·2023-09-26 22:03

ChatGLM 大模型外挂(向量)知识库

前言如果我们想往大模型里边注入知识，最先能想到的就是对大模型进行微调。笔者曾实验过，只用几十万量级的数据对大模型进行微调并不能很好的将额外知识注入大模型，笔者在算力这方面囊中羞涩，只有4块卡，这几十万量级的数据训练6B的模型都要训练好几天。。。如果不微调的话，其实还是可以利用外挂数据库的方式让大模型利用额外的知识的，比如向量数据库或者是图数据库，本文主要讲解大模型如何外挂向量数据库，外挂图数据库如

张志翔的博客·2023-09-26 20:36

LLaMA Efficient Tuning 主流大模型的高效工具【预训练+指令监督微调】

LLaMAEfficientTuning的简介2023年6月发布的LLaMAEfficientTuning，它是一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/

张志翔的博客·2023-09-26 19:59

Baichuan2大模型本地部署

作为今年九月份开源的一个中午大语言模型，Baichuan2已经在各个维度上取得了亮眼的结果，效果已经超过了当前火热的ChatGLM2-6B，可以通过自然语言交互的方式为你提供以下服务：提供知识：我可以回答各领域的问题

Dr.sky_·2023-09-26 18:03

ChatGLM2-6B微调实践

可以用来微调ChatGLM2-6B的开源项目https://github.com/THUDM/ChatGLM2-6Bhttps://github.com/hiyouga/ChatGLM-Efficient-Tuninghttps

weixin_43870390·2023-09-26 12:49

国内大语言模型的相对比较：ChatGLM2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5

一、前言国产大模型有很多，比如文心一言、通义千问、星火、MOSS和ChatGLM等等，但现在明确可以部署在本地并且开放api的只有MOOS和ChatGLM。

学术菜鸟小晨·2023-09-26 12:16

使用CPU本地部署一个大模型

前言不少人都想要部署一个自己的本地大模型，但是受限于昂贵的硬件资源只能作罢，即便是量化后的模型也通常要至少5G+（ChatGLM2-6BINT4）的显存。

天使手儿·2023-09-25 04:52

FastChat 大模型部署推理；Baichuan2-13B-Chat测试、chatglm2-6b测试

FastChathttps://blog.csdn.net/qq128252/article/details/132759107##安装pip3install"fschat[model_worker,webui]"1、chatglm2

loong_XL·2023-09-24 09:11

ChatGLM Embedding+LangChain构建行业知识库

在上两篇文章中，介绍了如何利用白嫖阿里云服务器，DIY部署AI大模型ChatGLM2-6b；以及大模型的进阶，如何基于P-TuningV2微调ChatGLM2-6b打造一个个性化的定制A

张志翔的博客·2023-09-23 16:34

ChatGLM2-6B 部署与微调

文章目录一、ChatGLM-6B二、ChatGLM2-6B三、本地部署ChatGLM2-6B3.1命令行模式3.2网页版部署3.3本地加载模型权重3.4模型量化3.5CPU部署3.6多卡部署四、P-tuningv2

神洛华·2023-09-23 12:35

ChatGLM LLM大模型训练和预测如何计算算力需求

架构+数据+算力8*A100微调大模型lora工具微调内容审核:输入的审核生成的审核;GPU并行处理能力算力计算一个LLaMA-6B的数据类型为Int8模型参数6B1bytes=6GB梯度6B1bytes=6GB优化器参数Adam2倍模型参数:6GB*2=12GB训练共24GB的显存推理算力模型参数6B*1bytes=6GB推理共6GB的显存Transformer多头注意力Transformer可

张志翔的博客·2023-09-23 03:15

本地CPU部署运行ChatGLM2-6B模型

1、前期准备：需要下载模型文件2、部署过程及碰到的问题（1）编译安装python3.8.13（Asianuxrelease7.6.18gcc4.8.5）按运行的要求需要安装torch的>=2.0,因此安装了torch的2.0.1，该版本的torch依赖的glibc的版本至少是2.28,而当前操作系统的版本号是2.17。通过stringslibtorch_cpu.so|grepGLIBC_可以看到该

zcc_0015·2023-09-23 00:34

ChatGLM P-Tuningv2微调定制AI大模型

前言什么是模型微调想象一下，你正在学习如何弹奏一首钢琴曲目。你已经学会了一些基本的钢琴技巧，但你想要更进一步，尝试演奏一首特定的曲目。这时，你会选择一首你感兴趣的曲目，并开始深度练习。Fine-tuning（微调）在机器学习中也是类似的概念。当我们使用预先训练好的模型（预训练Pre-training）来解决一个特定的任务时，有时我们需要对这个模型进行微调。这意味着我们会在已经训练好的模型的基础上进

张志翔的博客·2023-09-22 13:47

ChatGLM LoRA微调定制AI大模型

一、前言对于ChatGLM2-6B模型基于PEFT的特定任务微调实验。1.1硬件需求注：r为LoRA维数大小，p为前缀词表大小，l为微调层数，ex/s为每秒训练的样本数。

张志翔的博客·2023-09-22 04:06

推荐频道

ChatGLM