QLora

开源「原驼」爆火，iPhone都能微调大模型了，得分逼近ChatGPT！

更关键的是，与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到加入NLP交流群GPT-4做裁判，原驼得分达到ChatGPT的99.3%论文中，团队对原驼总共做了三项测试，自动评估
zenRRan·2023-06-14 22:23

【惊叹】AI进步的速度太快，我们赶不上了？

文章目录前言一、LoRA二、QLoRA1、环境准备2、推理就是直接跑shscripts/generate.sh。3、前面的环境和数据都没问题了，运行scripts/generate.sh。
徐浪老师·2023-06-13 03:04

LIMA和QLoRA论文解读

《LIMA:LessIsMoreforAlignment》paper:https://arxiv.org/abs/2305.11206Meta在2023年5月发布了论文《LIMA:LessIsMoreforAlignment》，基于LLaMa-65B微调了大模型LIMA，号称只用了1000个精心策划的问题和答复进行微调，就达到了非常好的效果。大型语言模型的训练分为两个阶段：1.无监督预训练，从原始
狮子座明仔·2023-06-12 09:16

跑分达ChatGPT的99％，人类难以分辨 开源“原驼”大模型爆火

更关键的是，与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到。开源社区直接开始狂欢，相关论文成为24小时内关注度最高的AI论文。
手把手教你学AI·2023-06-11 19:09

得分逼近ChatGPT，人类难以分辨！开源「原驼」爆火，iPhone都能微调大模型了

更关键的是，与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到>数据数量指令微调有利于推理，但不利于聊天最后，QLoRA的高效率，还意味着可以用在手机上，论文共同一作TimDett
人工智能与算法学习·2023-06-11 19:39

跑分达ChatGPT的99%，人类难以分辨！开源「原驼」爆火，iPhone都能微调大模型了...

更关键的是，与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到>数据数量指令微调有利于推理，但不利于聊天最后，QLoRA的高效率，还意味着可以用在手机上，论文共同一作TimDet
QbitAl·2023-06-11 19:07

QLoRa：在消费级GPU上微调大型语言模型

而QLoRa(Dettmersetal.，2023)，只需使用一个A100即可完成此操作。在这篇文章中将介绍QLoRa。包括描述它是如何工作的，以及如何使用它在GPU上微调具有200亿个参
deephub·2023-06-11 19:07

QLoRA：量化 LLM 的高效微调

此repo支持论文“QLoRA：量化LLM的高效微调”，旨在使对LLM研究的访问民主化。
曾小健量化博士Dr·2023-06-09 15:50

QLoRA | 48G内存训练24小时，改进版4-bit量化技术微调650亿参数的模型达到chatgpt99.3%的效果

一、概述title：QLORA:EfficientFinetuningofQuantizedLLMs论文地址：https://arxiv.org/pdf/2305.14314.pdf代码：GitHub-artidoro
HxShine·2023-06-07 10:39
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他