tuing

LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2

hardprompt&softprompt区别1、Prefix-Tuning2、Prompt-Tuning3、P-tuning4、P-tuning-v25、来看看adapter，lora，prefix-tuing
#苦行僧·2023-07-31 18:17

p-tuing和Lora的区别

一、前言自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的Alpaca，国内的chatglm，这种能够让一般的公司来做微调。现在国内一般微调比较多的模型应该是chatglm，chatglm刚出来的时候少资源情况下只能微调几层，微调效果不好，后续引入了pt
AI生成曾小健·2023-06-18 21:41

提示学习soft prompt浅尝，启发了p-tuing

一、前言在高质量标注数据稀缺的工业界来说，少样本学习或者零样本学习的方法特别受欢迎，后面出现过一些少样本和零样本的方法，例如对比学习和prompt等，主流prompt的工作分为离散型和连续型模板。离散型主要还是插入bert特殊的token为主，连续型则是插入数字token。离散型可解释性强于连续型，我这里讲的softprompt则是连续型的。大型预训练语言模型的规模不断扩大，在许多自然语言处理(N
AI生成曾小健·2023-06-16 14:59

Bert系列：如何用bert模型输出文本的embedding

假设你已经用自己的数据fine-tuing好模型。
凝眸伏笔·2022-11-25 02:17

tuning-primer.sh性能调试工具的使用

如果你用showstatus看mysql的状态，会感觉很难读懂，事实上，你可以用tuing-primer.sh脚本输出可读性的报表，它除了提供报表以外，还进一步提供了修改建议。
zengxuewen2045·2020-08-11 05:54

Rethinking ImageNet Pre-training

通常来说，对于绝大部分CV问题的惯常做法就是，不管三七二十一，先在ImageNet预训练一下，然后针对具体的问题fine-tuing。
Mordekaiser·2018-11-24 14:04

SQL Tuning Advisor(STA) 到底做了什么?

      SQL Tuing Advisor(STA) 是Automatic Tuning Optimizer(自动优化调整器)的一部分。
·2015-11-12 10:13
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他