AIpaca

Chinese-LLaMA-AIpaca 指令精调

文章目录一、继续训练Chinese-AIpaca模型的LoRA权重二、基于中文Chinese-LLaMA训练全新的指令精调LoRA权重1、合并2、基于中文Chinese-LLaMA训练全新的指令精调LoRA
伊织code·2023-09-27 03:12

Chinese-LLaMA-AIpaca

文章目录关于Chinese-LLaMA-Alpaca一、LLaMA模型-->HF格式二、合并LoRA权重，生成全量模型权重方式1：单LoRA权重合并方式2：多LoRA权重合并（适用于Chinese-Alpaca-Plus）三、使用Transformers进行推理四、使用webui搭建界面1、克隆text-generation-webui并安装必要的依赖2、将下载后的lora权重放到loras文件夹
伊织code·2023-09-22 14:10

LLM-项目详解-Chinese-LLaMA-AIpaca（二）：代码解读【①prompt指令制作、②合并分词器、③Lora模型与基础模型合并、③模型分片保存】

一、prompt指令制备【crawl_prompt.py】importopenaiimportjsonimportsysimportrandomopenai.api_key=""#youmustprovideyourOpenAIAPIkeybeforecrawlingifnotopenai.api_key:raiseValueError("OpenAIAPIkeynotprovided.Pleas
u013250861·2023-08-27 07:22

LLM-项目详解-Chinese-LLaMA-AIpaca（一）：LLM+LoRa微调加速技术原理及基于PEFT的动手实践：一些思考和mt0-large+lora完整案例

如何花费较少的算力成本来进行微调训练，十分重要，当前关于LLaMA、Alpaca、Instruct微调、LoRa微调等多个概念大家讲的很多，最近也在学习，也看到几个有趣的话题（主要参考于（https://github.com/ymcui/Chinese-LLaMA-Alpaca）：首先，来看关于Instruct微调和LoRa微调Instruct微调和LoRa微调是两种不同的技术。Instruct微
u013250861·2023-08-27 07:22

【LLM大模型】模型和指令微调方法

AIpaca羊驼：让OpenAI的text-davinci-003模型以self-instruct方式生成52K指令遵循（instruction-following）样
u013250861·2023-08-25 07:16
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他