Alpaca

二、【LLaMA-Factory实战】数据工程全流程：从格式规范到高质量数据集构建

二、数据工程核心架构图原始数据数据格式规范Alpaca格式多模态格式自定义格式规范数据清洗增强相似度去重噪声过滤合成数据生成优质数据注册验证数据集注册格式校验质量评估训练
陈奕昆·2025-06-23 11:40

【LLaMA-Factory 实战系列】一、数据准备篇 - 从文本到多模态的完整流程

【LLaMA-Factory实战系列】一、数据准备篇-从文本到多模态的完整流程1.引言2.LLaMA-Factory数据格式概述2.1Alpaca格式2.2ShareGPT格式3.文本数据准备3.1Alpaca
Zhijun.li@Studio·2025-06-23 11:08

微调大模型如何准备数据集——常用数据集，Alpaca和ShareGPT

微调大模型如何准备数据集——常用数据集，Alpaca和ShareGPT数据集准备常用数据集自定义数据集AlpacaShareGPT数据集准备常用数据集预训练数据集WikiDemo(en)RefinedWeb
prince_zxill·2025-05-19 03:41

deepseek-glm4-grpo训练

：CUDA_VISIBLE_DEVICES=1nohuppythontest.py--model_name_or_path/home/LLaMA-Factory/saves/glm4-9b-lora-alpaca_reference_train20250115
贾亚飞·2025-05-07 06:55

deepseek-glm4-grpo训练

：CUDA_VISIBLE_DEVICES=1nohuppythontest.py--model_name_or_path/home/LLaMA-Factory/saves/glm4-9b-lora-alpaca_reference_train20250115
贾亚飞·2025-05-07 06:55

LLaMa Factory大模型微调

LLaMaFactory大模型微调大模型微调平台&硬件LLaMA-Factory安装hfd下载huggingface模型自我认知微调Alpaca数据集指令监督微调断点续训大模型微调微调自我认知+微调特定领域数据集
明天一定早睡早起·2025-04-30 21:55

全量微调Llama2-7b遇到的错误(stanford_alpaca)_bash pretrain_llama2_7b_distributed_zl200

项目地址：GitHub-tatsu-lab/stanford_alpaca:CodeanddocumentationtotrainStanford’sAlpacamodels,andgeneratethedata.CodeanddocumentationtotrainStanford
2401_84009679·2025-04-30 21:54

大模型微调真的有技术含量吗？

一、数据质量：技术含量的第一道分水岭微调的核心逻辑是‌用特定数据雕刻模型能力‌，但数据质量直接决定成败：低技术含量做法‌：直接套用现成开源数据（如Alpaca格式），仅能生成“正确但平庸”的回答；高技术含量实践‌
·2025-04-26 05:14

大模型微调系列（三）QLoRA微调

本文会带给你认识常用的指令监督微调数据集如何构建自定义数据集为什么是QLoRA学会使用LLamFactory进行QLoRA微调大模型一、数据集常用的数据集有Alpaca格式和ShareGPT格式，下面我们分别介绍这两种格式数据集
topfine·2025-04-01 00:22

max_samples，batch_size，gradient_accumulation_steps这三个分别的联系和区别

你的代码示例：max_samples=300#每个数据集最多用300条样本解释：假设你的dataset里包含：identity数据集有10,000条数据alpaca_en_demo数
背太阳的牧羊人·2025-03-15 19:09

LLMs之Llama-3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3

T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-8b-Instruct-bnb-4bit模型采用alpaca
一个处女座的程序猿·2025-03-07 09:41

垂类大模型微调（二）：使用LLaMA-Factory

训练集准备1.1介绍训练集结构这里演示对Qwen2.5-0.5B-Instruct-GPTQ-Int4模型进行LoRA微调，大家可以根据垂类大模型微调（一）从魔塔中下载对应模型；目前该工具支持指令监督微调（Alpaca
CITY_OF_MO_GY·2025-02-24 07:00

微调alpaca-lora遇到的一些问题

目录一、环境简介二、混合精度训练Tensor相互计算会报错三、推理加载lora报错：SafetensorError:Errorwhiledeserializingheader:InvalidHeaderDeserialization四、peft(版本0.9.0)save_pretrained不保存adapter_model.bin五、一些代码注释六、问题问答6.1、model已经使用了load_i
自学AI的鲨鱼儿·2025-02-19 05:42

LLaMA系列大模型调研与整理-llama-alpaca-lora

文章目录LLaMA大模型及其衍生模型1.LLaMA2.stanford_alpaca3.ChatDoctor4.alpaca-lora5.Chinese-LLaMA-Alpaca6.BELLE大模型综述
AI大模型-大飞·2025-02-19 02:17

【大模型】数据集构造方式

1.Alpaca数据格式Alpaca数据格式最早由StanfordAlpaca项目提出，目的是用来微调大语言模型（LLM），特别是用于InstructionTuning（指令微调）。
油泼辣子多加·2025-02-18 22:02

LLM大模型中文开源数据集集锦（三）

文章目录1ChatGLM-Med:基于中文医学知识的ChatGLM模型微调1.1数据集1.2ChatGLM+P-tuningV2微调1.3Llama+Alpaca的Lora微调版本2LawGPT_zh：
悟乙己·2025-02-14 13:01

chatgpt赋能python：初学者指南：用Python进行股票买卖

Python有许多开源库如twsapi,alpaca-trade-api,td-ameritrade-pyth
laingziwei·2025-02-03 01:13

对话小羊驼vicuna

文章目录1.gpu租用2.公网网盘存储实例/数据3.登录实例4.预训练模型下载5.llama、alpaca、vicuna的前世今生6.对话Vicuna（1）llama-2-7b-hf（2）vicuna-
Always_Shine·2025-01-27 01:44

LLaMA-Factory 基于 LoRA 的 SFT 指令微调及相关功能梳理

1.数据准备微调数据的格式为Alpaca或ShareGPT格式，需进行以下步骤：自定义数据集转换：将原始数据集转换成指定格式（JSON格式）。
Ambition_LAO·2025-01-21 07:42

大模型入门（一）

大模型入门（一）一、LLaMa模型介绍1）Pre-normalization2）SwiGLU激活函数3）RoPE旋转位置编码二、Alpaca模型介绍三、Vicuna模型介绍大模型入门（一）——LLaMa
pit_man·2024-09-08 05:40

LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】

site-packages/transformers/models/llama/modeling_llama.py#coding=utf-8#Copyright2022EleutherAIandtheHuggingFaceInc.team.Allrightsreserved.##ThiscodeisbasedonEleutherAI'sGPT-NeoXlibraryandtheGPT-NeoX#a
u013250861·2024-08-31 22:57

AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

文章目录Llamp.cpp环境配置Chinese-LLaMA-Alpaca-2模型介绍模型下载转换生成量化模型Anaconda环境安装运行Llamp.cpp环境配置[email protected]
mrbone11·2024-08-30 01:00

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning

2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型
Cc不爱吃洋葱·2024-08-26 19:12

【Meta-Al】llama GPT 测试

2023-4-28更新：github有兄弟合并+量化了7B、13B的权重，Chinese-Alpaca项目部署体验更简单：GitHub-ymcui/Chinese-LLaMA-Alpaca:中文LLaMA
0x13·2024-02-09 19:21

掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca、BOOLM、LLaMA、ChatGLM、DeepSpeedChat
机器学习社区·2024-01-23 01:02

羊驼系列大模型LLaMa、Alpaca、Vicuna

系列：类比ios系统，不开源LLaMa让大模型平民化LLaMa优势用到的数据：大部分英语、西班牙语，少中文模型下载地址https://huggingface.co/meta-llamaAlpaca模型Alpaca
南宫凝忆·2024-01-21 13:59

开源大模型领域最重要的玩家们，在关心/担心什么

从2月份Meta发布的Llama，到3月份斯坦福大学微调Llama后发布的Alpaca，再到5月份出现的Falcon，世界各地的开源模型在「内卷」中快速进步。
开源社·2024-01-21 10:14

【AI】RTX2060 6G Ubuntu 22.04.1 LTS (Jammy Jellyfish) 部署Chinese-LLaMA-Alpaca-2

下载源码cd~/Downloads/aigitclone--depth=1https://gitee.com/ymcui/Chinese-LLaMA-Alpaca-2创建venvpython3-mvenvvenvsourcevenv
hkNaruto·2024-01-18 07:36

王团长区块链日记1209篇：市场依然热火朝天

昨天晚上一个大瓜，火币上的一个项目hbo转币转错了，转到池子里面去了，一下把bho弄崩盘了，不过今天已经出来补偿方案了今天币安链和火币链的矿都不少，火币上的depth，mdex，还有币安上的alpaca
王团长日记·2024-01-12 10:46

大模型中训练出现的ignore_index的作用

问题：研究stanford_alpaca代码时，不清楚ignore_index=-100有什么用？
Takoony·2024-01-12 08:23

AI数据微调找免费GPU遇阻之路

本机上安装了Chinese-LLaMA-Alpaca，这是中国建立的语言大模型，计划在上面做
manok·2024-01-11 10:12

Chinese-llama-2部署踩坑记录

Chinese-llama-2部署踩坑记录1.Chinese-LLaMA-Alpaca-2A.部署a.inference_with_transformers_zhb.textgenerationwebui_zhc.api_calls_zhd.llamacpp_zhe.privategpt_zhf.langchain_zhToolGithub1
国家一级假勤奋大学生·2024-01-10 07:50

LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读

导读：本文介绍了改进LLaMA和Alpaca模型在中文理解和生成方面能力的方法。通过扩展词表、参数高效微调、指令式微调和不同量化方法，提升了模型在指令任务和自然语言理解任务中的性能。
GitHub质检员·2023-12-21 20:24

最强开源大模型？Llama 2论文解读

RLHF）人类偏好数据的收集奖励模型迭代微调过程多轮对话控制RLHF结果模型回答的安全性  一直以来，Llama模型被认为是AI社区最强大的开源模型，国内外众多的开源模型均是在其基础上二次训练/开发而来，如Alpaca
长白山下大绵羊·2023-12-16 13:52

Python数组中赋值，浅拷贝，深拷贝的区别

name=["roc","python","kun",["cat","alpaca"],"fox"]name2=namename[2]="鲲"print(name)pr
RocyvW·2023-12-01 05:32

从零详细地梳理一个完整的 LLM 训练流程

当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如：[alpaca]、[vicuna]等）。
大数据AI人工智能培训专家培训讲师叶梓·2023-11-29 22:23

大模型中的各种模型名词概念

TransformerGPT（GPT-3、GPT-3.5、GPT-4）BERTRoBERTaT5XlNetGShardSwitchTransformerInstrucGPTChatGPT大模型LLM（大语言模型）Alpaca
小湘西·2023-11-29 04:06

LLM-2023：Alpaca（羊驼）【Stanford】【性能与GPT3.5相当比GPT4逊色，训练成本不到100美元，基于LLaMA和指令微调，仅使用约5万条训练数据就能达到类似GPT-3.5】

斯坦福的Alpaca模型基于LLaMA-7B和指令微调，仅使用约5万条训练数据，就能达到类似GPT-3.5的效果。
u013250861·2023-11-27 05:05

各种LLM数据集包括SFT数据集

ChatGPT指令Belle数据集：BelleGroup/train_0.5M_CN100万条中文ChatGPT指令Belle数据集：BelleGroup/train_1M_CN5万条英文ChatGPT指令Alpaca
东方佑·2023-11-22 22:28

NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom
u013250861·2023-11-16 17:00

LLM（四）| Chinese-LLaMA-Alpaca：包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型

EFFICIENTANDEFFECTIVETEXTENCODINGFORCHINESELLAMAANDALPACA》论文地址：https://arxiv.org/pdf/2304.08177v1.pdfGithub地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca
wshzd·2023-11-16 17:25

大语言模型的学习路线和开源模型的学习材料《一》

6BChatGLM-6B第十重BaichuanBaichuan2Baichuan-13Bbaichuan-7B第十一重Llama2第二重StanfordAlpaca7B第三重Chinese-LLaMA-Alpaca
三更两点·2023-11-05 13:56

Chinese-LLaMA-Alpaca本地搭建（三）

Chinese-LLaMA-Alpaca模型搭建（三）1、简单介绍1.1原版LLaMA模型介绍1.2LoRA权重模型1.3完整版权重模型2、模型搭建2.1直接到huggingface下载转换后的LLaMAhf
天罚神·2023-11-04 17:23

chinese_llama_aplaca训练和代码分析

训练细节·ymcui/Chinese-LLaMA-AlpacaWiki·GitHub中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署(ChineseLLaMA&AlpacaLLMs)-
Kun Li·2023-11-04 17:50

NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING

使用Alpaca对LLaM
UnknownBody·2023-10-26 18:37

大模型应用开发框架 LangChain 学习笔记

一场关于大模型的战役正在全世界激烈地上演着，国内外的各大科技巨头和研究机构纷纷投入到这场战役中，光是写名字就能罗列出一大串，比如国外的有OpenAI的GPT-4，Meta的LLaMa，StanfordUniversity的Alpaca
会发光的葫芦娃·2023-10-22 20:15

Alpaca构建方式探秘：低成本构造指令数据增强LLM

官方介绍：Alpaca:AStrong,ReplicableInstruction-FollowingModelgithub地址：https://github.com/tatsu-lab/stanford_alpacaAlpaca
从流域到海域·2023-10-22 19:50

LLMs之BELLE：BELLE(一款能够帮到每一个人的中文LLM引擎)的简介(基于Alpaca架构+中文优化+考察词表扩充/数据质量/数据语言分布/数据规模的量化分析)、使用方法、案例应用之详细攻略

LLMs之BELLE：BELLE(一款能够帮到每一个人的中文LLM引擎)的简介(基于Alpaca架构+中文优化+考察词表扩充/数据质量/数据语言分布/数据规模的量化分析)、使用方法、案例应用之详细攻略导读
一个处女座的程序猿·2023-10-21 18:02

打造类ChatGPT服务，本地部署大语言模型（LLM），如何远程访问？

以LangChain-Chatchat为例：不仅最新版本可使用FastChat接入Vicuna,Alpaca,LLaMA
贝锐·2023-10-13 13:55

每日最新空投糖果分享（持续更新2018-06-07）

草泥马币二期空投1000草泥马币点击进入http://alpaca.77yp.com/?
优质空投糖果·2023-10-13 04:17
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他