LLaMA-Factory

在Windows上用Llama Factory微调Llama 3的基本操作

这篇博客参考了一些文章，例如：教程：利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客也可以参考LlamaFactory的Readme：GitHub-hiyouga/LLaMA-Factory

蛐蛐蛐·2025-02-02 13:16

[论文笔记] llama-factory 微调qwen2.5、llama3踩坑

pre-tokenize的时候,会OOM解决：在yaml文件中添加streaming参数#tokenizestreaming:Truemax_steps:10000https://github.com/hiyouga/LLaMA-Factory

心心喵·2025-01-28 20:14

llamafactory0.9.0微调qwen2vl

LLaMA-Factory/data/README_zh.mdatmain·hiyouga/LLaMA-Factory·GitHubEfficientlyFine-Tune100+LLMsinWebUI

Kun Li·2025-01-28 15:07

【环境安装】安装LLaMA-Factory

【机器背景说明】Linux-Centos7；显卡驱动：DriverVersion:460.106.00；TeslaP40*2【目标环境说明】torch==1.13.1+cu116llamafactory==0.9.2.dev01.CUDA11.6软件安装CUDA11.6软件有两种安装方式,一个是直接安装到Pip环境中、一种是下载到本地安装1.1在Pip环境里直接安装(推荐)此方法优点：省事不需要通

BoostingIsm·2025-01-22 05:47

LLaMA-Factory 基于 LoRA 的 SFT 指令微调及相关功能梳理

1.数据准备微调数据的格式为Alpaca或ShareGPT格式，需进行以下步骤：自定义数据集转换：将原始数据集转换成指定格式（JSON格式）。示例数据：{"instruction":"写一个商品文案","input":"类型#裤*版型#宽松","output":"宽松的阔腿裤吸引了大量明星的喜爱，设计感十足。"}数据注册：修改data/dataset_info.json文件，将数据集注册到系统中。

Ambition_LAO·2025-01-21 07:42

LLaMA-Factory全面指南：从训练到部署

项目背景与概述LLaMA-Factory项目目标LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。

我就是全世界·2025-01-17 15:46

LLAMA Factory: 简洁高效的大语言模型训练平台

LLAMAFactory:简洁高效的大语言模型训练平台LLaMA-Factory易于使用的LLM微调框架（LLaMA,BLOOM,Mistral,百川，Qwen,ChatGLM）。

俞纬鉴Joshua·2024-09-11 08:57

基于LLaMA-Factory的微调记录

文章目录数据模型准备基于网页的简单微调基于网页的简单评测基于网页的简单聊天LLaMA-Factory是一个非常好用的无代码微调框架，不管是在模型、微调方式还是参数设置上都提供了非常完备的支持，下面是对微调全过程的一个记录

羊城迷鹿·2024-01-27 18:44

LLaMa-Factory最新微调实践，轻松实现专属大模型

1.为什么要对Yuan2.0做微调？Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yuan2.0已经开源参数量分别是102B、51B和2B的3个基础模型，以供研发人员做进一步的开发。LLM（大语言模型）微调方案是解决通用大模型落地私有领域的

浪潮圈·2024-01-26 04:38

源2.0大模型适配LLaMA-Factory框架！

近日，源2.0开源大模型与LLaMA-Factory框架完成全面适配，用户通过LLaMA-Factory，即可快捷、高效地对不同参数规模的源2.0基础模型进行全量微调及高效微调，轻松实现专属大模型。

AI知识图谱大本营·2024-01-21 13:34

LLaMA-Factory添加adalora

在LLaMA-Factory中添加adalora1.修改src/llmtuner/hparams/

wozwdaqian·2024-01-13 04:36

使用LLaMA-Factory微调ChatGLM3

1、创建虚拟环境略2、部署LLaMA-Factory（1）下载LLaMA-Factoryhttps://github.com/hiyouga/LLaMA-Factory（2）安装依赖pip3install-rrequirements.txt

我在北国不背锅·2023-12-27 15:54

LLama Factory 安装部署实操记录（二）

1.项目地址GitHub-hiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,Qwen

瑾怀轩·2023-12-22 16:13

LLaMA-Factory使用V100微调ChatGLM2报错 RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘

微调命令CUDA_VISIBLE_DEVICES=0python/aaa/LLaMA-Factory/src/train_bash.py\--stagesft\--model_name_or_path/

ybdesire·2023-12-15 13:01

LLaMA-Factory用self_cognition数据微调ChatGLM2后，CLI运行输出乱码和报错 IndexError: piece id is out of range

微调命令CUDA_VISIBLE_DEVICES=0python/aaabbb/LLaMA-Factory/src/train_bash.py\--stagesft\--model_name_or_path

ybdesire·2023-12-15 13:01

LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型简单案例

参考：https://github.com/huggingface/pefthttps://github.com/hiyouga/LLaMA-Factory1、LLaMA-Factory可视化界面微调chatglm2

loong_XL·2023-12-15 13:59

baichuan-7B-chat微调报错及解决记录使用的仓库：LLaMA-Factory 2023年11月27日

我所使用的代码仓库是LLaMA-Factoryhiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan

ygdzzx·2023-12-15 13:57

LLaMA-Factory微调ChatGLM3报错： Segmentation fault (core dumped)

SFT训练模型的命令CUDA_VISIBLE_DEVICES=0pythonsrc/train_bash.py\--stagesft\--model_name_or_pathmodels/chatglm3-6b\--do_train\--datasetself_cognition\--templatechatglm3\--finetuning_typelora\--lora_targetquery

ybdesire·2023-12-15 13:19

安装LLaMA-Factory微调chatglm3，修改自我认知

安装gitclonehttps://github.com/hiyouga/LLaMA-Factory.gitcondacreate-nllama_factorypython=3.10condaactivatellama_factorycdLLaMA-Factorypipinstall-rrequirements.txt之后运行单卡训练，CUDA_VISIBLE_DEVICES=0pythonsrc

小草cys·2023-12-15 13:46

百川大模型微调

模型下载https://huggingface.co/baichuan-inc微调框架https://github.com/hiyouga/LLaMA-Factory环境搭建gitclonehttps:

lanmengyiyu·2023-11-10 16:37

推荐频道