微调第2页

【ShuQiHere】微调与训练恢复：理解 `load_weights` 和 `save_model` 的实用方法

【ShuQiHere】在深度学习的世界中，训练一个模型不仅需要时间，还需要大量的计算资源。比如，你已经花了几天时间训练一个模型，但突然间，电脑崩溃了，你的所有进度都丢失了。这种情况就像是在一场马拉松比赛的最后一公里摔倒，让人沮丧至极。那么，有没有什么方法可以避免这种悲剧呢？今天，我们就来聊聊如何通过保存和加载模型的权重来应对这些挑战，确保你在深度学习的旅程中不会白费功夫。模型保存和加载的背景训练一

ShuQiHere·2024-08-31 02:37

Bert中文预训练模型（Bert-base-chinese）

Bert-base-chinese模型是一个在简体和繁体中文文本上训练得到的预训练模型，具有以下特点：12个隐层输出768维张量12个自注意力头110M参数量该模型的主要作用是获取每个汉字的向量表示，后续通过微调可应用于各种简体和繁体中文任务

好好学习Py·2024-08-30 22:14

2025秋招大语言模型落地实践面试题

2.2何时使用微调与何时使用RAG？2.3在训练大语言模型时遇到的关键挑战是什么？数据资源3.1如何标注一个监督微调（SFT）数据集？3.2在众包

微凉的衣柜·2024-08-30 01:26

NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读

BIRD-SQL解读NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（SpidervsBIRD）全面对比优劣分析[Text2SQL、Text2DSL]NL2SQL基础系列(2)：主流大模型与微调方法精选集

汀、人工智能·2024-08-30 01:25

GPT-SoVITS语音合成服务器部署，可远程访问（全部代码和详细部署步骤）

Zero-shotTTS可以让用户输入5秒钟的语音样本并立即体验转换后的语音，而Few-shotTTS则可以通过使用仅一分钟的训练数据进行模型微调，从而提高语音相似度和真实性。

学术菜鸟小晨·2024-08-28 19:31

Code Llama: Open Foundation Models for Code论文阅读

作者针对infilling(FIM)、长上下文、指令专门做了微调long-contextfine-tuning(LCFT).codellama细节CodeLlama模型家族初始化:所有CodeLla

yang_daxia·2024-08-27 18:46

OpenAI推出GPT-4o微调功能

AI新闻OpenAI推出GPT-4o微调功能摘要：OpenAI近日推出了一项新功能，允许企业客户使用自有数据对GPT-4o模型进行微调，以优化针对特定任务的表现。

go2coding·2024-08-27 17:46

智源研究院举办第一期数据与行业应用Workshop

来自智源研究院、中国信息通信研究院、航天信息技术有限公司、北京市科学技术研究院、北大法宝的专家学者们分享了行业数据集与医疗示范模型训练的探索实践，千万级指令微调数据集构建经验，面向大模型的数据工程以及大模型在财税

智源研究院官方账号·2024-08-27 16:06

基于华为昇腾910B和LLaMA Factory多卡微调的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

herosunly·2024-08-27 10:57

大模型18：微调大模型方法PEFT(LoRA等) — 训练 “ChatGLM2“ 项目

微调大模型的方法之一是PEFT（Parameter-EfficientFine-Tuning），其中包括LoRA（Low-RankAdaptation）等技术。

bluewelkin·2024-08-27 01:38

大模型19：微调大模型方法

有监督微调（SFT）、奖励模型（RM）训练，以及基于人类反馈的强化学习（RLHF）训练1.有监督微调（SFT-SupervisedFine-Tuning）数据处理数据收集：首先，需要收集大量的对话数据。

bluewelkin·2024-08-27 01:38

大模型微调方法总结：LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

然而，微调（finetuning）这些大模型以适应特定任务是一个复杂且计算密集型的过程。

百度_开发者中心·2024-08-26 19:14

Prompt-Tuning：大模型微调技术

为了解决这个问题，研究人员提出了各种大模型微调技术，以减少模型的大小和计算复杂度，同时保持模型的性能。

百度_开发者中心·2024-08-26 19:14

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning

要想训练一个针对特定领域的大模型，如果采用全量参数微调（FullParameterFutu

Cc不爱吃洋葱·2024-08-26 19:12

神经网络微调技术全解（02）-针对每种微调技术的具体实施示例（含代码）

下面是针对每种微调技术的具体实施示例，帮助理解如何应用这些技术进行模型微调：1.Adapter示例：假设我们使用BERT模型进行情感分析任务，并且希望利用Adapter模块进行微调。

技术与健康·2024-08-26 11:20

从零开始大模型开发与微调：有趣的词嵌入

从零开始大模型开发与微调：有趣的词嵌入作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来自然语言处理（NLP）领域近年来取得了飞速发展

AGI通用人工智能之禅·2024-08-26 08:33

使用书生万象InternVL大模型进行自定义视频数据集微调时没有petrel_client导致NoneType异常

使用书生万象InternVL大模型进行自定义视频数据集微调时没有petrel_client导致NoneType异常1、项目 7月4日下午，世界人工智能大会科学前沿论坛，代季峰老师代表InternVL研究团队发布了

菜b杨·2024-08-26 06:54

欺诈文本分类微调（六）：Lora单卡训练

1.引言前面欺诈文本分类微调（四）：构造训练/测试数据集已经构造出了数据集，更之前的欺诈文本分类微调（一）：基座模型选型选好了基座模型，这篇文章将基于构造出的数据集和选定的模型进行欺诈文本分类的微调训练

沉下心来学鲁班·2024-08-25 11:27

用 Unsloth 微调 LLaMA 3 8B

用Unsloth微调LLaMA38B今年4月份，Meta公司发布了功能强大的大型语言模型（LLM）Llama-3，为从事各种NLP任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。

liugddx·2024-08-25 08:05

离线 AI：使用 Termux 从源代码在 Android 手机/Waydroid 上构建 Ollama

Android手机/WaydroidTermux的终端命令相同推荐文章《在自己笔记本上使用Llama-3生成PowerPoint—幻灯片自动化的第一步》权重1，本地类、ppt类《如何微调NLLB-200

知识大胖·2024-08-23 17:32

金清焦点网络中12 坚持原创分享第 153天

扩大白而非消灭黑，家庭是个系统，微调自己，整个家庭系统就开始发

金JJ·2024-08-22 21:57

多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）

写代码的中青年·2024-08-22 15:59

大模型应用中什么是SFT（监督微调）？

大模型应用中什么是SFT（监督微调）？一、SFT的基本概念监督微调（SupervisedFine-Tuning,SFT）是对已经预训练的模型进行特定任务的训练，以提高其在该任务上的表现。

Chauvin912·2024-08-22 04:47

Spinbox 控件是 Tkinter 库中一个相对较新的控件

Spinbox控件可以看作是Entry控件的升级版，#它不仅允许用户直接在文本框中输入内容，还提供了一个微调选择器，即上下按钮调节器#，允许用户通过点击按钮来选择一个范围内的值importtkinterastk

我不是立达刘宁宇·2024-08-21 21:33

UNDERSTANDING HTML WITH LARGE LANGUAGE MODELS

我们为HTML理解模型（经过微调

liferecords·2024-03-28 21:56

SWIFT环境配置及大模型微调实践

SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFTQwen_audio_chat大模型微调实践问题1:问题2:问题定位解决方法手动安装pytorchSWIFT介绍参考：这里SWIFT

weixin_43870390·2024-03-26 22:42

SWIFT介绍和学习(简单入门级别)

部署指南vllm非官方介绍资料项目地址：https://github.com/modelscope/swift任何有疑惑的地方，参考项目首页readme寻求答案SWIFT功能介绍SWIFT（可扩展的轻量级微调基础设施

weixin_43870390·2024-03-26 22:42

大模型加速与性能对比

事实证明安装之后对于推理速度的提升也很小（5%），网上说对于微调训练的速度提升比较大，因为是在内网环境下，安装还费了一番周折。

__如风__·2024-03-12 11:58

刘建华|Day118感恩日记

感恩周末了可以稍微调整一下作息时间。早上可以懒懒的躺在床上。感恩柔软的床。感恩我们这些劳动者有休息的周末时光。感恩母亲为我们做好的早餐，泡好的茶。感我吃到的所有食物。

蓝色与星光·2024-03-05 17:58

预训练大模型LLM的微调PEFT（概述）

微调的分类对大模型进行二次训练的操作我们通常称为微调（Fine-T

若石之上·2024-03-05 00:49

054 人民日报图卡仿制-新冠疫苗诈骗套路（20210118）

在图标的亮度，颜色设置方面需要进行微调。

霍霍的图卡笔记·2024-03-04 13:58

大模型训练——PEFT与LORA介绍

PEFT是一种参数高效的微调技术，由Huggingface发布。这种方法的核心思想是仅微调少量（额外）模型参数，同时冻结预训练LLM的大部分参数。这样做的好处是大大降低了

MarkHD·2024-03-03 10:30

关于数据大屏的设计与开发

但1920放到更高分辨率会出现图片模糊现象、原因就是图片1像素低，可以使用2倍图2、关于开发：大屏使用场景一般是全屏显示，如果在非全屏场景，比例就会与设计稿不同，可以监听全屏和非全屏，使用两套样式进行微调

码云的一天·2024-02-27 03:41

人工智能_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_001---人工智能工作笔记0096

然后执行yumupdate先去更新一下系统,可以省掉很多麻烦20240219_150031这里我们使用centos系统吧,使用习惯了.ChatGlm首先需要一台个人计算机,或者服务器,要的算力,训练最多,微调次之

脑瓜凉·2024-02-20 21:01

美国首届生成式人工智能与法律研讨（上）

、生成式AI与法律的跨学科研究3.1确定和定义跨学科术语3.2构建有价值的隐喻3.3理解不断发展的商业模式四、生成式AI的独特性4.1从执行狭义任务到处理开放式任务的转变4.2训练流程的发展：预训练和微调

岛屿旅人·2024-02-20 19:40

devc++跑酷小游戏3.0.0

1.0.0devc++跑酷小游戏1.2.5devc++跑酷游戏1.2.6devc++跑酷游戏2.0.0devc++跑酷游戏2.0.1devc++跑酷游戏2.4.0【更新内容每日废话】关卡数量没变，每个都微调了一下

Jsjjsnmsk·2024-02-20 16:22

MinIO 和 Apache Tika：文本提取模式

前提假设我想构建一个文本数据集，然后我可以用它来微调LLM.为了做到这一点，我们首先需要组装各种文档（由于它们的来源，这些文档可能采用不同的形式）并从中提取文本。

MinIO官方账号·2024-02-20 16:42

60分钟吃掉ChatGLM2-6b微调范例~

干货预警：这可能是你能够找到的最容易懂的，最完整的，适用于各种NLP任务的开源LLM的finetune教程~ChatGLM2-6b是清华开源的小尺寸LLM，只需要一块普通的显卡(32G较稳妥)即可推理和微调

算法美食屋·2024-02-20 14:59

Hugging Face PEFT文档指南 - 第一章：开始使用

原文:PEFT文档指南-第一章：开始使用https://huggingface.co/docs/peft/indexPEFTPEFT（参数高效微调）是一个库，用于有效地将预训练的语言模型（PLMs）适应各种下游应用

Tim_Van·2024-02-20 13:28

CSS：定位

定位1、static定位无定位2、fixed定位相对于窗口得定位3、relative定位相对于自己得正常位置，可以使用leftrighttopbottom进行元素得微调4、absolute定位绝对定位的元素的位置相对于最近的已定位父元素

无敌的黑星星·2024-02-20 10:44

Elasticsearch：特定领域的生成式 AI - 预训练、微调和 RAG

对特定领域数据集进行预训练和微调等方法使LLMs能够推理并生成特定领域语言。然而，使用这些LLM作为知识库仍然容易产生幻觉。

Elastic 中国社区官方博客·2024-02-20 01:33

【AIGC】Stable Diffusion的模型微调

为什么要做模型微调模型微调可以在现有模型的基础上，让AI懂得如何更精确生成/生成特定的风格、概念、角色、姿势、对象。StableDiffusion模型的微调方法通常依赖于您要微调的具体任务和数据。

AIGCExplore·2024-02-20 01:42

PyTorch-线性回归

已经进入大模微调的时代，但是学习pytorch，对后续学习rasa框架有一定帮助吧。

一个高效工作的家伙·2024-02-20 00:46

【论文精读】SimCLR2

摘要本文提出了一个半监督学习框架，包括三个步骤：无监督或自监督的预训练；有监督微调；使用未标记数据进行蒸馏。

None-D·2024-02-19 22:40

（2024，提示优化，监督微调，强化学习，近端策略优化）用于安全生成文本到图像的通用提示优化器

UniversalPromptOptimizerforSafeText-to-ImageGeneration公和众和号：EDPJ（进Q交流群：922230617或加VX：CV_EDPJ进V交流群）目录0.摘要2.相关工作3.提议的框架4.实验0.摘要文本-图像（Text-to-Image，T2I）模型在基于文本提示生成图像方面表现出色。然而，这些模型对于不安全的输入以生成不安全的内容，如性、骚扰和

EDPJ·2024-02-19 22:37

LLaMA 2 - 你所需要的一切资源

它的微调模型则在超过100万个人工标注数据下完成。这篇博客包含了所有的相关资源，以帮助您快速入

·2024-02-19 21:59

阿松上师每日开示（1208）

特别说明：文章内容转自阿松上师微信号的每日开示，仅作尽少部分排版、错字、标点、配图等微调处理。

曾路·2024-02-19 20:29

日更

本来想获得日更365天徽章以后，就不用每日去写心愿，稍微调整一下方向，写一些有的放矢的内容，不是每日碎碎念。从开始的每日苦思冥想，到现在每日随手写一篇文章，难度已经不大。但是觉得想写深度好像

夜幽莲·2024-02-19 19:07

作物模型狂奔 Apsim 脚本并行思路

这里没图，去B站看看整体思路：Python-》R-》Apsimx0、准备工作0.0电脑环境我用的Win10啦，Linux、Mac可能得自己再去微调一下。

F_Dregs·2024-02-19 16:20

推荐频道

微调

最新视频合成后调优技术ExVideo模型部署