BERT微调第6页

【大模型实践解惑】如何在 Supervised Fine‑Tuning (SFT) 之后进行 Direct Preference Optimization (DPO) 微调？

关于在SFT之后进行DPO微调的技术解析与应用指南，结合国内外最新研究及实践案例，包含代码实现与未来优化方向：文章目录DPO的核心原理与SFT的局限性1.1SFT的瓶颈与偏好学习的必要性1.2DPO的数学基础与优化目标

云博士的AI课堂·2025-06-08 10:28

构建面向大模型训练与部署的一体化架构：从文档解析到智能调度

weixin_40941102·2025-06-08 10:56

【医疗影像】THE BEER-LAMBERT LAW

吸光度A=log10(I0I)A=log_{10}(\frac{I_0}I)A=log10(II0)如果您了解光谱仪如何工作，您就会知道它使一系列波长的光穿过物质溶液（样品cell），同样地，也会穿过溶剂（参考cell）对于穿过光谱仪的每个波长的光，测量穿过参考cell的光的强度。这通常被称为I0I_0I0还可以测量该波长穿过样品池的光强度-给出符号III。如果I小于Io，则显然样品吸收了一些光。

qq_42725437·2025-06-08 10:54

基于 Transformer 的模型（BERT、GPT）深度解析

目录基于Transformer的模型（BERT、GPT）深度解析1.Transformer架构简介1.1Transformer的起源1.2Transformer架构的结构图1.3TensorFlow中的

一碗黄焖鸡三碗米饭·2025-06-08 06:57

【人工智能】Transformer、BERT、GPT：区别与联系

Transformer、BERT、GPT：区别与联系近年来，Transformer、BERT、GPT等模型在自然语言处理领域取得了巨大成功，深刻改变了我们对语言理解和生成的认识。

若北辰·2025-06-08 06:24

BERT, GPT, Transformer之间的关系

1.Transformer是什么？简单介绍1.1通俗理解想象你是一个翻译员，要把一句话从中文翻译成英文。你需要同时看句子里的每个词，理解它们之间的关系。Transformer就像一个超级翻译助手，它用“自注意力机制”（Attention）一次处理所有词，快速找出重要联系，比老式的翻译机（RNN）更快更聪明。1.2技术定义Transformer是2017年由Vaswani等人提出的神经网络架构（论文

D11PMINDER·2025-06-08 05:24

一文概叙自制舵机云台

先以简单的PWM舵机为例：DS-S006M九克铜齿舵机（有条件的也可以上总线舵机，配合高精度磁编码传感器，可以做闭环控制，角度微调，精准度也更高）。注意舵机的扭矩和速度，以确保能够满足云台的运动需求

东莞市德晟智能科技有限公司·2025-06-08 02:01

MIT线性代数笔记03-矩阵乘法和逆矩阵

LinearAlgebra-Lecture03矩阵乘法和逆矩阵GilbertStrang矩阵乘法对于矩阵乘法AB=C\bold{AB=C}AB=C主要有5种方法可用于计算：【前提条件】：A,B\bold

loneux·2025-06-07 21:58

大模型时代，什么样的算法工程师更吃香？

但往往人的精力有限，如果从数据、预训练、微调、对齐、推理、应用几个方面来看的话，个人觉得现在重要性排序是“预训练>应用>数据>对齐>推理>微调”。先说一下各个方向的特点，再说我为啥这么排序吧。

雪碧没气阿·2025-06-07 18:07

Python训练营打卡DAY45

tensorboard的发展历史和原理tensorboard的常见操作tensorboard在cifar上的实战：MLP和CNN模型效果展示如下，很适合拿去组会汇报撑页数：作业：对resnet18在cifar10上采用微调策略下

我想睡觉261·2025-06-07 18:35

DPO算法微调实战

代码地址见文末1.环境配置condacreate--nameflorencepython=3.11condaactivateflorencenvcc--versionpip3install-ihttps://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/torchtorchvisiontorchaudio--index-urlhttps://downlo

樱花的浪漫·2025-06-07 17:02

为什么 SDXL 用两个文本编码器？

技术兼容性部分SDXL的微调模型（如DreamBooth）可能仅使用其中一个编码器。注意事项如果你在提取中间层特征（例如text_encoder.text_model.enc

不当菜鸡的程序媛·2025-06-07 16:27

对 `llamafactory-cli api -h` 输出的详细解读

llamafactory-cli是LlamaFactory项目提供的命令行接口工具，它允许用户通过命令行参数来配置和运行大型语言模型的各种任务，如预训练（PT）、有监督微调（SFT）、奖励模型训练（RM

路人与大师·2025-06-07 13:36

【AI】大语言模型引擎全解析：Transformers、vLLM、Llama.cpp、SGLang、MLX 和 Ollama，最佳选择？

近年来，大语言模型（LLMs）如GPT、LLaMA、BERT等已经成为人工智能领域的核心驱动力。然而，如何高效地运行和优化这些模型，成为了开发者和研究者面临的重要挑战。

厦门德仔·2025-06-07 12:02

SpringCloud 整合Sleuth+Zipkin+ELK实战

zipkin-server服务1.1官网网站1.2手撸创建zipkin-server（二）构建Sleuth服务2.1创建项目2.2查看Zipkin界面的链路信息（三）Sleuth整合ELKSleuth项目的微调访问

eddie_k2·2025-06-07 12:02

LLaMA-Factory的5种推理方式总结

LLaMA-Factory作为一款开源的大语言模型微调与推理框架，提供了5种核心推理方式，覆盖从本地调试到生产部署的全流程需求。

勤奋的知更鸟·2025-06-07 12:00

LLaMA-Factory 微调 Qwen2-VL 进行人脸情感识别（二）

在上一篇文章中，我们详细介绍了如何使用LLaMA-Factory框架对Qwen2-VL大模型进行微调，以实现人脸情感识别的功能。

anneCoder·2025-06-07 12:30

大模型LoRA微调技术：原理、优势与应用实践

在众多大模型微调技术中，LoRA（Low-RankAdaptation，低秩自适应）因其高效性和实用性脱颖而出。本文将系统性地介绍LoRA微调技术，帮助项目管理者和技术团队理解这一重要技术。

一个小番茄·2025-06-07 08:31

DeepSeek模型微调实战：从数据准备到生产部署全流程指南

然而，要使模型真正适应特定业务场景，微调过程至关重要却充满挑战。本文将系统介绍DeepSeek模型微调的完整流程，揭示从数据准备到生产部署各环节的最佳实践，帮助开发者避开常见陷阱，实现高效的领域适配。

软考和人工智能学堂·2025-06-07 06:16

端到端大语言模型微调技术 Demo 全流程详解（附完整模块说明）

目录端到端大语言模型微调技术Demo全流程详解（附完整模块说明）一、项目结构概览二、数据准备模块（data/）1️⃣数据格式推荐2️⃣数据预处理流程3️⃣样本构造脚本三、模型构建模块（models/）模型加载逻辑

gs80140·2025-06-07 05:44

huggingface 使用和模型微调

简介HuggingFace技术生态全景解析一、技术架构解析1.核心组件构成Transformers库：提供统一API支持30+架构的预训练模型加载，核心抽象类包括AutoModel、AutoTokenizer、Pipeline。Hub平台：包含250k+模型、数据集及演示应用，采用GitLFS管理大文件版本。InferenceAPI：基于Kubernetes的动态扩缩容服务，支持零代码模型部署，提

Psycho_MrZhang·2025-06-07 04:35

ubuntu20.04使用docker部署ubuntu16.04环境

docker创建ubuntu16.04环境3.查看镜像4.启动镜像的一个容器5.进入容器并查看环境使用docker起因刚开始学习机器学习、深度学习都是使用的笔记本(只有集显)；后来做NLP项目需要训练bert

NUAA1703·2025-06-06 23:32

unsloth 微调 Qwen3 实战教程来了！

unsloth微调Qwen3模型提供显著优势：训练速度提高2倍，VRAM使用减少70%，支持8倍长的上下文。Qwen3–30B-A3B仅需17.5GBVRAM即可运行。

Python之栈·2025-06-06 22:23

SFT实战微调Gemma

1.运行环境搭建：虚拟环境实验要求：python3.10及以上版本pytorch1.12及以上版本，推荐2.0及以上版本建议使用CUDA11.4及以上transformers>=4.38.0请务必采用上面的环境，否则代码无法运行。如果python环境低于3.10则需要额外安装pipinstallbitsandbytesGemma模型链接和下载：支持直接下载模型的repo（以7b-it为例，服务器性

原味奶茶_三分甜·2025-06-06 22:53

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

我之前曾把大模型比作成一位无所不能无所不知且不知疲惫的“大师”。我们在日常工作、学习中等一些通用知识方面的问题，通常情况下，我们均可通过Prompt提示词就能从“大师”那里得到期望的结果。但是，在某些垂直场景的特定任务（包括：个性化服务、内部私有数据等）中，这位“大师”可能就不一定能胜任了：数据隐私安全：保密项目、创业团体和企业内部数据是需要保证绝对安全的，“大师”的知识来自预训练的公开数据，在推

知世不是芝士·2025-06-06 22:20

unsloth微调Qwen3模型实战

一、前言Unsloth是一个专注于优化大型语言模型（LLMs）微调效率的开源框架，旨在显著提升训练速度并降低显存占用，使得在资源有限的硬件（如单张消费级GPU）上高效微调大模型成为可能。

韭菜盖饭·2025-06-06 22:19

第23篇：AI技术实战：基于深度学习的图像识别与分类

代码示例（一）使用TensorFlow和Keras实现CNN进行图像分类1.数据准备与预处理2.构建CNN模型3.模型训练与评估（二）使用预训练模型进行迁移学习1.使用ResNet-50预训练模型2.微调预训练模型三

CarlowZJ·2025-06-06 19:31

昇思25天学习打卡营第十五天|基于 MindSpore 实现 BERT 对话情绪识别

明志刘明·2025-06-06 16:10

HRI-2025 | 大模型驱动的个性化可解释机器人人机交互研究

作者：FerranGebelli1^{1}1,LaviniaHriscu2^{2}2,RaquelRos1^{1}1,SéverinLemaignan1^{1}1,AlbertoSanfeliu2^{2

·2025-06-06 15:35

【速写】TRL：Trainer的细节与思考（PPO/DPO+LoRA可行性）

序言问题源于PPOTrainer里并没有跟SFTTrainer类似的peft_config参数，而SFTTrainer在带和不带peft_config参数的情况下分别对应高效微调和全量微调。

囚生CY·2025-06-06 07:08

【python深度学习】Day 45 Tensorboard使用介绍

tensorboard的发展历史和原理tensorboard的常见操作tensorboard在cifar上的实战：MLP和CNN模型效果展示如下，很适合拿去组会汇报撑页数：作业：对resnet18在cifar10上采用微调策略下

抽风的雨610·2025-06-06 06:04

RAG：大模型微调的革命性增强——检索增强生成技术深度解析

RAG：大模型微调的革命性增强——检索增强生成技术深度解析当大模型遇到知识瓶颈，RAG（检索增强生成）为模型装上"外部记忆库"，让静态知识库与动态生成能力完美融合。

摘取一颗天上星️·2025-06-05 22:13

LoRA：大模型高效微调的低秩之道——原理解析与技术实现

LoRA：大模型高效微调的低秩之道——原理解析与技术实现大型语言模型（LLMs）的全参数微调如同驾驶油轮转弯——资源消耗巨大且响应迟缓。

摘取一颗天上星️·2025-06-05 22:43

DeepSeek-R1-0528-Qwen3-8B为底座微调领域大模型准备:制作领域专用数据集

前言想要微调领域大模型，数据的准备是必不可少的。然而微调大模型需要的数据极多，这样花费很多人力和准备。有没有方便又高效的方法？一下子就可以准备大量的领域专用数据集呢？

Ven%·2025-06-05 17:33

以人类演示视频为提示，学习可泛化的机器人策略

当面对新任务时，此类方法通常需要收集一组新的遥操作数据并微调策略。此外，遥操作数据收集流程也很繁琐且

三谷秋水·2025-06-05 15:21

AlphaCode：人工智能编程的突破性进展

1.AlphaCode技术原理AlphaCode基于Transformer架构，采用了大规模无监督预训练和有监督微调相结合的方法。其核心创新点包括：大规模代码

亿只小灿灿·2025-06-05 09:45

【大模型入门指南 10】大模型推理部署：vLLM和llama.cpp

大模型入门指南03】提示词工程【大模型入门指南04】Transformer结构【大模型入门指南05】LLM技术选型【大模型入门指南06】LLM数据预处理【大模型入门指南07】量化技术解析【大模型入门指南08】微调和分布式训练

青松ᵃⁱ·2025-06-05 06:18

RAG优化知识库检索（3）：向量化模型选择与优化

本文将深入探讨嵌入模型的发展历程、不同类型的嵌入模型比较、微调技术、多语言挑战以及嵌入维度与性能的权衡等关键

程序员查理·2025-06-05 06:16

(LLaMa Factory)大模型训练方法--准备模型（Qwen2-0.5B）

1、准备训练框架LLaMAFactory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过WebUI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。

风起晨曦·2025-06-04 23:21

4. 如何减少大模型幻觉？⸺大模型外挂向量数据库的分析（知识延伸版）

（转载需经授权）目录1.大模型幻觉1.1大模型幻觉的含义1.2大模型幻觉产生的原因2.缓解大模型幻觉方案的比较与选择2.1Prompt优化2.2微调大模型2.3外挂知识库3.向量数据库3.1向量3.

姚瑞南Raynan·2025-06-04 20:27

matlab实现求解兰伯特问题

求解兰伯特问题的matlab代码，非常好用solve_lambertLYP.m,1899StumpffC.m,136StumpffdF.m,294StumpffF.m,151StumpffS.m,167Stumpffy.m

t19875128·2025-06-04 18:45

【论文阅读】VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning

研究目标：方法：采用强化微调（RFT）结合GRPO，专门针对视频MLLMs进行优化。目标：增强模型对视频时空感知的能力。保持模型的通用能力。实验与发现RFT在小样本数据下即可显著提

s1ckrain·2025-06-04 17:41

大模型模型推理的成本过高，如何进行量化或蒸馏优化

从自然语言处理到图像生成，再到复杂的多模态任务，像GPT、BERT、T5这样的庞大模型展现出了惊人的能力。它们在翻译、对话系统、内容生成等领域大放异彩，甚至在医疗、金融等行业中也开始扮演重要角色。

大模型大数据攻城狮·2025-06-04 17:38

自动驾驶转具身智能的切入点有哪些？

从算法维度上看，具身智能领域基本延续了机器人和自驾的一些算法，比如SLAM、规划控制、模型训练与微调方式、数据生成方式、大模型。当然也有很多具体的任务不太一样，比如数据采集方式、重执行硬件与结构。

自动驾驶之心·2025-06-04 16:59

正交与过完备基：从经典展开到压缩感知

在Hilbert空间HHH中，一组向量v1,v2,...,vn{v₁,v₂,...,vₙ}v1,v2,...,vn称为正交集，当且仅

DuHz·2025-06-04 16:27

聊天记录秒变数字分身，探索科技新边界！

WeClone：开创个性化数字分身之路WeClone通过微信聊天记录来微调大语言模型，为每个

人工智能我来了·2025-06-04 14:12

WeClone项目v0.1.2版本发布：声音克隆与聊天机器人集成

使用微信聊天记录微调大语言模型，并绑定到微信机器人，实现自己的数字克隆。

单盼晔·2025-06-04 13:07

Flink运行架构及并行度设置 —— 深入源码行级解析

（以Flink1.16为例，部分包名和类名在不同版本会有微调，但主线逻辑不变）Flink运行架构及并行度设置——深入源码行级解析一、Flink运行时架构源码细节1.JobManager启动入口：org.a

北漂老男人·2025-06-04 13:36

WeClone：用微信聊天记录克隆数字分身

Stars数12888Forks数961主要特点聊天记录微调：基于聊天记录对大语言模型进行微调，生成个性化数字分身。

开源项目精选·2025-06-04 13:36

AI配色神器：一键生成专业色彩方案

✨核心优势智能生成：通过情感、主题、概念等提示词生成配色灵活编辑：支持手动调整HEX值微调配色社区共享：浏览和学习其他用户的配色方案实时预览：在移动应用、网页、仪表板中预览效果一键导出：快速导出配色方案用于项目快速上手

当归1024·2025-06-04 02:42

推荐频道

BERT微调

【大模型实践解惑】 如何在 Supervised Fine‑Tuning (SFT) 之后进行 Direct Preference Optimization (DPO) 微调？