微调llama2

XXL-JOB v2.4.2 发布 | 分布式任务调度平台

2、【优化】Cron解析组件代码重构微调，健壮性提升；3、【优化】修改密码交互调整，避免CSRF隐患；4、【优化】JdkSerializeTool流关闭逻辑优化；5、【优化】任务信息、执行日志API非功能设计完善
·2025-02-02 00:26

开源LLMs导览：工作原理、顶级LLM列表对比

2.1预训练2.2代币化2.3开源LLM的微调2.4输入编码2.5训练与优化2.6推理三、开源LLM对组织的好处3.1增强的数据安全和隐私3.2节约成本3.3减少供应商依赖性3.4代码透明度四、哪种LLM
万俟淋曦·2025-02-01 23:11

LitGPT - 20多个高性能LLM，具有预训练、微调和大规模部署的recipes

文章目录一、关于LitGPT二、快速启动安装LitGPT高级安装选项从20多个LLM中进行选择三、工作流程1、所有工作流程2、微调LLM3、部署LLM4、评估LLM5、测试LLM6、预训练LLM7、继续预训练
伊织产研·2025-02-01 19:38

DeepSeek R1 简易指南：架构、培训、本地部署和硬件要求

该研究突破性地采用强化学习（ReinforcementLearning）作为核心训练范式，在不依赖大规模监督微调的前提下显著提升了模型的复杂问题求解能力。
·2025-02-01 16:49

大模型蒸馏与大模型微调技术有啥差别?

大模型蒸馏与大模型微调是当前人工智能领域中两种重要的技术手段，它们在模型优化、性能提升和资源利用方面各有特点。以下将从定义、技术原理、应用场景及优缺点等方面对这两种技术进行深入对比。
kcarly·2025-02-01 08:37

「DeepSeek接班OpenAI」，最新开源的R1推理模型，让AI圈爆了

多阶段训练：创新的模型架构DeepSeek-R1的训练方式采用了多阶段循环的策略，具体包括基础训练、强化学习（RL）、微调等多个阶段。这
人工智能学家·2025-02-01 06:23

DeepSeek R1：AI领域的新标杆

此外，R1-Zero模型通过强化学习和测试时计算实现了强大的推理能力，无需监督微调数据，标志着中国在AI领域的快速崛起，挑战美国的主导地位。AI模型在推理能
XianxinMao·2025-02-01 06:23

【学习心得】Python好库推荐——PEFT

PEFT（Parameter-EfficientFine-Tuning）是一种在深度学习中进行参数高效微调的技术。
小oo呆·2025-02-01 06:48

AI大模型在智能客服系统中的应用

基于大模型的智能客服系统架构2.对话生成与上下文管理对话生成上下文管理3.提高客服系统响应精度的策略1.使用专门训练的数据集2.引入实体识别和意图分类3.反馈循环和持续优化4.AI大模型在企业中的优化与调优策略1.模型微调
季风泯灭的季节·2025-02-01 04:33

表格化数据处理中大语言模型的微调优化策略研究

ResearchonFine-TuningOptimizationStrategiesforLargeLanguageModelsinTabularDataProcessing论文主要内容这篇论文的主要内容是研究大型语言模型（LLMs）在处理表格数据时的微调优化策略
C7211BA·2025-01-31 23:25

【大模型入门必看】LLM大语言模型导读

本章将简要梳理大语言模型的技术要点以及构建过程，并且列举了可用于预训练以及微调模型的常用数据集，介绍了目前开发大语言模型常用的代码库、预训练大语言模型的步骤以及涉及的关键技术，包括数据准备阶段、模型
古-月·2025-01-31 16:24

论文笔记（七十）DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（二）

IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning（二）文章概括摘要：2.方法2.3.DeepSeek-R1：冷启动强化学习2.3.1.冷启动2.3.2.面向推理的强化学习2.3.3.拒绝采样与监督微调
墨绿色的摆渡人·2025-01-31 07:01

实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）

——关于使用Unsloth库、LoRa微调及GRPOTrainer自定义奖励函数实现“只输出10个英语单词”的探索为什么要进行“只输出10个英文单词”的极端尝试？
FF-Studio·2025-01-30 19:54

用红黑树实现map和set

因为map有两个参数，所以我们要先对原来的代码进行微调，将传入的参数调整为Key和Value。还有一些地方需要微调，详见https://github.com/Radiu
RadiumYang·2025-01-30 13:33

DeepSeek V3 模型微调（SFT）技术详解

DeepSeekV3模型微调（SFT）技术详解目录引言背景知识2.1深度学习与预训练模型2.2微调（Fine-tuning）的概念2.3监督微调（SupervisedFine-tuning,SFT）DeepSeekV3
zhangjiaofa·2025-01-30 00:28

万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南

万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南LLM训练时间和的成本太过庞大，况且个人卷训练经验极为困难，不妨从微调开始搞起。
汀、人工智能·2025-01-29 15:40

通义千问 Qwen2-VL-2B：技术架构、核心原理、微调操作与场景应用详解

通义千问Qwen2-VL-2B：技术架构、核心原理、微调操作与场景应用详解引言近年来，多模态大模型在人工智能领域取得了显著进展，尤其是在视觉语言理解（Vision-LanguageUnderstanding
zhangjiaofa·2025-01-29 10:16

大模型产品架构全景解读：从应用场景到技术支持的完整路径

大模型不仅可以处理大量数据，进行复杂任务的自动化，还能通过微调、蒸馏等技术在特定场景中表现出色。
健忘的派大星·2025-01-29 02:34

[论文笔记] llama-factory 微调qwen2.5、llama3踩坑

一、bug1、pre-tokenize的时候,会OOM解决：在yaml文件中添加streaming参数#tokenizestreaming:Truemax_steps:10000https://github.com/hiyouga/LLaMA-Factory/blob/3a023bca2a502810a436cfba7708df164754ea62/src/llamafactory/hparams
心心喵·2025-01-28 20:14

LLM架构与优化：从理论到实践的关键技术

重点分析了预训练、后训练、监督微调（SFT）和偏好对齐（PreferenceAlignment）在提升模型性能中的作用，并对比了直接偏好优化（DPO）
XianxinMao·2025-01-28 20:14

llamafactory0.9.0微调qwen2vl

LLaMA-Factory/data/README_zh.mdatmain·hiyouga/LLaMA-Factory·GitHubEfficientlyFine-Tune100+LLMsinWebUI(ACL2024)-LLaMA-Factory/data/README_zh.mdatmain·hiyouga/LLaMA-Factoryhttps://github.com/hiyouga/LLa
Kun Li·2025-01-28 15:07

【大模型】Hugging Face下载大模型的相关文件说明

个人首页：神马都会亿点点的毛毛张随着大模型的火热，许多人开始纷纷入坑️大模型，不过目前很多人都只是基于开源的大模型做微调，今天毛毛张要分享的是关于HuggingFace下载大模型微调文件的说明，有助于大家下载的微调文件的作用文章目录
神马都会亿点点的毛毛张·2025-01-28 11:36

预训练语言模型

这种学习能力使得预训练模型可以捕获数据的复杂结构和特征，并且在后续的特定任务上进行微调，从而提高模型在目标任务上的性能。
Algorithm_Engineer_·2025-01-28 04:51

LLaVA微调debug：ImportError: xxx/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol:

完整报错信息：ImportError:/home/linjl/anaconda3/envs/sd/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so:undefinedsymbol:_ZN3c105ErrorC2ENS_14SourceLocationENSt7__cxx1112basic_s
同屿Firmirin·2025-01-28 00:46

深度学习-70-大语言模型LLM之基于大模型LLM与检索增强技术RAG的智能知识库

文章目录1RAG出现的背景2搭建过程2.1数据收集2.2数据处理2.2.1数据清洗与预处理2.2.2文本分块2.2.3微调数据格式统一2.3建立向量索引2.4大模型选择与微调3开源知识库项目3.1FastGPT3.2AnythingLLM3.3LangChain-Chatchat4
皮皮冰燃·2025-01-27 21:31

AI大模型微调：产品经理面试必知题库与解答技巧！

在AI大模型微调领域的产品经理面试中，总会遇到一系列与技术细节、项目经验、市场趋势以及职业规划相关的问题。
IT猫仔·2025-01-27 21:26

基于Stable Diffusion 3.5 Large模型的微调技术详解

基于StableDiffusion3.5Large模型的微调技术详解引言StableDiffusion3.5Large（以下简称SD3.5）是近年来在生成式AI领域备受关注的一个模型，尤其在图像生成任务中表现出色
zhangjiaofa·2025-01-27 08:28

利用MMDetection进行模型微调和权重初始化

目录模型微调修改第一处：更少的训练回合Epoch修改第二处：更小的学习率LearningRate修改第三处：使用预训练模型权重初始化实际使用案例init_cfg的具体使用规则初始化器配置汇总本文基于MMDetection
MickeyCV·2025-01-27 07:27

大语言模型LLM基础扫盲速通版

9.2在LLM中，微调(fine-tuning)是什么？9.3模型大小如何影响LLM的性能？9.4LLM能生
SmallerFL·2025-01-27 00:40

Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型

文章目录关于模型列表&数据列表训练细节增量预训练&指令微调数据格式&数据处理逻辑增量预训练指令微调模型推理权重合并模型推理部署关于github:https://github.com/yangjianxin1
伊织产研·2025-01-27 00:07

Direct Preference Optimization (DPO): 一种无需强化学习的语言模型偏好优化方法

现有的方法通常通过**强化学习从人类反馈（RLHF）**来引导模型行为，但RLHF存在以下问题：复杂性高：RLHF需要先训练一个奖励模型来反映人类偏好，然后使用强化学习来微调语言模型，使其在最大化奖励的
Yuleave·2025-01-26 09:12

【Lora微调】提高模型效率的创新方法

大型预训练模型，如GPT、BERT等，虽然在许多任务上表现出色，但它们的训练和微调通常需要巨大的计算资源，这使得许多研究者和开发者无法充分利用这些模型进行个性化或领域特定的调整。
@fishv·2025-01-25 07:19

简洁明了：介绍大模型的基本概念（大模型和小模型、模型分类、发展历程、泛化和微调）

目录前言1、大模型的定义1.1、大模型与小模型的对比2、大模型相关概念区分2.1、基础模型（FoundationModel）2.2、超大模型（Ultra-largeModel）2.3、大语言模型（LargeLanguageModel，LLM）3、大模型的发展历程3.1、萌芽期（1950-2005）3.2、探索沉淀期（2006-2019）3.3、迅猛发展期（2020-至今）4、大模型的特点5、大模型
周杰伦_Jay·2025-01-25 06:10

再分享API形式调用Dify项目应用

大模型相关目录大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容从0起步，扬帆起航。
福安德信息科技·2025-01-25 06:40

stable diffusion webui电商基础模型

电商生成模型的产生主要有两个路子，1.训练微调；2.模型融合。下面这些是借鉴，帮助思考如何构建电商模型。
Kun Li·2025-01-25 05:06

从文字到思维：呆马GPT在人工智能领域的创新之旅

GPT模型通过在大规模数据集上进行预训练，学习语言的统计规律和世界知识，然后在特定任务上进行微调，以适应不同的应用需求。GPT领域的发展推动了自然语言处理（NLP）技术
呆码科技·2025-01-24 20:28

LLaMA Pro是什么 相比于lora full freeze有什么区别 怎么使用

LLaMAPro是一种基于LLaMA架构改进的大型语言模型（LLM），旨在解决大模型微调中的知识遗忘问题。
Ven%·2025-01-24 16:58

CSGHub 快速部署指南

此种部署方法非常适合概念验证和测试，使用户能够立即访问CSGHub的核心功能（包括模型，数据集管理、Space应用创建以及模型的推理和微调（需要GPU））。本文将带您一步步完成部署。什
·2025-01-24 16:02

大模型GUI系列论文阅读 DAY2续2：《使用指令微调基础模型的多模态网页导航》

摘要自主网页导航的进展一直受到以下因素的阻碍：依赖于数十亿次的探索性交互（通常采用在线强化学习），依赖于特定领域的模型设计，难以利用丰富的跨领域数据进行泛化。在本研究中，我们探讨了基于视觉-语言基础模型的数据驱动离线训练方法，以改进网页代理的性能。我们提出了一种名为WebGUM的指令跟随多模态代理，该代理能够同时观察网页截图和HTML页面，并输出网页导航操作，例如点击和输入文本等。WebGUM通过
feifeikon·2025-01-24 02:33

个性化的语言模型构建思路

将开源模型（如Llama3、Qwen、Falcon3…等）转变为个人专属的大语言模型，通常涉及知识库的构建、微调（fine-tuning）和模型定制等步骤。
由数入道·2025-01-23 11:19

增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程

EnhancingLLMAccessibility:ADeepDiveintoQLoRAThroughFine-tuningLlama2onasingleAMDGPU—ROCmBlogs基于之前的博客《使用LoRA微调
109702008·2025-01-22 11:35

AIGC - 深度洞察如何对大模型进行微调以满足特定需求

网罗开发（视频号同名）  大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：COC上海社区主理
网罗开发·2025-01-21 08:22

LLaMA-Factory 基于 LoRA 的 SFT 指令微调及相关功能梳理

1.数据准备微调数据的格式为Alpaca或ShareGPT格式，需进行以下步骤：自定义数据集转换：将原始数据集转换成指定格式（JSON格式）。
Ambition_LAO·2025-01-21 07:42

大模型的RAG微调与Agent：提升智能代理的效率与效果

目录编辑引言RAG模型概述检索阶段生成阶段RAG模型的微调数据集选择损失函数设计微调策略超参数调整RAG模型在智能代理中的应用客户服务信息检索内容创作决策支持：结论引言在人工智能的快速发展中，大型预训练模型
WeeJot·2025-01-21 00:57

OpenBayes 一周速览｜微软 Phi-4 发布，降低更多成本实现高效推理；Terra 时空数据集上线

公共资源速递5个数据集：Terra多模态时空数据集ChineseCouplets中文对联数据集AqueousSolubility无机化合物数据集HumanLikeDPODataset大模型对话微调数据集
·2025-01-20 23:55

企业落地大模型的路径选择：微调、RAG、提示词工程

一、大模型的特点1）不确定性与传统应用不同，模型的输出是不确定的，即使多次问它一样的问题，给出的结果也可能不一样。这种特性对于日常应用业务OK，但是如果要在企业内用来处理具体业务问题，就必须提高这个稳定性，否则影响生产经营，例如产线操作人员通过模型获取操作步骤或者参数，如果步骤或者数据不对可能会导致产品出现质量问题等等。2）静态性模型一旦训练好，就无法再补充数据，因此模型不会了解你自己组织内部的年
AGI-杠哥·2025-01-20 22:46

OpenBayes 一周速览｜微软 Phi-4 发布，降低更多成本实现高效推理；Terra 时空数据集上线

公共资源速递5个数据集：Terra多模态时空数据集ChineseCouplets中文对联数据集AqueousSolubility无机化合物数据集HumanLikeDPODataset大模型对话微调数据集
·2025-01-20 22:08

Flex.1-Alpha - 可进行适当微调的新修改通量模型。

最初的目标是训练一个可以在训练过程中激活的LoRA，以便对步长压缩模型进行微调。
吴脑的键客·2025-01-20 15:05

一文看懂llama2（原理&模型&训练）

自从Transformer架构问世以来，大型语言模型（LargeLanguageModels,LLMs）以及AIGC技术的发展速度惊人，它们不仅在技术层面取得了重大突破，还在商业应用、社会影响等多个层面展现出巨大潜力。随着ChatGPT的推出，这一技术日益走进大众视野，这也预示着一个由生成式AI塑造的未来正在加速到来。与此同时，MetaAIMetaAI在2023年推出了LLama（LargeLan
Qpeterqiufengyi·2025-01-20 07:38

使用Python实现LLM的文本生成：风格迁移与内容控制

文章目录引言1.大型语言模型（LLM）概述1.1Transformer架构1.2预训练与微调2.文本生成基础2.1无条件生成2.2条件生成3.风格迁移3.1风格迁移的基本原理3.2使用Python实现风格迁移
二进制独立开发·2025-01-20 02:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他