微调llama2

AI语言模型的技术之争：DeepSeek与ChatGPT的架构与训练揭秘

DeepSeek与ChatGPT的基础概述1.1DeepSeek简介1.2ChatGPT简介第二章：模型架构对比2.1Transformer架构：核心相似性2.2模型规模与参数第三章：训练方法与技术3.1预训练与微调
m0_74825466·2025-03-06 06:29

大模型（LLM）的若干科普之问（七）：如何隔离LLM微调结果？

一、微调大模型LLM的微调是指在预训练好的大型语言模型基础上，通过特定任务的数据进行进一步训练，以提升模型在该任务上的性能。
人工干智能·2025-03-06 04:12

X-LoRA：高效微调 LoRA 系列，实现不同领域知识专家混合模型

文献卡X-LoRA:MixtureofLow-RankAdapterExperts,aFlexibleFrameworkforLargeLanguageModelswithApplicationsinProteinMechanicsandMolecularDesign作者:EricL.Buehler;MarkusJ.BuehlerDOI:10.48550/arXiv.2402.07148摘要:We
yumuing blog·2025-03-05 22:22

Qt常用控件之 日期微调框QDateTimeEdit

日期微调框QDateTimeEditQDateTimeEdit是一个日期微调框控件，它可以选择年月日和时分。Qt中还有QDateEdit只能微调年月日的控件和QTimeEdit只能微调时分的控件。
laimaxgg·2025-03-05 19:06

【大模型开源实战】10 分钟,教你如何用 LLama-Factory 训练和微调大模型

在这个AI快速发展的时代，我们很高兴为大家带来LlamaFactory-一个为AI开发者和爱好者量身打造的实用工具平台。作为非计算机专业出身的开发者，我们深深受益于计算机世界的开放共享精神。今天，我们希望通过LlamaFactory为这个社区贡献我们的一份力量。LlamaFactory能为您提供什么？英文文档的AI翻译：利用大语言模型将英文文档翻译成中文，助您更便捷地获取最新技术信息。快速获取主流
Langchain·2025-03-05 06:40

预训练模型微调与下游任务迁移学习技术

而对预训练模型进行有效的微调,可以充分利用预训练知识,在有限数据上快速达到出色的性能。此外,迁移学习技术也为模型在不同任务间的知识复用提供了有效途径。本文将详细介绍预训练模型微调与下游任务迁移学习
AGI大模型与大数据研究院·2025-03-04 22:37

微调（Fine-tuning）

微调（Fine-tuning）是自然语言处理（NLP）和深度学习中的一种常见技术，用于将预训练模型（Pre-trainedModel）适配到特定任务上。
路野yue·2025-03-04 20:49

大模型应用开发简易指南：Git教程助力亲自动手微调大型模型

LLM正逐步成为信息世界的新革命力量，其通过强大的自然语言理解、自然语言生成能力，为开发者提供了新的、更强大的应用开发选择。随着国内外井喷式的LLMAPI服务开放，如何基于LLMAPI快速、便捷地开发具备更强能力、集成LLM的应用，开始成为开发者的一项重要技能。前排提示，文末有大模型AGI-CSDN独家资料包哦！目前，关于LLM的介绍以及零散的LLM开发技能课程已有不少，但质量参差不齐，且没有很好
大模型官方资料·2025-03-04 19:11

Helix 是开源的私有 GenAI 堆栈，用于构建具有声明性管道、知识 （RAG）、API 绑定和一流测试的 AI 应用程序。

包括对RAG、API调用和微调模型的支持，就像拖放一样简单。通过编写helix.yaml来构建和部署LLM应用程序。正在寻找私人GenAI平台？
2301_78755287·2025-03-04 13:50

SFT与RLHF的关系

在大模型训练中，SFT（监督微调）和RLHF（基于人类反馈的强化学习）是相互关联但目标不同的两个阶段，通常需要结合使用以优化模型性能，而非互相替代。
一只积极向上的小咸鱼·2025-03-04 11:12

微调DeepSeek-R1打造SQL语言转自然语言大模型！小白也能十分钟打造自己的推理大模型！unsloth+Colab+DeepSeek-R1-Distill-Llama-8B轻松上手

本篇笔记所对应的视频：微调DeepSeek-R1打造SQL语言转自然语言大模型！小白也能十分钟打造自己的推理大模型！
AI超元域·2025-03-04 07:08

大模型开发和微调工具Llama-Factory--＞WebUI

WebUILLaMA-Factory支持通过WebUI零代码微调大模型。
m0_74823705·2025-03-04 05:56

LLaMA（Meta开源的AI模型）与Ollama（本地运行和管理大模型的工具）简介（注意这俩虽然名字相似但没有直接联系）

**Llama2(2023年7月)**3.
Dontla·2025-03-04 04:54

DeepSeek-R1：通过强化学习激励大型语言模型的推理能力

DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练而成的模型，无需监督微调（SFT）作为初步步骤，展示了卓越的推理能力。
AI专题精讲·2025-03-03 22:05

Llama 3.2入门基础教程（非常详细），Llama 3.2微调、部署以及多模态训练入门到精通，收藏这一篇就够了！

Llama3技术剖析与部署相较于Llama2，Llama3的改变其实并不是太大。Tokenizer变成了128K的词表，使用了GQA，不在是原来的只在Llama2-70B里使用了。
中年猿人·2025-03-03 17:49

【硬核教程】DeepSeek 70B模型微调实战：打造工业级AI开发专家（附完整代码+案例）

直击工业软件开发6大痛点：代码规范、性能优化、多约束条件处理等难题一次性解决显存消耗降低90%：4×A100全参数微调显存需求从320GB→32GB，中小企业也能玩转大模型实战案例全覆盖：包含PLC代码生成
爱吃青菜的大力水手·2025-03-03 11:06

llama_factory微调QWen1.5

GitHub-hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100+LLMsUnifyEfficientFine-Tuningof100+LLMs.Contributetohiyouga/LLaMA-FactorydevelopmentbycreatinganaccountonGitHub.https://github.com/hiyouga/L
Kun Li·2025-03-03 02:50

【AI大模型】Transformers大模型库（九）：大模型微调之计算微调参数占比

目录一、引言二、计算微调参数占比2.1概述2.2模型参数结构一览2.3微调参数占比计算三、总结一、引言这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测
LDG_AGI·2025-03-03 01:45

大模型微调入门（Transformers + Pytorch）

目标输入：你是谁？输出：我们预训练的名字。训练为了性能好下载小参数模型，普通机器都能运行。下载模型#方式1：使用魔搭社区SDK下载#down_deepseek.pyfrommodelscopeimportsnapshot_downloadmodel_dir=snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')#方式2：gitl
昵称不能为null·2025-03-03 00:06

微调DeepSeek-R1-Distill-Llama-8B打造sql2text大模型！小白也能十分钟打造自己的推理大模型！unsloth+Colab轻松上手

简介：DeepSeek-R1-Distill-Llama-8B是一个基于Llama架构的8B参数语言模型，经过深度蒸馏（distillation）处理，旨在提高推理效率和精度。通过蒸馏技术，模型在保持较高性能的同时，减少了计算资源的消耗，特别适合在资源受限的环境中应用。该模型经过优化，可用于多种自然语言处理任务，如文本生成、情感分析、问答系统等。DeepSeek-R1-Distill-Llama-
X.Cristiano·2025-03-02 23:28

Llama 2架构深度解析：Meta开源的70B参数大模型设计哲学

一、架构设计理念Llama2作为Meta开源的商用级大语言模型，其架构设计体现了三大核心原则：效率优先：在7B/13B/70B参数规模下保持线性计算复杂度扩展性强化：通过改进注意力机制支持4k上下文长度安全性内嵌
AI时代已来！·2025-03-02 14:46

【AI带来的机遇】

类比房地产黄金期中介赚取信息差、移动互联网初期应用商店分发红利，当前AI领域存在三大核心机遇：基础设施重构机遇（类比域名投资）AI大模型开源浪潮下，高质量训练数据资产、特定领域微调模型、模型中间件将成为新时代
调皮的芋头·2025-03-02 11:18

模型优化之强化学习（RL）与监督微调（SFT）的区别和联系

强化学习（RL）与监督微调（SFT）是机器学习中两种重要的模型优化方法，它们在目标、数据依赖、应用场景及实现方式上既有联系又有区别。
搏博·2025-03-02 10:08

2.4K star的GOT-OCR2.0：端到端OCR 模型

产品功能及特点多语言支持：GOT-OCR2.0主要支持中文和英文字符识别，并能够通过进一步的微调扩展到更多语言。这种灵活性使其适用于国际化应用，满足不同
AI 研习所·2025-03-01 17:34

大模型训练与微调（4）——Top-k 和 Top-p 采样策略介绍

大模型训练与微调（4）——Top-k和Top-p采样策略介绍**一、Top-k采样****1.核心思想****2.数学实现****3.示例****4.特点****二、Top-p（Nucleus）采样**
John_今天务必休息一天·2025-03-01 12:33

全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）

全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）目录顺序如下国内外，垂直领域大模型Agent和指令微调等训练框架开源指令，预训练，rlhf，对话，agent训练数据梳理
代码讲故事·2025-03-01 07:54

BERT模型深入理解——自然语言处理的里程碑

BERT创新性地使用预训练+微调模式，先用预训练在大量无标注的语料中进行自监督学习，学习到语言的通用规律，然后在少量有标注的数据中进行有监督学习，适配更精细化的任务。这种模式一直影响到最新的大模型结
cufewxy2018·2025-03-01 06:47

[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

N=20（N：剪枝崩溃临界点，LLaMA2在45%，Mistral-7B在35%，Qwen在20%，Phi-2在25%）对后(P
心心喵·2025-03-01 04:25

如何使用Anyscale平台运行、微调和扩展大语言模型(LLMs)

Anyscale是一个功能强大的平台，主要用于运行、微调和扩展大语言模型(LLMs)，并且通过生产就绪的API提供成本效益的调用服务。
eahba·2025-03-01 03:49

谁说消费级硬件不能玩 DeepSeek - R1 微调？手把手教你进阶AI玩家

微调像DeepSeek-R1这样的大规模人工智能模型可能需要大量资源，但借助正确的工具，在消费级硬件上进行高效训练是可行的。
硅基创想家·2025-02-28 22:51

2.8 通过微调提升模型的准确度与效率-大模型ACP模拟题-真题

A.通过低秩矩阵间接影响模型行为B.会直接修改原始模型权重✅C.支持参数回退操作D.训练效率高于全参微调解析：LoRA通过添加额外参数而非修改原权重实现微调当训练过程中出现
admin皮卡·2025-02-28 17:12

低代码革命：基于DeepSeek微调模型实现前端代码自动生成与私有JS API调用的实战指南

摘要本文探讨如何微调DeepSeek平台的大语言模型，以实现前端代码的智能生成与自建JavaScriptAPI库的无缝调用。
Light60·2025-02-28 15:58

微软发布 Phi-4 迷你模型,适合本地部署ChatBot

该模型经历了一个增强过程，包含了监督微调和直接偏好优化，以支持精确的指令遵循和稳健的安全措施。
吴脑的键客·2025-02-28 13:43

大模型调优方法：提示工程、RAGs 与微调对比

前言每一个搭建大语言模型应用的AI工程师都会面临一个难题，如何选择一个合适调优方法。就算是强大的预训练LLM也可能无法直接满足项目中的特定需求。如项目需要一个特定结构的应用程序，如预训练缺失上下文的重要文件，再比如有特定术语和结构的高专业性的行业领域，面对这些问题，需要有特定的方法来调整LLM。要决定用哪种调优方法，首先得明白这些方法的含义。提示工程（PromptEngineering）提示工程相
AI大模型探索者·2025-02-28 11:03

DeepSeek R1 简单指南：架构、训练、本地部署和硬件要求

这项研究在如何仅依靠强化学习而不是过分依赖监督式微调的情况下，增强LLM解决复杂问题的能力上，取得了重要进展。
爱喝白开水a·2025-02-28 07:52

深度解析：大模型开源的真与假

目录大模型企业开闭源策略各异开源大模型的定义与现状开源内容的局限性通常开放的内容实际未开放的关键内容法律与商业模式的约束开源许可证的重要性大模型的定制许可证及其限制性条款商业公司对开源大模型的策略和目的建立生态系统吸引开发者提升品牌形象保持竞争优势技术创新和改进技术与协助开发的挑战训练和推理过程的资源需求差异微调和衍生模型的技术实现及其局限性开源大模型在协作开发中的局限总结大模型的发展开启了
rs勿忘初心·2025-02-28 05:39

利用DSPy优化LangChain RAG系统的实战指南

具体来说，DSPy编译器会在内部追踪你的程序，然后为大型语言模型（LLMs）创建高质量的提示（或为小型LLMs训练自动微调），以教会它们任务的步骤。
scaFHIO·2025-02-28 04:01

前言：什么是大模型微调

一、大模型微调的基础知识1.什么是大模型微调？大模型微调（Fine-tuning）是指在预训练模型的基础上，针对特定的任务或数据集进行进一步训练的过程。
伯牙碎琴·2025-02-28 04:26

DeepSeek本地部署必要性分析及云端替代方案推荐

本地部署适用场景分析硬件要求完整版模型需≥32GB显存（推荐NVIDIAA100/A800）基础版也需RTX3090级别显卡（约150W功耗）适用人群建议✔️企业用户：需私有化部署处理敏感数据✔️研究人员：需定制模型微调
Asher_Yao·2025-02-28 01:08

通过vLLM部署LLM模型到生产环境中

文章目录1使用vLLM部署模型2部署过程2.1准备GPU环境2.2安装vLLM依赖项3使用vLLM部署模型并启动服务3.1部署开源模型3.2部署微调模型4测试服务是否正常运行5评估服务性能1使用vLLM
MichaelIp·2025-02-28 01:04

微调 LLM （RLHF + DPO）

微调LLM（RLHF+DPO）使用强化学习（RL）根据人类反馈微调大语言模型（即RLHF）的方法，以及一种更有效的改进方法（即DPO）。
·2025-02-27 21:56

Ghostty 终端配置指南

Ghostty终端配置详解：打造个性化终端体验文章目录**Ghostty配置文件说明Ghostty字体配置字体微调Ghostty主题和颜色配置Ghostty鼠标和剪贴板配置Ghostty窗口和界面配置Ghostty
·2025-02-27 17:38

扣子和DIfy调用deepseek对比分析

又闻言，Dify、TensorFlow、PyTorch、Keras、Fastai、HuggingFace等工具可以微调诸如deepseek、chatgpt、doubao等大模型。
ISDF-CodeInkVotex·2025-02-27 06:30

深入解析 DeepSeek R1：强化学习如何驱动大模型推理能力的进化

引言在AI竞赛日益激烈的时代，DeepSeek-AI推出了DeepSeekR1，试图以强化学习（RL）直接训练推理能力，而非仅依赖传统的监督微调（SFT）。
海棠AI实验室·2025-02-26 23:07

论文笔记：Enhancing Sentence Embeddings in Generative Language Models

这些模型固有的语义空间各向异性，往往需要通过大量数据集进行微调，才能生成高质量的句子嵌入。
UQI-LIUWJ·2025-02-26 20:17

Ollama微调

它支持多种流行的开源大语言模型，如Llama2、Qwen2.5等。在上一篇文章中我们部署Ollama，并使用简单命令管理Ollama。接下来我们学习Ollama的高级应用。
软件不硬·2025-02-26 19:08

有哪些开源大数据处理项目使用了大模型

**SWIFT**：阿里开源的大模型微调轻量级框架，用于提高RAG应用的准确度。3.**Text2SQL**：阿里发布的最新实践开源模型，其准确度超过了GPT4。4
魔王阿卡纳兹·2025-02-26 19:02

Python微调DeepSeek-R1-Distill-Qwen-1.5B模型：使用Transformers和PyTorch进行训练

为了让这些模型更加适应特定任务，我们通常会进行微调（Fine-tuning）。
煤炭里de黑猫·2025-02-25 21:02

SAM应用：医学图像和视频中的任何内容分割中的基准测试与部署

医学图像和视频中的任何内容分割：基准测试与部署目录摘要：一、引言1.1SAM2在医学图像和视频中的应用二.结果2.1数据集和评估协议2.2二维图像分割的评估结果三讨论四局限性和未来的工作五、方法5.1数据来源和预处理5.2微调协议
烧技湾·2025-02-25 02:42

用人类反馈微调大模型，InstructGPT 让 GPT-3 脱胎换骨

用人类反馈微调大模型，InstructGPT让GPT-3脱胎换骨本文展示了一种通过利用人类反馈进行微调，使大语言模型在广泛任务中契合用户意图的方法。
·2025-02-24 23:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他