微调llama2

DeepSeek-R1秘籍轻松迁移，只需原始数据0.3% | 邱锡鹏团队联合出品

他们提出了MHA2MLA这种数据高效的微调方法，使基于MHA（多头注意力）的大语言模型（LLMs）能够顺利转换到MLA架构。以Llama2-7B为例
·2025-02-24 19:13

Meta官宣Llama3：迄今为止最强大的开源大模型

此版本具有经过预训练和指令微调的语言模型，具有8B(80亿)和70B(700亿)参数，可以支持广泛的用例。Llama3在各种行业基准上展示了最先进的性能，并提供了新功能，包括改进的推理能力。
·2025-02-24 19:09

DeepSeek 和 Qwen 模型快速部署指南

DeepSeek-V3DeepSeek-R1模型大小总参数量6710亿(671B),MoE架构,每个token激活370亿参数总参数量与V3相当,基于DeepSeek-V3-Base,采用类似的MoE架构训练方法包含预训练、监督微调
moton2017·2025-02-24 18:47

浅谈大模型RAG架构落地的十大挑战

0、RAG简介RAG（RetrievalAugmentedGeneration）结合知识库检索与大模型回答，确保信息可靠且精准，同时节省了微调成本。
Python程序员罗宾·2025-02-24 15:31

DeepSeek模型微调的原理和方法

DeepSeek模型微调的原理迁移学习基础DeepSeek模型微调基于迁移学习的思想。预训练模型在大规模通用数据上进行了无监督或有监督的训练，学习到了丰富的语言知识、语义表示和通用模式。
alankuo·2025-02-24 07:01

垂类大模型微调（二）：使用LLaMA-Factory

上一篇博文和大家一起安装了LLaMA-Factory工具，并下载了大模型在上面进行了简单的加载和推理，今天尝试通过LoRa技术对大模型进行微调；一、训练集准备1.1介绍训练集结构这里演示对Qwen2.5
CITY_OF_MO_GY·2025-02-24 07:00

LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录

前言  上篇文章记录了使用lora微调llama-1b，微调成功，但是微调llama-8b显存爆炸，这次尝试使用qlora来尝试微调参数体量更大的大语言模型，看看64G显存的极限在哪里。
闻道且行之·2025-02-24 01:49

目前（2025年2月）计算机视觉（CV）领域一些表现优异的深度学习模型

它在图像分类、跨模态检索和图像描述等任务中表现出色，且仅需极少的任务特定微调。
空空转念·2025-02-23 20:18

大语言模型训练数据集格式

1.SFT（有监督微调）的数据集格式对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落
香菜烤面包·2025-02-23 16:13

大模型训练 && 微调数据格式

1.SFT（有监督微调）的数据集格式？
comli_cn·2025-02-23 16:43

洛谷 P1908：逆序对 ← 微调“归并排序”代码可得

【题目来源】https://www.luogu.com.cn/problem/P1908【题目描述】猫猫TOM和小老鼠JERRY最近又较量上了，但是毕竟都是成年人，他们已经不喜欢再玩那种你追我赶的游戏，现在他们喜欢玩统计。最近，TOM老猫查阅到一个人类称之为“逆序对”的东西，这东西是这样定义的：对于给定的一段正整数序列，逆序对就是序列中ai>aj且ia[j]的元素对(a[i],a[j])。求逆序对
hnjzsyjyj·2025-02-23 08:50

基于跨学科任务图谱和大模型微调的智能体设计

技术方案：基于跨学科任务图谱和大模型微调的智能体设计1.跨学科任务图谱生成1.1降噪与补齐降噪跨学科任务图谱的生成首先要对原始数据进行降噪处理，以消除不必要的干扰信息。
东方-教育技术博主·2025-02-23 08:13

科普：大模型使用中的temperature 与 top-k及其它

在大语言模型（如通过Ollama运行的llama2模型）中，temperature和top-k是两个用于控制文本生成过程的重要参数，它们在功能上相互独立，但又共同影响着模型生成文本的随机性和多样性。
人工干智能·2025-02-22 23:35

大语言模型基础

简介AI大模型是“人工智能预训练大模型”的简称，包含了“预训练”和“大模型”两层含义，二者结合产生了一种新的人工智能模式，即模型在大规模数据集上完成了预训练后无需微调，或仅需要少量数据的微调，就能直接支撑各类应用
MatrixSparse·2025-02-22 15:27

大模型微调

以下是在本地部署使用LLaMA-Factory导出的LoRA模型，并通过Ollama运行的步骤指南：1.准备工作已训练好的LoRA模型:确保通过LLaMA-Factory导出了LoRA适配器文件（通常是adapter_model.bin和adapter_config.json）。基础模型:准备LoRA适配器对应的基座模型（如LLaMA-2、Mistral等），需转换为Ollama支持的格式（如GG
猴的哥儿·2025-02-22 12:42

LangChain-基础(prompts、序列化、流式输出、自定义输出)

LangChain-基础我们现在使用的大模型训练数据都是基于历史数据训练出来的，它们都无法处理一些实时性的问题或者一些在训练时为训练到的一些问题，解决这个问题有2种解决方案基于现有的大模型上进行微调，使得它能适应这些问题
JolyouLu·2025-02-22 10:55

SD模型微调之LoRA

本文是SD模型微调方法LoRA的详细介绍，包括数据集准备，模型微调过程，推理过程，优缺点等。
好评笔记·2025-02-22 06:22

LLM Course系列：使用 Unsloth 高效地微调 Llama 3.1

你无需使用GPT-4o和Claude3.5等冻结的通用LLM，而是可以根据特定用例对Llama3.1进行微调，以更低的成本实现更好的性能和可定制性。在本文中，我们将全面概述监督微调。
橙狮科技·2025-02-22 04:36

大模型产品架构全景解读：从应用场景到技术支持的完整路径

大模型不仅可以处理大量数据，进行复杂任务的自动化，还能通过微调、蒸馏等技术在特定场景中表现出色。
程序员丸子·2025-02-22 01:33

【深度学习】预训练和微调概述

预训练和微调概述1.预训练和微调的介绍1.1预训练（Pretraining）1.2微调（Fine-Tuning）2.预训练和微调的区别预训练和微调是现代深度学习模型训练中的两个关键步骤，它们通常是一个预训练
CS_木成河·2025-02-21 22:35

什么是语料清洗、预训练、指令微调、强化学习、内容安全； 什么是megatron，deepspeed，vllm推理加速框架

什么是语料清洗、预训练、指令微调、强化学习、内容安全目录什么是语料清洗、预训练、指令微调、强化学习、内容安全语料清洗预训练指令微调强化学习内容安全什么是megatron，deepspeed，vllm推理加速框架语料清洗语料清洗是对原始文本数据进行处理的过程
ZhangJiQun&MXP·2025-02-21 19:45

云上玩转DeepSeek系列之三：PAI-RAG集成联网搜索，构建企业级智能助手

2025年2月以来，阿里云人工智能平台PAI持续推出围绕DeepSeek系列模型的最佳实践，包含快速部署、应用搭建、蒸馏、微调等各个环节，让企业和个人开发者可以在云上高效、灵活地部署和探索DeepSeek-R1
阿里云大数据AI技术·2025-02-21 14:52

利用LangSmith Chat数据集微调模型的完整指南

在这篇文章中，我们将详细探讨如何加载LangSmithChat数据集，并利用这些数据对模型进行微调。通过这种方式，您可以大大提升模型在特定应用场景中的表现。
shuoac·2025-02-21 04:06

第26篇：pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA使用lora微调的模型异构个性化联邦学习

第一部分：解决的问题联邦学习（FederatedLearning,FL）是一种分布式机器学习方法，允许客户端在本地数据上训练模型，同时通过中心服务器共享学习成果。传统FL框架假设客户端使用相同的模型结构（模型同构），但在实际中可能面对：统计异质性：客户端的数据分布不均（non-IID）。资源异质性：客户端硬件资源有限。模型异质性：客户端可能拥有不同的模型结构。模型异构的个性化联邦学习（MHPFL）
还不秃顶的计科生·2025-02-20 20:10

GPT (Generative Pre-trained Transformer)

GPT模型通过大规模无监督预训练，使用大量的文本数据进行学习，然后再进行微调（fine-tuning）来适应具体的下游任务。
彬彬侠·2025-02-20 19:07

本地搭建小型 DeepSeek 并进行微调

本文将指导您在本地搭建一个小型的DeepSeek模型，并进行微调，以处理您的特定数据。
非著名架构师·2025-02-20 15:55

DeepSeek原理介绍以及对网络安全行业的影响

大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，兼职硕士研究生导师；热爱机器学习和深度学习算法应用，深耕大语言模型微调、量化、私域部署。
AI拉呱·2025-02-20 13:08

大模型（含deepseek r1）本地部署利器ollama的API操作指南

它支持多种预训练的大型语言模型（如LLaMA2、Mistral、Gemma、DeepSeek等），并提供了一个简单高效的方式来加载和使用这些模型。
·2025-02-20 13:41

scoped作用原理及样式穿透的应用

scoped作用原理及样式穿透的应用(1)scoped作用原理(2)对第三条的详细解释(3)场景----微调第三方库样式(4)样式穿透(5)补充(1)scoped作用原理scoped是Vue样式作用域的一个特性
太阳与星辰·2025-02-20 10:09

使用Yuan 2.0与LangChain构建智能聊天应用：完整指南

相比之前的Yuan1.0，Yuan2.0使用了更广泛的高质量预训练数据，并通过指令微调数据集增强了模型的语义理解、数学推理、编程知识等能力。
scaFHIO·2025-02-20 05:33

ColD Fusion，分布式多任务微调的协同 “密码”

ColDFusion，分布式多任务微调的协同“密码”发布时间：2025-02-19近日热文：1.全网最全的神经网络数学原理（代码和公式）直观解释2.大模型进化史：从Transformer到DeepSeek-R1
·2025-02-19 20:46

DeepSeek R1 模型详解与微调

目录引言DeepSeekR1模型概述DeepSeekR1模型架构3.1输入层3.2编码器层3.3解码器层3.4输出层DeepSeekR1核心原理
zhangjiaofa·2025-02-19 11:59

微调alpaca-lora遇到的一些问题

目录一、环境简介二、混合精度训练Tensor相互计算会报错三、推理加载lora报错：SafetensorError:Errorwhiledeserializingheader:InvalidHeaderDeserialization四、peft(版本0.9.0)save_pretrained不保存adapter_model.bin五、一些代码注释六、问题问答6.1、model已经使用了load_i
自学AI的鲨鱼儿·2025-02-19 05:42

LLaMA系列大模型调研与整理-llama-alpaca-lora

.Chinese-LLaMA-Alpaca6.BELLE大模型综述ASurveyofLargeLanguageModels关键词：大模型，LLaMA，Alpaca，Lora，Belle，模型训练，模型微调
AI大模型-大飞·2025-02-19 02:17

商汤绝影端到端自动驾驶的迭代优化

自动驾驶,端到端,迭代优化,深度学习,感知,规划,控制,模型训练,数据增强,模型微调1.背景介绍随着人工智能和计算机视觉技术的飞速发展，自动驾驶汽车从科幻走进了现实。
AGI大模型与大数据研究院·2025-02-18 22:33

【大模型】数据集构造方式

1.Alpaca数据格式Alpaca数据格式最早由StanfordAlpaca项目提出，目的是用来微调大语言模型（LLM），特别是用于InstructionTuning（指令微调）。
油泼辣子多加·2025-02-18 22:02

从HuggingFace下载千问模型、数据、微调并运行

视频链接（1）3.从HuggingFace下载千问模型、数据、微调并运行（上）_哔哩哔哩_bilibili在本课程中，我们将带你下载并本地运行一个大模型，进行模型的微调训练等,视频播放量525、弹幕量0
ApiChain·2025-02-18 20:45

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别STF（SupervisedFine-Tuning）和RLHF（ReinforcementLearningfromHumanFeedback）
钟小宇·2025-02-18 18:11

LLM 参数解析：使用 OpenAI API 在 Python 中的实用指南（含示例）

幸运的是，你可以通过调整特定的参数来控制LLM的行为，就像微调收音机的旋钮来调整到想要的电台一样。理解这些参数可以帮助你更好地定制LLM的输出，使其更具可预测性或创造性，具体取决于你的需求。
真智AI·2025-02-18 14:09

deepseek本地部署后做微调训练实现智能对话的一些建议

在本地部署大模型后，进行微调和训练以实现智能对话，通常需要按照以下步骤操作。以下是详细的指导内容：1.准备数据集在微调大模型之前，需要准备适合的训练数据集。
慧香一格·2025-02-18 14:34

在linux 中搭建deepseek 做微调，硬件配置要求说明

搭建可参考使用deepseek-CSDN博客官方网站：DeepSeekDeepSeek是一个基于深度学习的开源项目，旨在通过深度学习技术来提升搜索引擎的准确性和效率。如果你想在Linux系统上搭建DeepSeek，你可以遵循以下步骤。这里我将提供一个基本的指导，帮助你从零开始搭建一个基础的DeepSeek环境。1.安装依赖首先，确保你的Linux系统上安装了Python和pip。DeepSeek主
慧香一格·2025-02-18 14:04

基于AWS云平台的法律AI应用系统开发方案

技术栈规划层级技术组件说明存储层AWSS3AmazonOpenSearch(向量数据库)存储原始PDF文件支持向量检索的法律知识库AI服务层OpenAIGPT-4APIAmazonSageMaker(LLM微调
weixin_30777913·2025-02-18 03:04

KTransformers：告别天价显卡！国产框架让单卡24G显存跑DeepSeek-R1 671B大模型：推理速度飙升28倍

如果你也经历过——看着API调用账单瑟瑟发抖，微调一次模型吃掉半月算力预算️盯着OOM报错抓狂，为了
蚝油菜花·2025-02-17 00:32

一、大模型微调的前沿技术与应用

大模型微调的前沿技术与应用随着大规模预训练模型（如GPT、BERT、T5等）的广泛应用，大模型微调（Fine-Tuning,FT）成为了提升模型在特定任务中性能的关键技术。
伯牙碎琴·2025-02-16 20:31

根据deepseek模型微调训练自动驾驶模型及数据集的思路

以下是使用DeepSeek模型微调训练自动驾驶模型的详细步骤和代码示例。本流程假设你已有自动驾驶领域的数据集（如驾驶指令、传感器数据等），并基于PyTorch框架实现。
ywfwyht·2025-02-16 19:28

大语言模型常用微调与基于SFT微调DeepSeek R1指南

概述大型语言模型（LLM，LargeLanguageModel）的微调（Fine-tuning）是指在一个预训练模型的基础上，使用特定领域或任务的数据对模型进行进一步训练，以使其在该领域或任务上表现更好
知来者逆·2025-02-16 16:08

（15-3）DeepSeek混合专家模型初探：模型微调

3.4模型微调在本项目中，微调脚本文件finetune.py提供了一套全面的工具，用于对DeepSeek-MoE预训练语言模型进行微调。
码农三叔·2025-02-16 16:35

本地DeepSeek模型GGUF文件转换为PyTorch格式

，我们在本地Windows系统上，基于GGUF文件部署了DeepSeek模型（DeepSeek-R1-Distill-Qwen-1.5B.gguf版本），但是GGUF是已经量化的版本，我们除了对其进行微调之外
搏博·2025-02-16 14:48

AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）

Ollama简介Ollama是一个开源平台，用于管理和运行各种大型语言模型(LLM)，例如Llama2、Mistral和Tinyllama。它提供命令行界面(CLI)用于安装、模型管理和交互。
surfirst·2025-02-16 04:04

大模型参数高效微调（PEFT）技术解析及微调加速实践

2023年，大模型如雨后春笋般爆发，58同城TEG-AILab作为AI平台部门，紧跟大语言模型技术发展步伐，打造了大语言模型平台，支持大语言模型训练和推理部署，并基于大语言模型平台构建了58同城生活服务领域（房产、招聘、汽车、黄页）垂类大模型灵犀大语言模型（ChatLing），支撑了业务方大模型应用的探索落地。灵犀大语言模型在公开评测集和实际应用场景下，效果均优于开源通用大语言模型以及商用通用大语
AI产品经理·2025-02-16 03:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他