LLM训练第3页

一文说清楚什么是预训练（Pre-Training）、微调（Fine-Tuning），零基础小白建议收藏！！

前言预训练和微调是现代AI模型的核心技术，通过两者的结合，机器能够在处理复杂任务时表现得更为高效和精准。预训练为模型提供了广泛的语言能力，而微调则确保了模型能够根据特定任务进行细化和优化。

小城哇哇·2025-03-22 20:26

anythingLLM 使用教程

与同类模型相比，anythingLLM具有训练数据丰富、模型优化程度高的优势，能够生成更符合逻辑、更具实用性的文本内容。

惟贤箬溪·2025-03-22 19:24

GitHub项目推荐--基于LLM的开源爬虫项目

以下是一些基于大语言模型（LLM，LargeLanguageModel）的开源爬虫项目，它们结合了自然语言处理（NLP）技术与爬虫的功能，能在一定程度上提升爬取的智能化和精度。

惟贤箬溪·2025-03-22 19:24

深度解析大模型推理框架：原理、应用与实践

该框架通过对海量数据进行高效的训练和推理，能够快速地对各种复杂场景进行分析

百度_开发者中心·2025-03-22 19:24

大模型推理框架：从理论到实践的全面解析

然而，深度学习模型的训练和推理过程往往涉及大量数据和复杂计算，传统的计算框架难以满足需求。因此，大模型推理框架应运而生，成为解决这一问题的关键。

百度_开发者中心·2025-03-22 19:23

回归任务训练--MNIST全连接神经网络（Mnist_NN）

importtorchimportnumpyasnpimportloggingfromtorch.utils.dataimportTensorDataset,DataLoaderfromtorch.utils.dataimportDataLoader#配置日志logging.basicConfig(level=logging.INFO,format='%(asctime)s-%(levelname

豆芽819·2025-03-22 18:10

LLM-Agent方法评估与效果分析

1.引言近年来，随着大型语言模型（LLM）的快速发展，基于强化学习（RL）对LLM进行微调以使其具备代理（Agent）能力成为研究热点。

·2025-03-22 18:50

《南京日报》专题报道 | 耘瞳科技“工业之眼”加码“中国智造”

在江宁开发区，机器人已不再是科幻电影里的遥远想象，他们就像人类的“同事”，在工地上忙着贴砖、刷墙、搬运、检测；在体育训练场上帮助运动员矫正姿势；在医院里帮助医生发现帕金森早期征兆，在智慧工厂里与人类分工协作

耘瞳科技·2025-03-22 17:04

大规异构集群混合并行分布式训练系统，解决算力不均衡问题 HETHUB

视频教程在这：3.2大规模异构集群，混合并行分布式系统，解释算力不均衡问题HETHUB_哔哩哔哩_bilibili一、大规模异构集群出现的原因：同一种GPU数量有限难以构建大规模集群：训练大规模模型依赖于大量的计算资源

爱串门的小马驹·2025-03-22 16:29

LLM 大模型技术知识最佳学习路径图发布！

近日，经常有小伙伴私信我，大模型知识太多了，有点懵啊，我该如何学习LLM大模型？今天我们就来剖析下LLM大模型技术知识的学习路径。

AGI-杠哥·2025-03-22 15:54

MiniMind：完全从 0 训练自己的大模型

其目标是把上手LLM的门槛无限降低，直接从0开始训练一个极其轻量的语言模型，最低仅需2G显卡即可推理训练！

三花AI·2025-03-22 15:49

MiniMind：3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！

哈罗·沃德·2025-03-22 15:19

minimind2学习：（1）训练

1、数据下载参考：https://github.com/jingyaogong/minimind/tree/master2、预训练训练6个epochspythontrain_pretrain.py--epochs6

溯源006·2025-03-22 14:47

Stacking算法：集成学习的终极武器

1.Stacking算法原理探秘Stacking算法的核心思想是训练多个不同的基模型，并将它们的预测结果作为新模型的输入特征，以此来

civilpy·2025-03-22 14:16

MiniMind

数据集分类：tokenizer训练集：这个数据集用于训练分词器（tokenizer），是文本处理中的一个重要步骤。它可以帮助模型更好地理解文本数据的结构。

亚伯拉罕·黄肯·2025-03-22 14:46

直方图梯度提升：大数据时代的极速决策引擎

但当数据量突破百万级时，传统梯度提升树（GBDT）面临三大致命瓶颈：训练耗时剧增：每个特征的分割点计算都需要全量数据排序内存消耗爆炸：存储排序后的特征值需要额外空间处理效率低下：无法有效利用现代CPU的多核特性而梯度提升决策树

万事可爱^·2025-03-22 14:14

【集成学习】：Stacking原理以及Python代码实现

总体来说，stacking集成算法主要是一种基于“标签”的学习，有以下的特点：用法：模型利用交叉验证，对训练集进行预测，从而实现二次学习优点：可以结合不同的模型缺点：增加了时间开销，容

Geeksongs·2025-03-22 14:14

LLMs之minimind：minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混

LLMs之minimind：minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混合精度优化

一个处女座的程序猿·2025-03-22 14:43

关于AI OS那点事

一、AIOS需具备的核心功能智能体全生命周期管理智能体调度与并发：需支持多智能体任务的优先级排序、资源分配及并发执行，例如通过轮询调度或动态优先级算法优化LLM资源利用率。

大囚长·2025-03-22 13:34

DeepSpeed-Chat：Reward Model【奖励模型】

但是，RM和SFT微调之间存在几个关键差异：训练数据差异：对于SFT微调，数据是查询（query）和答案（answer）拼接在一起。

u013250861·2025-03-22 13:31

【人工智能】大模型的幻觉问题：DeepSeek 的解决策略与实践

解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界大语言模型（LLM）的“幻觉”问题，即模型生成与事实不符或脱离上下文的内容，是限制其广泛应用的关键挑战之一。

蒙娜丽宁·2025-03-22 13:29

从零搭建Pytorch模型教程（七）单机多卡和多机多卡训练

前言本文主要介绍单机多卡训练和多机多卡训练的实现方法和一些注意事项。其中单机多卡训练介绍两种实现方式，一种是DP方式，一种是DDP方式。

AI大模型探索者·2025-03-22 12:50

PyTorch基础知识讲解（一）完整训练流程示例

文章目录Tutorial1.数据处理2.网络模型定义3.损失函数、模型优化、模型训练、模型评价4.模型保存、模型加载、模型推理Tutorial大多数机器学习工作流程涉及处理数据、创建模型、优化模型参数和保存训练好的模型

苏雨流丰·2025-03-22 12:20

yolov8实战第七天——pyqt5-yolov8实现车牌识别系统（参考论文（约7000字）+环境配置+完整部署代码+代码使用说明+训练好的模型）

基于pyqt5-yolov8实现车牌识别系统，包括图片车牌识别，视频车牌识别，视频流车牌识别。效果展示（图片检测，检测到的内容添加到历史记录）：效果展示（视频检测，视频车辆只会添加一条记录，下文更多实际应用中的优化策略）：新增功能：批量图片检测（2024/5/7更新代码）

学术菜鸟小晨·2025-03-22 11:48

TensorFlow和Pytorch在功能上的区别以及优势

优点是性能优化更高效，适合大规模分布式训练和生产环境部署。缺点是调试相对复杂，因为计算图的构建和运行是分离的。PyTorch：使用动态计算图（DynamicGraph）。

Honeysea_70·2025-03-22 10:09

Pytorch使用手册-DCGAN 指南（专题十四）

我们将训练一个生成对抗网络（GAN），在给它展示大量真实名人照片后，它能够生成新的“名人”图片。

AI专题精讲·2025-03-22 08:43

蓝桥杯动态规划实战：从数字三角形到砝码称重

适合人群：蓝桥杯备考生|算法竞赛入门者|DP学习实践者目录一、我的动态规划入门之路1.数字三角形：经典DP首战告捷2.砝码称重：背包问题的变形二、蓝桥杯高频算法考点三、蓝桥杯DP专项训练题四、备考建议一

藍海琴泉·2025-03-22 06:22

微软Data Formulator：用AI重塑数据可视化的未来

DataFormulator是一款基于大语言模型（LLM）的AI工具，旨在帮助用户通过自然语言和界

几道之旅·2025-03-22 06:51

使用LangSmith追踪LLM令牌使用情况的指南

技术背景介绍在大语言模型（LLM）的应用中，令牌使用计数是估算模型调用成本的基础。LangSmith提供了一种有效的方式来帮助跟踪应用程序中的令牌使用。

dgay_hua·2025-03-22 05:13

【AI大模型应用开发】【RAG评估】0. 综述：一文了解RAG评估方法、工具与指标

微信公众号也可搜【同学小张】本站文章一览：前面我们学习了RAG的基本框架并进行了实践，我们也知道使用它的目的是为了改善大模型在一些方面的不足：如训练数据不全、无垂直领域数据、容易出现幻觉等。

同学小张·2025-03-22 05:43

一步到位！7大模型部署框架深度测评：从理论到DeepSeek R1:7B落地实战

人肉推土机·2025-03-22 05:12

【论文阅读】PERSONALIZE SEGMENT ANYTHING MODEL WITH ONE SHOT

PERSONALIZESEGMENTANYTHINGMODELWITHONESHOT原文摘要研究背景与问题：SAM是一个基于大规模数据预训练的强大提示框架，推动了分割领域的发展。

s1ckrain·2025-03-22 04:42

DeepSeek-R1核心技术深度解密：动态专家网络与多维注意力融合的智能架构实现全解析

DeepSeek-R1智能架构核心技术揭秘：从动态路由到分布式训练的完整实现指南一、DeepSeek-R1架构设计原理1.1动态专家混合系统DeepSeek-R1采用改进型MoE（MixtureofExperts

Coderabo·2025-03-22 04:41

代码随想录算法训练营第八天| 344 反转字符串、541 反转字符串II

这两天开的是字符串专题，我准备在做题的时候用C++做一遍，再用C做一遍，因为一直刷leetcode用的都是C++，导致C的基础太薄弱了，之后工作中有可能用到C，相当于再复习复习一、Leetcode344反转字符串题目链接：Leetcode344反转字符串这道题很简单，这才是真正的简单题voidreverseString(char*s,intsSize){intleft=0,right=sSize-

Anjoubecoding·2025-03-22 04:33

MCP协议

MCP（ModelContextProtocol，模型上下文协议）是由Anthropic推出的一种开放标准，旨在统一大型语言模型（LLM）与外部数据源和工具之间的通信协议。

zhurui_xiaozhuzaizai·2025-03-22 03:21

使用Aim追踪LangChain执行

通过Aim，你可以轻松地追踪LangChain中语言模型(LLM)和工具的输入输出，以及代理的动作，从而在执行过程中快速定位和解决问题。

bavDHAUO·2025-03-22 02:17

利用Python和深度学习方法实现手写数字识别的高精度解决方案——从数据预处理到模型优化的全流程解析

随着深度学习技术的飞速发展，通过构建和训练神经网络模型，手写数字识别的精度已经可以达到99%以上。

快撑死的鱼·2025-03-22 02:45

使用DeepEval进行LLM的单元测试

在构建大语言模型（LLM）时，测试是确保模型行为和性能的关键步骤。ConfidentAI推出的DeepEval提供了一套完整的工具包，帮助开发者进行LLM的单元测试和集成测试。

VYSAHF·2025-03-22 00:34

AI-智能体

AI智能体可以定义为「一个被赋予行动能力的LLM（通常在RAG环境中进行函数调用），以便在环境中对如何执行任务做出高层次的决策。」

修炼十万年的狗尾巴草·2025-03-21 23:19

【AI 天才研究院】从 MoE 架构到 AGI：DeepSeek 将给未来带来哪些影响？

FP8低精度训练：DeepSeek采用了FP8

AI天才研究院·2025-03-21 22:40

解析稳定率达99.99%！合合信息“大模型加速器2.0”助力AI打破“幻觉”

训练数据是影响大模型“认知能力”的关键要素，近期，上海合合信息科技股份有限公司（简称“合合信息”）TextIn“大模型加速器2.0”版本正式上线，基于领先的智能文档处理技术，对复杂文档的版式、布局和元素进行精准解析及结构化处理

·2025-03-21 21:56

nextjs 实现rag知识库检索增强的ai问答app

AI-Chat-一个基于LLM大语言模型的知识库问答系统项目源码：https://github.com/goliter/ai-chat项目简介AI-Chat是一个基于Next.js和React开发的现代化大语言模型的知识库问答系统

*goliter *·2025-03-21 20:55

使用大语言模型API在AI应用中的实现

随着人工智能技术的迅速发展，大语言模型（LLM）在自然语言处理（NLP）领域的应用越来越广泛。

qq_37836323·2025-03-21 19:47

国外7个最佳大语言模型 (LLM) API推荐

大型语言模型(LLM)API将彻底改变我们处理语言的方式。在深度学习和机器学习算法的支持下，LLMAPI提供了前所未有的自然语言理解能力。

幂简集成·2025-03-21 19:15

【深度学习】DeepSeek模型介绍与部署

为了实现高效推理和成本效益的训练，DeepSeek-V3采用了多头潜在注意力(MLA)和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分验证。

Nerous_·2025-03-21 19:15

【NLP】 API在大语言模型中的应用

以下是API在LLM中的核心应用场景及技术实现细节：一、核心应用场景自然语言理解与生成应用示例：智能客服：解析用户问题并生成回复（如ChatGPTAPI）。

Nerous_·2025-03-21 18:13

【nnUnetv2】Code复现

相反的，把重心放在：预处理（resampling和normalization）、训练（loss，optimizer设置、数据增广）、推理（patch-based策略、test-time-augmentations

是Winky啊·2025-03-21 18:35

决策树算法及其python实例

每个内部节点表示在属性上的一个测试，每个分支代表一个测试输出，每个叶节点代表一种类别二、决策树的构造1、决策树的构造步骤输入：训练集D={(21,11),(z2,32),

m0_74831463·2025-03-21 17:57

大模型在冠心病风险预测及临床方案制定中的应用研究

国内外研究现状1.3研究方法与创新点二、大模型预测冠心病风险原理与方法2.1数据收集与预处理2.1.1数据来源2.1.2数据清洗与整理2.2特征工程2.2.1特征提取2.2.2特征选择与优化2.3模型选择与训练

LCG元·2025-03-21 17:27

目标检测中归一化的目的？

这使得模型在训练和推理时能够处理任意尺寸的图像，而不需要关心图像的具体像素尺寸。2.位置和尺寸的相对性归一化后的坐标和尺寸是相对于图像尺寸的，而不是绝对像素值。这种相对性使得

林语微光·2025-03-21 14:37

推荐频道

LLM训练