LLM训练第17页

大模型核心技术原理: Transformer架构详解！

严格意义上讲，GPT可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于Transformer，但GPT引入了“预测下一个词”的任务，即不断通过前文内容预测下一个词。

大模型猫叔·2025-02-27 16:13

大模型最新面试题系列：深度学习基础（二）

过拟合是指模型在训练数据上表现很好，但在未见过的测试数据上表现不佳。当模型容量较低时，模型可能无法学习到数据中的复杂模式，导致欠拟合，即在训练集和测试集上的表现都较差。

人肉推土机·2025-02-27 15:08

Shell Script 编程笔记

考虑下面两个场景：场景一：我们在训练深度网络模型过程中保存了10个不同epoch模型。我们希望通过测试集验证每个模型的性能。

huangpg丶·2025-02-27 14:04

DeepSeek 高阶应用技术详解（4）

1.引言在前三篇中，我们探讨了DeepSeek的基础功能、分布式训练、模型优化、模型解释性、超参数优化以及AutoML的应用。

Evaporator Core·2025-02-27 14:33

DeepSeek开源周合集

FlashMLA，核心成就：GPU带宽利用接近理论极限，算力利用效率翻倍；周二：DeepEP，一个高效的MOE架构专家并行通信库：支持高效且优化后的全对全通信使用NVlink和RDMA进行节点内和节点间通信用于训练和推理填充的高吞吐量内核用于推理解码的低延迟内核原生支持

Vip.Gong·2025-02-27 14:03

记一次pytorch训练loss异常的问题

记一次pytorch训练loss异常的问题问题描述使用mmdetection框架训练时，某项loss出现异常大的值，比如1781232349724294.000。这个问题只在多卡训练时才会出现。

lyyiangang·2025-02-27 14:29

机器学习中的过拟合、欠拟合与正则化

在机器学习的世界里，过拟合与欠拟合是模型训练过程中常常会遇到的两大问题，而正则化则是应对过拟合的重要手段。理解它们对于构建高性能的机器学习模型至关重要。

喜-喜·2025-02-27 14:28

优秀源头定制线束源头供应商-力可欣: 新能源储能线束领域的先行者

公司拥有标准线束生产车间，拥有先进的自动化生产设备和训练有素的生产

港澳粤生活网·2025-02-27 13:54

自编大模型系列之 01 使用 Python 从头构建 LLaMA 3 编写您自己的十亿参数LLM（教程含源码）

我之前在Medium上写过一篇博客，介绍如何使用LLaMA架构从头开始创建一个具有超过230万个参数的LLM。现在LLaMA-3已经发布，我们将以更简单的方式重新创建它。

知识大胖·2025-02-27 10:33

基于OneAPI+ChatGLM3-6B+FastGPT搭建LLM大语言模型知识库问答系统

搭建大语言模型知识库问答系统部署OneAPI拉取镜像bash复制代码dockerpulljustsong/one-api创建挂载目录bash复制代码mkdir-p/usr/local/docker/oneapi启动容器bash复制代码dockerrun--nameone-api-d--restartalways-p3001:3000-eTZ=Asia/Shanghai-v/usr/local/do

闯江湖50年·2025-02-27 09:31

KNN 算法优化实战分享

其核心原理是：对于一个待预测样本，计算其与训练集中所有样本的距离，选取距离最近的K个样本，根据这K个样本的标签进行投票（分类）或均值计算（回归），从而得到待预测样本的标签。

轻口味·2025-02-27 09:55

大模型成本优化实战：从分布式训练到量化剪枝，轻松降低AI计算开销

网罗开发（小红书、快手、视频号同名）大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO

网罗开发·2025-02-27 08:54

基于大模型的肺纤维化预测及临床方案研究报告

大模型在医疗领域的应用现状三、肺纤维化相关知识3.1肺纤维化的病因与发病机制3.2肺纤维化的临床症状与诊断方法3.3肺纤维化的治疗现状与挑战四、大模型预测肺纤维化的方法4.1数据收集与预处理4.2模型选择与构建4.3模型训练与优化

LCG元·2025-02-27 08:52

KNN 算法性能跃升秘籍：优化实战，打造高效分类利器！

KNN算法以其原理简单、易于实现、无需显式训练等特点，在模式识别、分类、回归等领域得到了广泛应用。

清水白石008·2025-02-27 07:16

代码随想录训练营DAY07

四数相加classSolution(object):deffourSumCount(self,nums1,nums2,nums3,nums4):""":typenums1:List[int]:typenums2:List[int]:typenums3:List[int]:typenums4:List[int]:rtype:int"""dict={}foriinnums1:forjinnums2:i

程序员正在诞生中·2025-02-27 07:15

《李航统计学习方法》学习笔记——第八章提升方法

提升方法8.1提升方法AdaBoost8.1.1提升方法的基本思路8.1.2AdaBoost算法8.1.3AdaBoost的例子（代码实现）8.2AdaBoost算法的训练误差分析定理8.1AdaBoost

eveiiii·2025-02-27 07:39

Cassini_Network-Aware Job Schedulingin Machine Learning Clusters

分布式机器学习训练工作负载的通信开销占据了训练迭代时间的很大一部分，而现有的ML调度器往往忽略了ML训练作业的通信模式。

一只积极向上的小咸鱼·2025-02-27 07:37

大语言模型(LLM)入门学习路线图，附资源汇总，收藏这篇就够了

Github项目上有一个[大语言模型学习路线笔记]“大语言模型学习路线笔记”)，它全面涵盖了大语言模型的所需的基础知识学习，LLM前沿算法和架构，以及如何将大语言模型进行工程化实践。

AI小白熊·2025-02-27 06:34

用于训练基于pytorch构建的小型字符级语言模型的数据集汇总

前文，我们从零开始基于transformer框架在pytorch上构建一个小型字符级语言模型，并编写了完整的python示例，模型是需要训练的，所以在原有代码的基础上，我们寻找一些公开的数据集对模型进行训练

搏博·2025-02-27 06:03

AI 平台技术架构设计方案

本方案旨在提供一个全面的AI平台技术架构设计，以满足不同场景下的AI开发、训练、部署和管理需求。

数研妙手·2025-02-27 03:11

多模态｜开源多模态模型Emu3 & 多模态预训练模型CLIP对比

Emu3官方介绍我们推出了Emu3，这是一套新的最先进的多模态模型，仅使用next-token预测进行训练！通过将图像、文本和视频分词到一个离散空间中，我们在多模态序列的混合上从头开始训练单个转换器。

产品媛Gloria Deng·2025-02-27 03:08

第十三站：卷积神经网络（CNN）的优化

通过对训练数据进行各种随机变换，可以生成更多的训练样本，帮助模型避免过拟合。常见的数据增强方法：旋转（Rotation）：随机旋转图像，增强模型对旋转变换

武狐肆骸·2025-02-27 03:08

智能算法的全面应用：量子计算与自动化学习在各行业的创新路径探索

自动化机器学习算法通过简化模型训练和调优的过程，为数据科学家节省了大量时间。可解释性算法则旨在让模型的决策过程更加透明，从而提高用户对算法决策的信任。

智能计算研究中心·2025-02-27 03:35

大模型之二十七-语音识别Whisper实例浅析

Whisper简介Whisper是OpenAI于2022年9月开源的一个多语种识别模型，目前支持99种语言，是目前性能最好的开源多语种识别ASR大模型，第一版版使用了68万小时标注好的语料预训练模型，而

shichaog·2025-02-27 01:55

LLMs之ReACT-Agent：ReACT-Agent简介、实现及其使用方法(MReACT/AutoReACT)、案例应用(比如采用ReAct框架让LLM稳定输出JSON格式数据)之详细攻略

LLMs之ReACT-Agent：ReACT-Agent简介、实现及其使用方法(MReACT/AutoReACT)、案例应用(比如采用ReAct框架让LLM稳定输出JSON格式数据)之详细攻略目录相关文章

一个处女座的程序猿·2025-02-27 00:46

【Python大语言模型系列】如何在LangChain中使用ReAct构建AI Agent（案例+源码）

一、引言========当前，在各个大厂纷纷卷LLM的情况下，各自都借助自己的LLM推出了自己的AIAgent，比如字节的Coze，百度的千帆等，还有开源的Dify。你是否想知道其中的原理？

脱泥不tony·2025-02-27 00:12

深入解析 DeepSeek R1：强化学习如何驱动大模型推理能力的进化

引言在AI竞赛日益激烈的时代，DeepSeek-AI推出了DeepSeekR1，试图以强化学习（RL）直接训练推理能力，而非仅依赖传统的监督微调（SFT）。

海棠AI实验室·2025-02-26 23:07

深度学习批次数据处理的理解

基础介绍在计算机视觉深度学习网络中，在训练阶段数据输入通常是一个批次，即不是一次输入单张图片，而是一次性输入多张图片，而神经网络的结构内部一次只能处理一张图片，这时候很自然就会考虑为什么要这样的输入？

_DCG_·2025-02-26 22:28

GGUF 文件格式全解析

随着大语言模型(LLM)的广泛应用，如何高效地存储和加载这些复杂的模型成为一个亟待解决的问题。

Just_Paranoid·2025-02-26 22:25

医院HIS接入大模型：算力基础设施与训练能力的深度剖析与测算

一、引言1.1研究背景与意义在数字化医疗快速发展的当下，医院信息系统（HospitalInformationSystem，HIS）作为医疗信息化的核心枢纽，承载着患者诊疗信息、医院运营管理等关键数据，对提升医疗服务质量、优化医院管理流程起着至关重要的作用。然而，传统HIS在面对日益增长的医疗数据量和复杂的临床需求时，逐渐显露出分析决策能力不足、智能化程度低等短板。随着人工智能技术的飞速发展，大模型

Allen_LVyingbo·2025-02-26 21:52

论文笔记：Enhancing Sentence Embeddings in Generative Language Models

——>需要较大的训练批次，这会消耗大量的计算资源一些前沿的工作将焦点转向了最近开发的生成模型，期望利用其先进的文本理解能力，直接对输入句子进行编码，而无需额外的反向传播由于句子表示和自回归语言建模

UQI-LIUWJ·2025-02-26 20:17

ThinkJSON:通过强化学习让大型语言模型（LLM）严格遵守JSON模式

标题：ThinkInsidetheJSON:ReinforcementStrategyforStrictLLMSchemaAdherence作者：BhavikAgarwal,IshanJoshi,ViktoriaRojkova机构：MasterControlAIResearch链接：arXiv:2502.14905v1本文提出了一种轻量级强化学习框架，通过合成数据、多奖励函数和GRPO优化，显著提

AI仙人掌·2025-02-26 20:17

DeepSeek-V3：最强开源MoE模型的技术解析与使用指南

目录引言模型概览架构创新：负载均衡策略与训练目标预训练：追求极致的训练效率后训练：从DeepSeek-R1进行知识蒸馏模型下载评估结果基础模型标准基准测试上下文窗口聊天模型标准基准测试（大于67B的模型

认识祂·2025-02-26 19:10

全面分析 DeepSeek 的新开源 FlashMLA

这一进展对于大型语言模型（LLM）来说意义重大，因为大型语言模型在推理过程中面临内存和计算方面的挑战，尤其是长序列。

X.Cristiano·2025-02-26 19:34

Google搜索免费API访问

X.Cristiano·2025-02-26 19:04

DeepSeep开源周，第三天：DeepGEMM是啥？

矩阵乘法（GEMM）是深度学习模型的核心运算（如全连接层、卷积层等），其性能直接影响训练和推理效率。

程序员差不多先生·2025-02-26 19:33

推荐：LangChain — 构建情境感知推理应用的利器

BuildingapplicationswithLLMsthroughcomposability⚡项目地址:https://gitcode.com/gh_mirrors/la/langchainLangChain，一款专为开发基于大型语言模型（LLM

成婕秀Timothy·2025-02-26 19:33

超声波俱乐部：AI应用大爆发前夜，场景、闭环与LLM进化

7月13日，第十九期超声波俱乐部内部分享会在北京望京举行，本期的主题是：AI应用大爆发前夜，场景、闭环与LLM进化。

超声波沙龙·2025-02-26 19:02

有哪些开源大数据处理项目使用了大模型

**RedPajama**：这是一个开源项目，使用了LLM大语言模型数据处理组件，对GitHub代码数据进行清洗和处理。具体流程包括数据清洗、过滤低质量样本、识别和删除重复样本等步骤。2.

魔王阿卡纳兹·2025-02-26 19:02

从零开始：使用PyTorch构建DeepSeek R1模型及其训练详解

本文将引导你使用PyTorch从零开始构建DeepSeekR1模型，并详细解释模型架构和训练步骤。

陆鳐LuLu·2025-02-26 19:02

什么是RAG？RAG是如何解决问题的？RAG的未来发展趋势有哪些？

一、什么是RAG所谓RAG，检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。

大模型综述·2025-02-26 18:31

DeepSeek 开源周：DeepEP 项目详解，GPU 压榨计划启动！

本文将详细介绍DeepEP的功能、应用场景以及如何使用它来提升AI训练和推理的效率。DeepEP概述功能与作用DeepEP是一个专门针对Mixture-of-Experts(

东方佑·2025-02-26 18:29

一文读懂 AI 大模型备案：万字详解全流程要点

它确保大模型在整个生命周期，从开发、训练到部署和应用，都严格遵循相关法律

chuangfumao·2025-02-26 17:25

IPEX-LLM: 英特尔硬件大语言模型加速库部署

IPEX-LLM:英特尔硬件大语言模型加速库部署大语言模型的本地部署正成为一个热门话题。

Felix_bin·2025-02-26 17:23

DeepSeek各模型现有版本对比分析

文章目录一、基础模型系列：V1到V3的演进二、专用模型系列：推理与多模态三、版本选型与商业化趋势DeepSeek作为最近特别火爆的模型，本文将对DeepSeek现有的主要版本进行对比分析,涵盖参数规模、训练数据

墨染夜雨笺·2025-02-26 17:22

在Intel GPU上使用IPEX-LLM进行本地BGE嵌入

Intel的IPEX-LLM是一种专门为IntelCPU和GPU优化的PyTorch库，能够在包括本地PC上的集成显卡和独立显卡（如Arc、Flex和Max）在内的Intel硬件上以极低的延迟运行大型语言模型

shuoac·2025-02-26 16:16

使用 LangChain 与 Solar LLM 的快速集成示例

在本篇文章中，我们将深入探讨如何通过LangChain框架与SolarLLM（已弃用）进行集成。这虽然是一个过时的示例，但仍然可以帮助我们掌握如何使用类似的模型连接器设计结构化的语言模型调用流程。更重要的是，我们还会通过实际代码，展示集成的实现过程。一、技术背景介绍LangChain是一个强大的框架，它可以帮助开发者轻松集成不同的自然语言处理(NLP)模型，并构建复杂的链式推理任务。SolarLL

qahaj·2025-02-26 16:15

正则化技术和模型融合等方法提高模型的泛化能力

正则化技术原理正则化是通过在损失函数中添加一个正则化项，来限制模型的复杂度，防止模型过拟合训练数据，从而提高模型在未见过数据上的泛化能力。

小赖同学啊·2025-02-26 15:36

蓝桥杯备赛-基础训练（三）哈希表 day16

今天一更赎金信题意：给定一个赎金信(ransom)字符串和一个杂志(magazine)字符串，判断第一个字符串ransom能不能由第二个字符串magazines里面的字符构成。如果可以构成，返回true；否则返回false。(题目说明：为了不暴露赎金信字迹，要从杂志上搜索各个需要的字母，组成单词来表达意思。杂志字符串中的每个字符只能在赎金信字符串中使用一次。)注意：你可以假设两个字符串均只含有小写

清墨璃笙·2025-02-26 14:28

全市场大模型分类及对比分析报告

2.大模型分类根据模型架构、训练目标和应用领域，全市场的

早退的程序员·2025-02-26 13:53

推荐频道

LLM训练