ScalingLaws

【人工智能】大模型的Scaling Laws（缩放定律），通过增加模型规模（如参数数量）、训练数据量和计算资源来提升模型性能。

缩放定律（ScalingLaws）是人工智能领域中关于大模型性能提升的重要理论，其核心思想是通过增加模型规模（如参数数量）、训练数据量和计算资源来提升模型性能。
本本本添哥·2025-03-07 12:27

Scaling Laws（缩放法则）详解

ScalingLaws（缩放法则）详解1.定义与核心概念ScalingLaws（缩放法则）描述的是模型性能（如准确率、任务表现）与计算资源（模型参数量、训练数据量、训练时间）之间的数学关系。
天一生水water·2025-03-05 05:00

揭密 scaling laws

ScalinglawsOpenAI在其早期的关于scalinglaws的论文[1]中提出了基础理论，但该文缺乏一些具体的求解过程，且未能在更大规模的模型上进行验证。
deardao·2025-02-19 00:23

什么是Scaling Laws（缩放定律）；DeepSeek的Scaling Laws

什么是ScalingLaws（缩放定律）ScalingLaws（缩放定律）在人工智能尤其是深度学习领域具有重要意义，以下是相关介绍及示例：定义与内涵ScalingLaws主要描述了深度学习模型在规模（如模型参数数量
ZhangJiQun&MXP·2025-02-18 23:14

LLM - 大模型 ScallingLaws 的设计 100B 预训练方案(PLM) 教程(5)

ScalingLaws(缩放法则)是大模型领域中，用于描述模型性能(Loss)与模型规模N、数据量D、计算资源C之间关系的经验规
ManonLegrand·2025-02-02 18:21

【大模型入门必看】LLM大语言模型导读

前言在规模扩展定律（ScalingLaws）被证明对语言模型有效之后，研究者构建出了许多大语言模型。
古-月·2025-01-31 16:24

LLM - 大模型 ScallingLaws 的 CLM 和 MLM 中不同系数(PLM) 教程(2)

ScalingLaws(缩放法则)是大模型领域中，用于描述模型性能(Loss)与模型规模N、数据量D、计算资源C之间关系的经验规
ManonLegrand·2025-01-21 04:10

LLM：Training Compute-Optimal Large Language Models

：https://arxiv.org/pdf/2203.15556.pdf发表：2022前文回顾：OpenAI在2020年提出《ScalingLawsforNeuralLanguageModels》：ScalingLaws
微风❤水墨·2024-01-19 15:29

序列模型（4）—— Scaling Laws

本文介绍LLM训练过程中重要的ScalingLaws，这是一个经验规律，指出了固定训练成本（总计算量FLOPs）CCC时，如何调配模型规模（参数量）NNN和训练Token数据量DDD，才能实现最高的效率
云端FFF·2024-01-11 07:26

DeepSeek LLM: Scaling Open-Source Language Models with Longtermism

具体来说，论文关注以下几个方面：规模扩展的规律（ScalingLaws）：论文深入研究了LLMs的扩展规律，以指导如何在保持性能的同时增加模型和数据的规模。
步子哥·2024-01-10 01:59

大语言模型的最新研究方向综述

最近在研究这一话题的过程中，关注到了大语言模型的最新研究，大致有如下几个板块：参数规模和数据规模的探索缩放法则（ScalingLaws）Compute-Optimal：在计算总量不变的情况下，模型训练的效果在参数量
邓大帅·2024-01-03 11:46

AIGC：【LLM（八）】——Baichuan2技术报告

Tokenizer）2.3.1PositionalEmbeddings2.4激活和规范化（ActivationsandNormalizations）2.5优化（Optimizations）2.6规模定律（ScalingLaws
J_Xiong0117·2023-09-13 23:03
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他