Scaling

复旦：LLM不同层位置编码缩放

标题：Layer-SpecificScalingofPositionalEncodingsforSuperiorLong-ContextModeling来源：arXiv,2503.04355摘要尽管大型语言模型

大模型任我行·2025-03-19 16:12

新手村：数据预处理-特征缩放

新手村：数据预处理-特征缩放特征缩放（FeatureScaling）是数据预处理中的一个重要步骤，特别是在应用某些机器学习算法时。

嘉羽很烦·2025-03-17 05:20

MATLAB算法实战应用案例精讲-【深度学习】归一化

常用featurescaling方法计算方式上对比分析featurescaling需要还是不需要什么时候需要featurescaling？什么时候不需要FeatureScaling？

林聪木·2025-03-16 06:59

扩散 Transformer 策略：用于通才视觉-语言-动作学习的规模化扩散 Transformer

25年2月来自上海AI实验室、浙大、香港中文大学、北大、商汤科技、清华和中科院香港科学创新研究院的论文“DiffusionTransformerPolicy:ScalingDiffusionTransformerforGeneralistVision-Language-ActionLearning

三谷秋水·2025-03-12 10:27

特征缩放：统一量纲，提高模型性能

特征缩放（FeatureScaling）就是一种用于解决这个问题的常用数据预处理

AI天才研究院·2025-03-08 03:04

【人工智能】大模型的Scaling Laws（缩放定律），通过增加模型规模（如参数数量）、训练数据量和计算资源来提升模型性能。

缩放定律（ScalingLaws）是人工智能领域中关于大模型性能提升的重要理论，其核心思想是通过增加模型规模（如参数数量）、训练数据量和计算资源来提升模型性能。

本本本添哥·2025-03-07 12:27

如何从零开始训练大模型？（附AGI大模型路线图）

1背景根据scalinglaw，模型越大，高质量数据越多，效果越好。但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。

脱泥不tony·2025-03-06 21:13

大语言模型技术发展

未来，ScalingLaw的极限尚未触及，开源模型将扮演重要角色，数据供给成为关键挑战，新的模型架构将涌现，AIAgent和具身智能将成为推动通

联蔚盘云·2025-03-06 00:43

云计算中的“按需扩展”和“自动扩展”有何不同？

在云计算中，“按需扩展”（On-DemandScaling）和“自动扩展”（AutoScaling）都是提升系统灵活性的重要机制，但它们在触发方式、控制方式和应用场景上有所不同。

云上的阿七·2025-03-05 13:04

Scaling Laws（缩放法则）详解

ScalingLaws（缩放法则）详解1.定义与核心概念ScalingLaws（缩放法则）描述的是模型性能（如准确率、任务表现）与计算资源（模型参数量、训练数据量、训练时间）之间的数学关系。

天一生水water·2025-03-05 05:00

DeepMind首席科学家最新万字访谈：模型「慢思考」，能力大幅提升！

JackRae指出，推理模型是AI发展的新范式，推理模型并非追求即时响应，而是通过增加推理时的思考时间来提升答案质量，这导致了一种新的ScalingLaw，“慢思考”模式是提升AI性能的有效途径。

·2025-03-02 09:43

DeepSeek效应初现：Grok-3补刀ChatGPT，OpenAI已在ICU？

今天咱们聊聊最近在AI界引发轰动的新闻——DeepSeek和xAI相继用R1和Grok-3证明了预训练ScalingLaw并非OpenAI的护城河。这意味着什么呢？让我们一探究竟！

东方佑·2025-03-02 08:53

2025 AI展望：Scaling Law新叙事加速AI变革

这次AI变革是由以ScalingLaw为底层逻辑的基础模型驱动，其整体的发展脉络由基础模型的技术逻辑主导。

阿里巴巴淘系技术团队官网博客·2025-02-28 23:25

DeepSeek的开源之路:一文读懂从V1-R1的技术发展,见证从开源新秀到推理革命的领跑者

随着模型规模的不断扩大，算力需求呈指数级增长，训练成本飙升，而性能提升的边际收益却逐渐递减，形成了所谓的“ScalingLaw”瓶颈。

·2025-02-26 05:05

通俗理解Test time Scaling Law、RL Scaling Law和预训练Scaling Law

一、ScalingLaw解释1、预训练阶段的ScalingLaw（打地基阶段）通俗解释：就像建房子时，地基越大、材料越多、施工时间越长，房子就能盖得越高越稳。

老A的AI实验室·2025-02-23 16:12

数学推理中在推理规模化下检查假阳性解

25年2月来自中科大和微软亚洲研究院的论文“ExaminingFalsePositivesunderInferenceScalingforMathematicalReasoning”。

硅谷秋水·2025-02-20 17:18

【k8s应用管理】kubernetes HPA+rancher

metrics-server部署HPARancher管理Kubernetes集群指南实验环境安装及配置RancherKubernetesHPA部署指南概述KubernetesHPA（HorizontalPodAutoscaling

Karoku066·2025-02-20 12:22

Kubernetes & 容器自动伸缩失败：解决方案及阿里云如何帮助

自动伸缩（AutoScaling）功能可以帮助应用在流量波动时动态调整资源，提高效率并节约成本。

Anna_Tong·2025-02-19 22:29

揭密 scaling laws

ScalinglawsOpenAI在其早期的关于scalinglaws的论文[1]中提出了基础理论，但该文缺乏一些具体的求解过程，且未能在更大规模的模型上进行验证。

deardao·2025-02-19 00:23

Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory

本文是LLM系列文章，针对《BeyondScalingLaws:UnderstandingTransformerPerformancewithAssociativeMemory》的翻译。

UnknownBody·2025-02-18 23:48

什么是Scaling Laws（缩放定律）；DeepSeek的Scaling Laws

什么是ScalingLaws（缩放定律）ScalingLaws（缩放定律）在人工智能尤其是深度学习领域具有重要意义，以下是相关介绍及示例：定义与内涵ScalingLaws主要描述了深度学习模型在规模（如模型参数数量

ZhangJiQun&MXP·2025-02-18 23:14

Qt QComboBox 下拉列表偏移问题探究：多屏幕与高 DPI 环境下的 bug

Qt应用程序中，主界面包含QComboBox控件，并且启用了高DPI支持（例如在main()中调用QCoreApplication::setAttribute(Qt::AA_EnableHighDpiScaling

吃面不喝汤66·2025-02-17 06:44

高流量Web服务器Kubernetes架构优化

一、基础设施层优化1.节点自动扩展策略#集群自动扩缩容配置（GKE示例）apiVersion:clusterautoscaler.kubernetes.io/v1beta2kind:AutoscalingPolicymetadata

完颜振江·2025-02-15 21:08

X-R1 项目代码文件的详细剖析并精读rewards、grpo、x_grpo_trainer（src/x_r1）

这个项目名为[X-R1](https://github.com/dhcode-cpp/X-R1)，是一个基于强化学习的训练框架，旨在构建一个易于使用、低成本的训练框架，以加速ScalingPost-Training

仙人掌_lz·2025-02-15 12:34

图像处理篇---基本OpenMV图像处理

文章目录前言1.灰度化（Grayscale）2.二值化（Thresholding）3.掩膜（Mask）4.腐蚀（Erosion）5.膨胀（Dilation）6.缩放（Scaling）7.旋转（Rotation

Ronin-Lotus·2025-02-13 09:55

CES 2025 NVIDIA Project DIGITS 与更多突破性发布全解析

订阅：https://rengongzhineng.io/观看视频B站链接：【年尾特献:AI的规模定律(scalinglaw)和芯片业达到瓶颈了吗

新加坡内哥谈技术·2025-02-12 21:17

如何从零开始，训练AI大模型？零基础入门到精通，收藏这一篇就够了

1背景根据scalinglaw，模型越大，高质量数据越多，效果越好。但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。

网络安全大白·2025-02-12 10:09

大语言模型多代理协作（MACNET）

大语言模型多代理协作（MACNET）ScalingLarge-Language-Model-basedMulti-AgentCollaboration提出多智能体协作网络（MACNET），以探究多智能体协作中增加智能体数量是否存在类似神经缩放定律的规律

ZhangJiQun&MXP·2025-02-12 00:51

刚刚，奥特曼给出AGI三个判断：Scaling Law保持不变，没理由放缓投资

·2025-02-11 16:01

【AI学习】LLM的发展方向

这一轮AI浪潮，叙事的主要逻辑就是scalinglaw，模型越大，性能越好，投入越大，性能越好，回报越高，等等。

bylander·2025-02-11 03:47

数值型特征处理 - 归一化和分桶

而分桶可能是指把连续的数值分成不同的区间，比如年龄段分成0-18，19-30这样的区间消除特征间的量纲差异，使不同特征具有可比性，适用于依赖距离或梯度的模型（如SVM、神经网络、KNN）最大最小归一化（Min-MaxScaling

Ivanqhz·2025-02-09 18:50

cpu 调频策略

2019独角兽企业重金招聘Python工程师标准>>>调频策略通常有如下：1.Performance：CPUfreq被设置成scaling_min_freq和scaling_max_freq中的最高频率

weixin_33814685·2025-02-03 04:36

初探Linux CPU动态调频与实测

并解决在实际测试中遇到的三个问题：scaling_governor没有userspace的问题。/proc/cpuinfo与cpuinfo_cur_freq显示频率不同。

He11o_Liu·2025-02-03 04:32

kimi o1和deepseek o1对比，非常直观！

刘俊是丁师兄大模型2025年01月25日21:34湖北两家凑巧同一天放出了解题推理模型，简单对比着看了下实现方案，o1类模型实现并没有和大家早期推测的那样用上MCTS，PRM这些方法，个人感觉也是太复杂的方法scaling

AI生成曾小健·2025-02-03 02:46

LLM - 大模型 ScallingLaws 的设计 100B 预训练方案(PLM) 教程(5)

ScalingLaws(缩放法则)是大模型领域中，用于描述模型性能(Loss)与模型规模N、数据量D、计算资源C之间关系的经验规

ManonLegrand·2025-02-02 18:21

8 比例缩放（scale.rs）

Atype-checkedscalingfactorbetweenunits.usecrate::num::One;usecrate::approxord::{max,min};usecrate::{Box2D

Source.Liu·2025-02-02 03:05

Node.js多线程：性能提升的关键

Node.js扩展：你需要了解的多线程原文链接：https://dev.to/leapcell/scaling-nodejs-multi-threading-you-need-to-know-2nhi作者

·2025-02-01 12:16

【大模型入门必看】LLM大语言模型导读

前言在规模扩展定律（ScalingLaws）被证明对语言模型有效之后，研究者构建出了许多大语言模型。

古-月·2025-01-31 16:24

如何从零开始训练大模型（预训练方向）

1.背景根据scalinglaw，模型越大，高质量数据越多，效果越好。但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。

AI小白熊·2025-01-29 16:43

【机器学习】必会降维算法之：多维缩放（MDS）

2.6代码示例3、总结1、引言小鱼：最近小屌丝在休假，难得的清闲，我这也闲言少叙，书归正传，咱就聊一聊降为算法之：多维缩放(MDS)在机器学习和数据科学领域，多维缩放（MultidimensionalScaling

Carl_奕然·2025-01-26 04:00

数据项目相关的AWS云计算架构设计

利用AWSAutoScaling根据

weixin_30777913·2025-01-25 07:47

【图像复原】论文精读：Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration

十小大·2025-01-23 23:40

LLM - 大模型 ScallingLaws 的 CLM 和 MLM 中不同系数(PLM) 教程(2)

ScalingLaws(缩放法则)是大模型领域中，用于描述模型性能(Loss)与模型规模N、数据量D、计算资源C之间关系的经验规

ManonLegrand·2025-01-21 04:10

py获取系统缩放比例

fromwin32.libimportwin32conimportwin32api,win32gui,win32printscaling=1.0defget_real_resolution():"""获取真实的分辨率

xu-jssy·2024-09-15 18:26

OpenAI o1 的价值意义及“强化学习的Scaling Law” & Kimi创始人杨植麟最新分享：关于OpenAI o1新范式的深度思考

OpenAIo1的价值意义及“强化学习的ScalingLaw”蹭下热度谈谈OpenAIo1的价值意义及RL的Scalinglaw。

光剑书架上的书·2024-09-15 13:21

Android命令行查看CPU频率和温度

以下是具体步骤：1.查看CPU频率你可以使用以下命令来查看CPU各个核心的当前频率：adbshellcat/sys/devices/system/cpu/cpu*/cpufreq/scaling_cur_freq

Tom哈哈·2024-09-13 21:10

【python】【Ray的概述】

Overview概述Rayisanopen-sourceunifiedframeworkforscalingAIandPythonapplicationslikemachinelearning.Itprovidesthecomputelayerforparallelprocessingsothatyoudon

资源存储库·2024-09-12 04:23

api-ms-win-shcore-scaling-l1-1-1.dll解析及缺失解决策略：确保Windows高DPI显示正常

api-ms-win-shcore-scaling-l1-1-1.dll是Windows操作系统中的一个API接口库文件，属于WindowsShellCommonDLLs（Shell核心动态链接库）的一部分

Nebula_042·2024-09-11 16:56

【并行计算】Strong scaling和weak Scaling

可以从这个角度来区分：StrongScaling在扩展时是壮壮的，即使增加负载，也不需要调整机器。WeakScaling在扩展时是弱弱的，如果要增加负载，也要同步增加机器。

栏杆拍遍看吴钩·2024-09-09 20:43

百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索

百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索1.FTScalingDowntoScaleUp:AGuidetoParameter-EfficientFine-Tuning：

汀、人工智能·2024-09-06 12:00

推荐频道