RMSNorm

归一化相关

BatchNormalizationLayerNormalizationInstanceNormalizationGroupNormalizationRMSNorm（RootMeanSquareLayerNormalization）:RMSNorm
真的没有脑袋·2025-06-03 07:58

大模型原理、微调和行业大模型的部署

其中涉及RMSNorm归一化、SwiGLU激活函数、RoPE位置编码、GQA注意力和KVCache等关键技术。
AI周红伟·2025-04-30 21:26

深度剖析：DeepSeek V3 与 R1 版本的全面对比

引入先进的层归一化技术，如RMSNorm或LayerNorm，进一步稳定训练过程，加速收敛。（二）性能表现在多项权威
ghs_gss·2025-04-19 21:03

DeepSeek 与其他大模型的横向多维度对比

二、模型架构1.DeepSeek采用创新的混合专家模型（MoE）、多头潜在注意力机制（MLA）和RMSNorm技术相结合，这种架构使DeepSeek能够更灵活高效地处理复杂数据，精准捕捉丰富的上下文信息
ghs_gss·2025-04-19 21:33

大模型时代的归一化技术：解密Transformer架构中Pre-Norm与RMSNorm的黄金组合

大模型时代的归一化技术：解密Transformer架构中Pre-Norm与RMSNorm的黄金组合引言自2017年"AttentionIsAllYouNeed"论文横空出世，Transformer架构便以其卓越的性能重塑了自然语言处理乃至更广泛的
流云雲·2025-04-11 18:18

[论文笔记] Deepseek技术报告解读: MLA&MTP

1.RMSNorm归一化层classRMSNorm(nn.Module):def__init__(self,dim:int,eps:float=1e-8):super().
心心喵·2025-04-05 10:49

llama源码学习·model.py[1]RMSNorm归一化

一、model.py中的RMSNorm源码classRMSNorm(torch.nn.Module):def__init__(self,dim:int,eps:float=1e-6):super().
小杜不吃糖·2025-03-15 18:37

从LayerNorm到RMSNorm：深度学习归一化技术的进化！qwen2.5的技术。

RMSNorm（RootMeanSquareNormalization，均方根归一化）是一种用于深度学习的归一化技术，是LayerNorm（层归一化）的一种改进。
KangkangLoveNLP·2025-03-14 13:29

LLM：RMSNorm

importtorchimporttorch.nnasnnclassLayerNorm(nn.Module):def__init__(self,dim:int,eps:float):super(LayerNorm,self).__init__()self.dim=dimself.eps=epsself.weight=nn.Parameter(torch.ones(self.dim))self.bi
微风❤水墨·2025-03-14 12:23

从Swish到SwiGLU：激活函数的进化与革命，qwen2.5应用的激活函数

swiGLU和RMSNorm1.什么是swiGLUSwiGLU（Swish-GatedLinearUnit）是一种结合了Swish激活函数和GLU（GatedLinearUnit）门控机制的激活函数，广泛应用于现代大型语言模型中
KangkangLoveNLP·2025-03-13 09:02

Llama 2架构深度解析：Meta开源的70B参数大模型设计哲学

参数规模下保持线性计算复杂度扩展性强化：通过改进注意力机制支持4k上下文长度安全性内嵌：在预训练阶段融入5%安全语料，降低有害输出概率（较前代下降34%）二、核心模块创新1.改进型Transformer架构标准化方案：采用RMSNorm
AI时代已来！·2025-03-02 14:46

DeepSeek模型架构及优化内容

DeepSeekv1版本模型结构DeepSeekLLM基本上遵循LLaMA的设计：采⽤Pre-Norm结构，并使⽤RMSNorm函数.利⽤SwiGLU作为Feed-ForwardNetwork（FFN）
开出南方的花·2025-02-12 19:39

详解三种常用标准化：Batch Norm、Layer Norm和RMSNorm

在深度学习中，标准化技术是提升模型训练速度、稳定性和性能的重要手段。本文将详细介绍三种常用的标准化方法：BatchNormalization（批量标准化）、LayerNormalization（层标准化）和RMSNormalization（RMS标准化），并对其原理、实现和应用场景进行深入分析。一、BatchNormalization1.1BatchNormalization的原理BatchNor
yyytucj·2025-01-29 13:57

LLama 架构一览

LLama架构一览预训练Transformer架构RMSNorm归一化：为什么大模型llama选RMSNorm，而不是其他？
Debroon·2025-01-22 04:08

LLaMA 模型中的Transformer架构变化

目录1.前置层归一化（Pre-normalization）2.RMSNorm归一化函数3.SwiGLU激活函数4.旋转位置嵌入（RoPE）5.注意力机制优化6.GroupQueryAttention7.
samoyan·2024-02-05 13:57

【BBuf的CUDA笔记】十二，LayerNorm/RMSNorm的重计算实现

0x0.背景我也是偶然在知乎的一个问题下看到这个问题，大概就是说在使用apex的LayerNorm/RMSNorm的时候可以打开这个api的memory_efficient开关，这
just_sort·2024-01-23 13:29

RMSNorm均方根标准化

因此，去除了计算过程中的平移，只保留了缩放，进行了简化，提出了RMSNorm（RootMeanSquareLayerNormalization
云帆@·2024-01-12 14:32

Llama 美洲鸵（大羊驼）改进之一：均方层归一化RMSNorm

LayerNormalization(LayerNorm)RootMeanSquareLayerNormalization(RMSNorm)原理对特征张量按照某一维度或某几个维度进行0均值，1方差的归一化操作
量化交易曾小健(金融号)·2023-12-30 03:07

大模型的实践应用11-“书生”通用大模型的搭建与模型代码详细介绍，以及快速使用方法

InternLM-7B模型主要是基于transformers架构中的解码器开发改造的，架构中运用RMSNorm归一化方法、RotaryEmbed
微学AI·2023-12-02 20:32

Chatglm2-6b模型解析

位置编码采用旋转位置编码，激活函数为SwiGLU，归一化方法为RMSNorm。整体模型结构ChatGLMMod
hjyai94·2023-11-13 00:27

逐行对比LLaMA2和LLaMA模型源代码

笔者逐行对比了LLaMA2模型源代码，和LLaMA相比，几乎没有改动，细节如下：是否改动LLaMA2LLaMA模型整体构架无TransformerTransformer规范化函数无均方根规范化（RMSNorm
chattyfish·2023-11-04 17:51

RMSNorm论文阅读

RMSNorm论文阅读1.论文1.1RMSNorm介绍RMSNorm论文中对LayerNorm的公式做了改造。
MLTalks·2023-10-18 02:49

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的百倍训练加速

NLM；LLM；Galactica；OPT；OPT-IML；BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm
·2023-09-19 17:01

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的百倍训练加速

NLM；LLM；Galactica；OPT；OPT-IML；BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm
高性能服务器·2023-09-18 12:32

如何在SAM时代下打造高效的高性能计算大模型训练平台

-1B；Prompt；CV；NLP；PLM；BERT；ZSL；task；zero-shot；data；H100、H800、A100、A800、LLaMA、Transformer、OpenAI、GQA、RMSNorm
高性能服务器·2023-09-18 12:01

如何在SAM时代下打造高效的高性能计算大模型训练平台

-1B；Prompt；CV；NLP；PLM；BERT；ZSL；task；zero-shot；data；H100、H800、A100、A800、LLaMA、Transformer、OpenAI、GQA、RMSNorm
·2023-09-10 01:45

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的百倍训练加速

NLM；LLM；Galactica；OPT；OPT-IML；BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm
·2023-09-10 01:44

类ChatGPT大模型LLaMA及其微调模型

1.LLaMALLaMA的模型架构:RMSNorm/SwiGLU/RoPE/Transformer/1-1.4Ttokens1.1对transformer子层的输入归一化对每个transformer子层的输入使用
抓个马尾女孩·2023-09-04 08:12

2023年的深度学习入门指南(20) - LLaMA 2模型解析

均平方根标准化RMSNorm是一种改进的LayerNorm技术，LayerNorm是Layernormaliz
Jtag特工·2023-07-29 01:04

LLaMA及其子孙模型概述

使用了Zhang和Sennrich（2019）引入的RMSNorm规范化函数。SwiGLU激活功能[PaLM]。用Shaze
ToTensor·2023-06-24 00:56
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他