v_JULY_v

一文通透想颠覆Transformer的Mamba：从SSM、S4到mamba、线性transformer(含RWKV解析)

前言

不知读者发现没有，本文标题的信息含量很大，比如

出来了一个新的序列模型：Mamba，其基于SSM或S4(Structured State Space for Sequence Modeling，连起来4个S，故简称S4)发展为S6(S4 models with a selection mechanism and computed with a scan)，其对应的论文为《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》
该Mamba模型的提出者为Albert Gu、Tri Dao，前者现在是CMU助理教授，多年来一直推动SSM架构发展，曾在DeepMind 工作，后者为FlashAttention的一作
换言之，除了论文中展示的效果确实不错之外，由于提出者的背景不一般，所以关注的人比较多
Transformer统治各大领域近7年了，7年来，挑战Transformer的模型其实不少 (比如linear attention, gated convolution and recurrent models, and SSMs)，该模型能否真正颠覆Transformer的霸权呢？对此，我们可以细究其原理细节，看看其创新到底是否靠谱、力度是否大

加之有一大模型项目开发营的朋友问道，可否在论文100课上解读下Mamba这篇论文，于此，便有了此文，且具备4个特点

清晰易懂：也为「不需要天天看paper的朋友」而写
在ChatGPT诞生后的一年来，以大模型为代表的技术发展特别快，经常一个月会出来很多新的技术、模型
而不一定非得是每天在实验室扎根于科研的人才有资格去追踪前沿技术发展，还有一大帮可能是出于对前沿技术的了解、兴趣、热爱、应用而想追踪，可这帮朋友平时或因工作或事太多而不一定对每个新技术、新模型都去看一遍论文，即不可能天天看paper

那咋办呢？他们可能通过一些比如公众号之类的文章去了解，但有的公号文章写的不错，有的则写的不够清晰易懂甚至漏洞百出，会因此让读到这种文章的朋友对新技术、新模型产生畏难心理甚至被误导

故，我和我司来了，为帮助更多朋友更好、更快、更细致的了解大模型相关技术及其实践，我个人算是笔耕不辍(我自今年年初以来也史无前例的写了近30篇，详见：大模型/AIGC/ChatGPT系列：原理、论文、代码、实战)、团队和我算讲课不停
中英对比：部分关键的阐述中英文对照学习
考虑到这些新技术、新模型刚推出的时候，论文还是相对最严谨的参考，所以本文会延续前几篇文章的风格：对于一些关键的阐述会把原英文的表述用斜体且淡色的黑体表示，毕竟有的描述对其翻译相比，用原英文阐述更精准
足够细致：从HiPPO、SSM、S4起步，逐步推导到Mamba
目前介绍mamba模型的文章，少部分写得很不错，大部分不是这个细节没深入，便是那个细节没深入，考虑到如果很多关键细节没有介绍的话，那没法彻底理解mamba模型
因此，本文会尽可能兼顾所有必须写清楚的细节(比如如果不理解SSM和S4则无法理解mamba模型，故本文会从HiPPO、SSM、S4起步，逐步推导到mamba)，尽可能一文通透mamba模型
足够全面：Mamba之外，更精讲「线性Transformer」相关
友人钟博士曾评论，不带点积注意力机制的开源模型中，有希望超越带注意力机制的Llama架构的，一个是mamba，一个便是TransnormerLLM
mamba之外，为帮助大家更深入、更全面的理解不带点积注意力机制的线性transformer，本文第三部分将精讲国内的两个相关工作：TransnormerLLM和RWKV

第一部分背景知识：Transformer时间复杂度、HiPPO、SSM、S4

1.1 Transformer的二次复杂度

通过之前本博客内的另一篇文章《通透理解FlashAttention与FlashAttention2：让大模型上下文长度突破32K的技术之一》，可知

简单理解的话，计算复杂度和序列长度的平方成正比，可以看一个小例子，比如两个相乘的矩阵大小分别为( $N \times d$ ) 和( $d \times N$ )，矩阵乘法的一种计算方式是使用第一个矩阵的每一行与第二个矩阵的每一列做点乘

因为我们需要拿第一个矩阵的每一行去与第二个矩阵的每一列做点乘，所以总共就需要次点乘。而每次点乘又需要次乘法，所以总复杂度就为 $\mathrm O(N^2d)$

精确理解的话，当输入批次大小为，序列长度为时，
层transformer模型的计算量为 $l *\left(24 b N d^{2}+4 b N^{2} d\right)$ ，则代表词向量的维度或者隐藏层的维度(隐藏层维度通常等于词向量维度)

但这个结果是怎么一步一步计算得到的呢？请看原文

正因为现有的ChatGPT等大模型处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度

一方面，有了针对注意力机制的各种所谓魔改，甚至也有S4、FlashAttention及其二代等
二方面，S4、FlashAttention等作者提出了新的序列模型：Mamba，在很多语言任务上击败/匹配Transformer性能，具有线性复杂度和5倍推理吞吐量，下文详述

1.2 状态空间模型SSM(State Space Model)

SSM可以视为从输入信号到输出信号的参数化映射

SSMs可以当做是RNN与CNN的结合「These models can be interpreted as acombination of recurrent neural networks (RNNs) and convolutional neural networks (CNNs)」
这类模型可以非常高效地计算为递归或卷积，在序列长度上具有线性或近线性缩放(This class of models can be computed very efficiently as either arecurrence or convolution, with linear or near-linear scaling in sequence length)

然而，他们在对文本等离散且信息密集的数据进行建模时效果较差(they have been less effective at modeling discrete and information-dense data such as text)

从而有了本文要介绍的一类新的选择性状态空间模型(下文详述)，它改进了先前的工作，以实现模型在“序列长度线性缩放(scaling linearly in sequence length)”情况下的建模能力

1.3 S4的前身：HiPPO

1.3.1 改进transformer不擅长处理超长的序列的问题：输入u到状态x

如本文开头所说，mamba论文的一作Albert Gu多年来一直在推动SSM的发展

他在SSM的基础上，通过此篇论文《Efficiently Modeling Long Sequences with Structured State Spaces》首次提出了结构化状态空间S4(这里有关于S4的更多论文)，但这篇论文的可读性比较差
好在作者在YouTube上有一个关于这篇S4论文的精彩解读，下面便以他这个解读视频梳理一下(以下PPT截取自该解读视频中)

简单来讲，序列数据一般都是离散的数据比如文本、图、DNA

但现实生活中还有很多连续的数据，比如音频、视频，对于音视频这种信号而言，其一个重要特点就是有极长的context window
而在transformer长context上往往会失败，或者注意力机制在有着超长上下文长度的任务上并不擅长(所以你才看到各种对注意力机制的改进，比如flashattention等等，即便如此一般也就32K的上下文长度，在面对100w的序列长度则无能为力)，而S4擅长这类任务

为了方便大家更好的理解，Albert Gu举了一个金融领域的例子

即根据输入，计算其EMA(如下图所示，黑色的一直在跳跃着的曲线是输入x，输出y是蓝色的线)
由于EMA(Exponential Decaying Measure)有着unbounded context(无限长度)，Transformers和Convolution因为都只有着有限的上下文窗口而不好计算
Albert Gu发现EMA其实是整个signal的一个summary，相当于是过往所有信号历史的加权平均值，其权重呈指数衰减之势(下图中绿色的线即相当于投影到的指数衰减)
如果用表示input，且表示对应的summary(可能你看到这里觉得表示有点乱，毕竟上面还是输入x 输出y，不过不要急，很快你会看到：输入u、状态x、输出y)
那么该summary可以在常数时间内快速计算得到(即summary of entire context update in constant time)：
这个summary作为对之前信息的一个总结，也可以认为是对“当前事物所处在一个什么样的状态”的建模，而随着新信息的不断输入，那么当前事物所处的状态也会不断更新

1.3.2 HiPPO的推导：state compresses the history of input

假设时刻我们看到了信号的之前部分：

我们希望在一个memory budget来压缩前面这一段的input来学习特征，一个很容易想到的方法是用多项式去近似这段input
在我们接收到更多signal的时候，我们希望仍然在这个memory budget内对整段signal进行压缩，自然，你得更新你的多项式的各项系数，如下图底部所示
以上，会涌现出两个问题：
1. 如何找到这些最优的近似？
2. 如何快速地更新多项式的参数？
为了解决这两个问题，我们需要一个measure去定义一个近似的好坏程度。例如，可以使用EDM
这就引出了HiPPO(High-order Polynomial Projection Operator)的正式定义，其为两个信号和两个矩阵的组合：
这个矩阵A就是HiPPO矩阵，比如可以是这样：
HiPPO相当于将函数映射到函数，这里给个通俗的例子解释一下：
和上面一样，这里的是原信号，是压缩后的信号。给定一个持续增长的，HiPPO允许online update压缩的。如果使用一个64unit的polynomial压缩器(完全表示需要10000unit，所以是非常高度的压缩)，可以发现EDM很不错，保留了大量之前的信息：
其中红色的线相当于对输入的重建(可以看出来，离当下最近时刻的其刻画最准确，至于离当下最远的时刻则其刻画的不那么准确 )
这里要注意，HiPPO只需要看到这个时刻的多项式(polynomial)参数和在此之前的signal ，不需要看到之前的多项式参数..
上面都是用EDM这个measure的，但是我们在学习过程中用的往往不只一个measure(例如一个time-varying measure can change over time)，这个时候如何去建模？
最终，作者得到了一个结论：HiPPO可以在各种measure上面成立

1.4 S4的推出：Structured State Space Models

1.4.1 HiPPO的高阶化(输入u到状态x最后输出y)

发现HiPPO在低阶信号上work后，我们希望将它扩展到高阶信号上。阶数越高，与LLM越相似，工作的价值就越大

但是我们不能直接堆叠HiPPO算子，因为不断增加维度会引起维数爆炸：
作者想到了非常精妙的一个方法：不考虑input 到state ，而是直接从state 到output
如下图所示，通过蓝色的线性组合得到最终的输出红色，这里的就是state 的线性组合，而就是skip connection，是绕开state ，直接从input 到输出的一个连接：
这样，我们通过两个方程定义S4
$\rightarrow$ 一个是之前定义的 (下一时刻的 ) 来将input 记忆成state，如下图左侧所示
$\rightarrow$ 现在又定义了来将state 线性组合成一个输出，如下图右侧所示

相当于输入到状态、状态到输出，至此，也算终于写清楚了S4
有意思的是，推出来的这些公式组成了一个1960年在ASME会议上提出的State Space Machine! SSM由Kalman提出，原文在这：A New Approach to Linear Filtering and Prediction Problems

1.4.2 Structured SSM

我们正式定义下S4

首先，有一个state space model，简称为SSM
其次，在下图所示的两个方程中插入特定的矩阵值
接着，学习对应的参数

1.5 S4的性质：连续的表示、用Recurrent快速infer、用Convolutional快速训练

接下来，我们来看下如下图所示的S4的三个性质

1.5.1 连续的表示

第一个性质是连续的表示，且就算SSM在离散数据上训练，它仍能学习到底层蕴含的连续信息，因为在SSM眼里，sequence不过是连续信号signal的采样(离散形式)，或者说连续的信号模型是离散的序列模型的概括

1.5.2 用Recurrent表示进行快速的infer

第二个性质是有效的online计算，这点之前在HiPPO提到了，就是计算下一时刻的state 只需要这一时刻的state 和全局输入

$\rightarrow$ 虽然需要全局输入，但是这个全局的计算是常数时间的，这与RNN相同，而与Transformer/CNN不同
$\rightarrow$ 之所以是常数时间，也与RNN相同，因为有state(中间这条蓝线)，这导致下一个state的计算只需要上一个state + 全局的输入

1.5.3 用Convolutional表示进行快速的训练

SSM的一个问题是，当知道未来的signal的时候，训练是低效的。有没有办法并行化SSM？作者提出了使用一个卷积核，绕过状态，直接从输入到输出 (而非先输入到状态、状态再到输出)

输入怎么到输出呢？相当于通过特定的卷积滤波器K对输入进行卷积(即you can involve the input by an exponentially decaying convolution kernel)，该滤波器在上图中用绿色线表示

问题好像解决了，但SSM还是存在两个问题

一个是计算复杂度的问题，最终通过给SSM做结构化(比如使用HiPPO矩阵，相当于变成了S4)，即structured state space can be computed faster
另一个是，作者意识到这个S4某种意义上就是一个很fancy的CNN(包括可以以不同的方式参数化卷积内核)，但是context window有时是无限长的
而刚好convolutional kernel可以无限长(至于单纯的CNN则是有限长的窗口)，那其如何设计以适应有时无限长的context window呢？如下图所示

// 待更

第二部分 Mamba的组成结构与原理解析

Mamba在语言、音频、DNA序列模态上都实现SOTA，在最受关注的语言任务上，Mamba-3B超越同等规模的Transformer，与两倍大的Transformer匹敌，并且相关代码、预训练模型checkpoint都已开源

简言之，Mamba是一种状态空间模型(SSM)，建立在更现代的适用于深度学习的结构化SSM (简称S6)基础上，与经典架构RNN有相似之处

2.1 Mamba = 有选择处理信息 + 硬件感知算法 + 更简单的SSM架构

与先前的研究相比，Mamba主要有三点创新：

对输入信息有选择性处理(Selection Mechanism)
具体而言，设计了一个简单的选择机制，通过“参数化SSM的输入”，以便关注或忽略特定的输入。这样一来，模型能够过滤掉与问题无关的信息，并且可以长期记住与问题相关的信息
focus on or ignore particular inputs. we design a simple selection mechanism by parameterizing the SSM parameters based on the input. This allows the model to filter out irrelevant information and remember relevant information indefinitely
硬件感知的算法(Hardware-aware Algorithm)
该算法采用“扫描”而非“卷积”来进行模型的循环计算，但为了避免GPU内存层次结构中不同级别之间的IO访问，它没有具体化扩展状态
algorithm that computes the model recurrently with a scan instead of convolution, but does not materialize the expanded state in order to avoid IO access between different levels of theGPU memory hierarchy

当然，这点也是受到了S5(Simplified State Space Layers for Sequence Modeling)的启发
更简单的架构
将SSM架构的设计与transformer的MLP块合并为一个块(combining the design of prior SSM architectures with the MLP block of Transformers into a single block)，来简化过去的深度序列模型架构，从而得到一个包含selective state space的架构设计

2.1.1 选择性状态空间模型：从S4到S6

作者认为，序列建模的一个基础问题是把上下文压缩成更小的状态(We argue that a fundamental problem of sequence modeling is compressing context into a smaller state)

从这个角度来看，注意力机制虽然有效果但效率不算很高，毕竟其需要显式地存储整个上下文(也就是KV缓存)，直接导致训练和推理消耗算力大
For example, attention is both effective and inefficient because it explicitly does not compress context at all. This can be seen from the fact that auto regressive inference requires explicitly storing the entire context (i.e. the KV cache), which directly causes the slow linear-time inference and quadratic-time training of Transformers.

好比，Transformer就像人类每写一个字之前，都把前面的所有字+输入都复习一遍，所以写的慢
RNN的推理和训练效率高，但性能容易受到对上下文压缩程度的限制
On the other hand, recurrent models are efficient because they have a finite state, implying constant-time inference and linear-time training. However, their effectiveness is limited by how well this state has compressed the context.

好比，RNN每次只参考前面固定的字数，写的快，但容易忘掉更前面的内容
Mamba的解决办法是，让模型对信息有选择性处理，可以关注或忽略特定的内容，即使状态大小固定也能压缩上下文
好比，Mamba每次参考前面所有内容的一个概括，越往后写对前面内容概括得越狠，丢掉细节、保留大意

总之，序列模型的效率与效果的权衡点在于它们对状态的压缩程度：高效的模型必须有一个小的状态，而有效的模型必须有一个包含来自上下文的所有必要信息的状态，而mamba为了兼顾效率和效果，选择性的关注必须关注的、过滤掉可以忽略的

在其前身结构化状态空间模型S4中，其有4个参数(∆, A, B, C)

且它们都是固定的，不随输入变化(即与输入无关)，这些参数控制了以下两个阶段

第一阶段(1a 1b)，通常采用固定公式A = (∆, A)和B = (∆, A, B)，将“连续参数”(∆，A,B)转化为“离散参数”(A,B)，其中(, ) 称为离散化规则，且可以使用多种规则来实现这一转换，例如下述方程中定义的零阶保持(ZOH)
The first stage transforms the “continuous parameters” (∆, A, B) to “discrete parameters” (A, B) through fixed formulas A = (∆, A) and B = (∆, A, B), where the pair (, ) is called a discretization rule. Various rules can be used such as the zero-order hold (ZOH) defined in equation (4).
$\overline{\boldsymbol{A}}=\exp (\Delta \boldsymbol{A}) \quad \overline{\boldsymbol{B}}=(\Delta \boldsymbol{A})^{-1}(\exp (\Delta \boldsymbol{A})-\boldsymbol{I}) \cdot \Delta \boldsymbol{B}$
第二阶段(2a 2b，和3a 3b)，在参数由(∆，A, B, C)变换为(A, B, C)后，模型可以用两种方式计算，即线性递归(2)或全局卷积(3)
After the parameters have been transformed from (∆, A, B, C) ↦ (A, B, C), the model can be computed in two ways, either as a linear recurrence (2) or a global convolution (3)

通常，如第一部分最后所讲的，模型使用卷积模式(3)可以进行高效的并行化训练(其中整个输入序列提前看到)，并切换到循环模式(2)以高效的自回归推理(其中输入每次只看到一个时间步)
the model uses the convolutional mode (3) for efficient parallelizable training (where the whole input sequence is seen ahead of time), and switched into recurrent mode (2) for efficient autoregressive inference (wheret he inputs are seen one timestep at a time)

为何可以做高效的并行化呢，因为该模式能够绕过状态计算，并实现仅包含(B, L, D)的卷积核(3a)
Thus the more efficient convolution mode wasintroduced which could bypass the state computation and materializes a convolution kernel (3a) of only (, , )

为了方便大家更好的理解，再解释下

通过第一部分的讲解，可知 $\boldsymbol{A} \in \mathbb{R}^{N \times N}, \boldsymbol{B} \in \mathbb{R}^{N \times 1}, \boldsymbol{C} \in \mathbb{R}^{1 \times N}$ 矩阵都可以由N个数字表示，为了对批量大小为B、长度为L、具有D个通道的输入序列x进行操作，SSM被独立地应用于每个通道(the A ∈ ℝ×, B ∈ ℝ×1 , C ∈ ℝ1× matrices can all be represented by numbers. To operate over an input sequence of batch size and length with channels, the SSM is applied independently to each channel.)

请注意，在这种情况下，每个输入的总隐状态具有DN维，在序列长度上计算它需要O(BLDN)时间和内存( the total hidden state has dimension per input, and computing it over the sequence length requires () time and memory)

下面，再分析下各个变量的含义

$\Delta$ ，一个标量，类似遗忘门
如sonta所说，这个量跟RNN里的gating有着深刻的联系(∆ in SSMs can be seen to play a generalized role of the RNN gating mechanism)，data dependent的 Δ 跟RNN的forget gate的功能类似(step size Δ that represents the resolution of the input discretization of SSMs is the principled foundation of heuristic gating mechanisms.)

，起到的作用类似于：进RNN的memory

，起到的作用类似于：取RNN的memory
所以有人说，data dependent的B/C的功能跟RNN的input/output gate类似

，意味着对应这个维度的SSM来说，A在每个hidden state维度上的作用可以不相同，起到multi-scale/fine-grained gating的作用，这也是LSTM网络里面用element-wise product的原因

而在Mamaba中，作者让这些参数、、 $\Delta$ 成为输入的函数，让模型能够根据输入内容自适应地调整其行为

从S4到S6的过程中，可以看出、的大小从原来的变成了， $\Delta$ 的大小由原来的变成了
进一步，咱们通过
$s_{B}(x)=\operatorname{Linear}_{N}(x)$
$s_{C}(x)=\operatorname{Linear}_{N}(x)$
$s_{\Delta}(x)=\operatorname{Linear}_{D}(x)$
$\tau_{\Delta}=\text { softplus }$
来逐一将 $B, C, \Delta$ 数据依赖(data dependent)化
至于上面的所谓 $\text { Linear }_{d}(x)$ 代表把维的输入向量x经过一个线性层map到d维
而即SSM的隐藏层维度(hidden dimension)，当然一般设的比较小

且每个位置的、、 $\Delta$ 都不相同(S4时是所有位置共享)
虽然A没有变成data dependent，但是通过state space model的离散化操作之后， $(\bar{A}, \bar{B})$ 会经过outer product变成的data dependent张量，以一种parameter efficient的方式来达到data dependent的目的

当然，到底效果变好的最大原因是哪一块，可以参考这篇做下相关的实验：Gated Linear Attention Transformers with Hardware-Efficient Training

2.1.2 硬件感知的状态扩展：借鉴Flash Attention

为了让传统的SSM在现代GPU上也能高效计算，Mamba中也使用了Flash Attention技术

核心思想是利用内存的不同层级结构处理SSM的状态，减少高带宽但慢速的HBM内存反复读写这个瓶颈，即

在更高速的SRAM内存中执行离散化和递归操作，再将输出写回HBM
具体来说，我们不是在GPU HBM(高带宽内存)中将大小(，，，)的扫描输入(A, B)，而是
$\rightarrow$ 首先，直接将SSM参数(∆,A,B,C)从慢速HBM加载到快速SRAM中
$\rightarrow$ 然后，在SRAM中进行离散化和递归计算
$\rightarrow$ 最后，将大小为(B,L,D)的最终输出写回HBM
Concretely, instead of preparing the scan input (A, B) of size (, , , ) in GPU HBM (high-bandwidth memory), we load the SSM parameters (∆, A, B, C) directly from slow HBM to fast SRAM, perform the discretization and recurrence in SRAM, and then write the final outputs of size (, , ) back to HBM.
通过并行扫描算法实现并行化
当输入从HBM加载到SRAM时，中间状态不被保存，而是在反向传播中重新计算
the intermediate states are not stored but recomputed in the backward pass when the inputs are loaded from HBM to SRAM

如下图所示

结构化SSM通过一个更高维的潜在状态ℎ(例如 = 4)，独立地将输入的每个通道(例如 = 5)映射到输出
Structured SSMs independently map each channel (e.g. = 5) of an input to output t hrough a higher dimensional latent state ℎ(e.g. = 4).
先前的SSM通过巧妙的替代计算路径，避免实现这个大的有效状态「，乘以批量大小和序列长度」，且要求：(∆, A, B, C)参数随时间保持不变
Prior SSMs avoid materializing this large effective state 「, times batch size and sequence length 」 through clever alternate computation paths requiring time-invariance: the (∆, A, B, C) parameters are constant across time.
我们的选择机制重新添加了依赖于输入的动态特性，这也需要一个精心设计的、考虑硬件的算法，以便只在GPU内存层次结构中更有效的级别上实现这些扩展状态
Our selection mechanism adds back input-dependent dynamics, which also requires a careful hardware-aware algorithm toonly materialize the expanded states in more efficient levels of the GPU memory hierarchy.

2.1.3 简化的SSM架构

将大多数SSM架构比如H3的基础块，与现代神经网络比如transformer中普遍存在的门控MLP相结合，组成新的Mamba块，重复这个块，与归一化和残差连接结合，便构成了Mamba架构

顺带提一嘴，transformer quality in linear time以及mega moving average equipped gated attention的这两个工作，也用了类似的结构：即删除transformer的ffn/glu结构

2.2 对Improving SSMs with Selection的进一步阐述

2.2.1 三个任务的对比：copying、selective copying、induction heads

如下图所示，有三个任务

(左)复制任务的标准版本涉及输入和输出元素之间的固定间距，可以通过线性递归和全局卷积等时不变模型轻松解决
(Left) The standard version of the Copying task involves constant spacing between input and output elements and is easily solved by time-invariant models such as linear recurrences and global convolutions.
(右上)选择性复制任务在输入之间具有随机间距，需要使用时变模型，在内容上能够灵活地选择记忆或忽略输入
(Right Top) The Selective Copying task has random spacing in between inputs and requires time-varying models that can selectively remember or ignore inputs depending on their content.

相当于选择性复制任务通过改变“要记忆的tokens的位置”来改进纯粹的复制任务(Arjovsky, Shah和Bengio 2016)。它需要内容感知推理，以便能够记住相关的标记(有色)，并过滤掉不相关的标记(白色)
The Selective Copying task modifies the popular Copying task (Arjovsky, Shah, and Bengio 2016) by varying the position of the tokens to memorize. It requires content-aware reasoning to be able to memorize the relevant
(右下)归纳头部任务是联想回忆的一个例子，需要根据上下文检索答案，这是LLM关键的能力
(Right Bottom) The Induction Heads task is an example of associative recall that requires retrieving an answer
based on context, a key ability for LLMs.

其实，归纳头部任务是一种众所周知的机制，据推测可以解释LLMs的大部分上下文学习能力(Olsson et al. 2022)。它需要上下文感知的推理，以便知道何时在适当的上下文中产生正确的输出(黑色)
The Induction Heads task is a well-known mechanism hypothesized to explain the majority of in-context learning abilities of LLMs (Olsson et al. 2022). It requires context-aware reasoning to know when to produce the correct output in the appropriate context (black).

2.2.2

// 待更

2.3 实验结果

Mamba在Chinchilla缩放定律下预训练时，语言任务优于同类开源模型

下游任务上，每个规模尺寸的Mamba都是同类最佳，并且通常与两倍规模的基线性能匹配，特别是当序列长度增加到512k时，相比使用FlashAttention-2的Transformer快几个数量级，而且不会内存不足

最后，有的新闻稿会说Mamba是第一个实现匹配Transformer性能的线性时间序列模型，其实第一个是TransNormerLLM

第三部分 Mamba近似工作之线性Transformer：从TransnormerLLM到RWKV

3.1 从线性Transformer谈到TransnormerLLM

3.1.1 什么是线性transformer：cosformer

我们已知，Dot-product attention与softmax归一化是transformer捕捉长程依赖关系的基石。然而，其关于序列长度的二次空间和时间复杂性使其计算开销令人望而却步，特别是对于长输入。为了解决这个问题，最近提出了许多方法，如稀疏注意力矩阵(sparse attention matrix)，低秩表示(lowrank representations)或基于核的方法(kernel-based methods)等，让这些方法皆有其各自的局限性

以上之外，另一个重要的方法便是线性Transformer(Linear Transformer)，其将transformer的复杂度从O(N^2)降低为O(N)，这对加快Transformer整体的加速非常重要

关于线性Transformer，可以看下这两篇论文：《Fast Autoregressive Transformers with Linear Attention》、以及友人钟博士团队的《COSFORMER : RETHINKING SOFTMAX IN ATTENTION》

线性Transformer的核⼼思想是通过Kernel trick的⽅式，如下图右侧所示，将QKV的左乘变成右乘，从⽽将理论计算复杂度降为线性

我们已知

Transformer中self-attention的典型计算如下：
$O =\operatorname{softmax}\left(\frac{Q K^{T^{\prime}}}{\sqrt{d}}\right) V$
其中矩阵Q、K、V是由输入 x 经线性变化得到的query、key、value
如果暂不考虑缩放因子，则自注意力的计算可以分解为向量运算
$\operatorname{Attn}(Q, K, V)_{t}=\frac{\sum_{i=1}^{T} e^{q_{t}^{\top} k_{i}} \odot v_{i}}{\sum_{i=1}^{T} e^{q_{t}^{\top} k_{i}}}$
其中，上式的分母是一个归一化因子，确保所有的注意力得分加起来等于1

这一步怎么做到的呢，援引HeptaAI的一个说明图如下

接下来，便有以下一系列推导

如果用下标来表示矩阵的第行（如表示矩阵的第行），那么可以将上述公式中的计算用如下形式抽象出来：
$O_{i} =\frac{\sum_{j=1}^{N} \operatorname{sim}\left(Q_{i}, K_{j}\right) }{\sum_{j=1}^{N} \operatorname{sim}\left(Q_{i}, K_{j}\right)} V_{j}$
其中为抽象出的计算Query和Key相似度的函数
Linear Transformer采用了kernel来定义sim()：
$\operatorname{sim}\left(Q_{i}, K_{j}\right)=\phi\left(Q_{i}\right) \phi\left(K_{j}\right)^{T}$
其中 $\phi$ 是一个特征映射函数，可根据情况自行设计

考虑到矩阵乘法有结合律，softmax只能左乘，linear可以右乘，而右乘更快，正因为矩阵乘积的这个属性可以实现注意力操作的线性复杂度：
$\left(\phi(Q) \phi(K)^{T}\right) V=\phi(Q)\left(\phi(K)^{T} V\right)$

相当于不是显式地计算注意力矩阵 $A=Q K^{T} \in \mathbb{R}^{N \times N}$ ，而是先计算 $\phi(K)^{T} V \in \mathbb{R}^{d \times d}$ ，然后乘以 $\phi(Q) \in \mathbb{R}^{N \times d}$ ，从而最终的时间复杂度为 $O\left(N d^{2}\right)$
考虑到，在一般的NLP任务中，一个头的特征维度总是比输入序列长度 ( $d \ll N$ )小得多，因此可以忽略，实现的计算复杂度
因此，self-attention可以从
$O_{i}=\frac{\sum_{j=1}^{N}\left(\phi\left(Q_{i}\right) \phi\left(K_{j}\right)^{T}\right) V_{j}}{\sum_{j=1}^{N}\left(\phi\left(Q_{i}\right) \phi\left(K_{j}\right)^{T}\right)}$
转化为：
$O_{i}^{\prime}=\frac{\phi\left(Q_{i}\right) \sum_{j=1}^{N} \phi\left(K_{j}\right)^{T} V_{j}}{\phi\left(Q_{i}\right) \sum_{j-1}^{N} \phi\left(K_{j}\right)^{T}}$

原始Transformer的计算复杂度之所以随序列长呈二次方增长，这是因为attention的计算包含两层for循环
$\rightarrow$ 外层是对于每一个Query，我们需要计算它对应token的新表征
$\rightarrow$ 内层for循环是为了计算每一个Query对应的新表征，需要让该Query与每一个Key进行计算
所以外层是 for q in Queries，内层是 for k in Keys，Queries数量和Keys数量都是N，从而复杂度是

好比军训时，甲乙丙丁4个人列成一队，计算注意力机制的过程相当于
首先把甲站到队伍的前面，算“其”与“自己在内所有人”的相似度，即计算这些的内积值：
甲q甲k、甲q乙k、甲q丙k、甲q丁k
接着，再乙站到队伍的前面，算“其”与“自己在内所有人”的相似度，即计算这些的内积值：
乙q甲k、乙q乙k、乙q丙k、乙q丁k

丙、丁以此类推，即分别计算这两批内积值：
丙q甲k、丙q乙k、丙q丁k、丙q丙k
丁q甲k、丁q乙k、丁q丙k、丁q丁k

而Linear Transformer，它只有外层for q in Queries这个循环了，因为求和项的计算与无关，所以所有的可以共享求和项的值。换言之，求和项的值可以只计算一次，然后存在内存中供所有去使用，所以Linear Transformer的计算复杂度是O(N)
引入以下两个新符号：
$\begin{array}{c} S_{i}=\sum_{j=1}^{i} \phi\left(K_{j}\right)^{T} V_{j} \\ Z_{i}=\sum_{j=1}^{i} \phi\left(K_{j}\right)^{T} \end{array}$

稍作变换，可以将Si 和Zi 写作递归形式：
$\begin{array}{l} S_{i}=\sum_{j=1}^{i} \phi\left(K_{j}\right)^{T} V_{j}=\phi\left(K_{i}\right)^{T} V_{i}+\sum_{j=1}^{i-1} \phi\left(K_{j}\right)^{T} V_{j}=\phi\left(K_{i}\right)^{T} V_{i}+S_{i-1} \\ Z_{i}=\sum_{j=1}^{i} \phi\left(K_{j}\right)^{T}=\phi\left(K_{i}\right)^{T}+\sum_{j=1}^{i-1} \phi\left(K_{j}\right)^{T}=\phi\left(K_{i}\right)^{T}+Z_{i-1} \end{array}$
因此，在inference阶段，当需要计算第i时刻的输出时，Linear Transformer可以复用之前的状态 Si−1 和 Zi−1 ，再额外加上一个与当前时刻相关的计算量即可。而Transformer在计算第i时刻的输出时，它在第i-1个时刻的所有计算都无法被i时刻所复用。因此，Linear Transformer更加高效

总结一下：

Linear Transformer的计算复杂度为 O(N) （不考虑embedding的维度的情况下）
因为Si可由Si−1计算得到(Zi同理)，所以它可实现Sequential Decoding(先算S1，由S1算S2，以此类推)。能Sequential Decoding是让这类Transformer看起来像RNN的核心原因

3.1.2 TransnormerLLM

如qinzhen所说，transnomerLLM相比cosformer，最本质的区别是其位置编码的不同，剩下就是结构细微的优化以及工程

// 待更

3.2 从AFT到RWKV

3.2.1 AFT(Attention Free Transformer)

Attention Free Transformer (AFT) 是Apple公司提出的一种新型的神经网络模型，它在传统的 Transformer 模型的基础上，通过使用像Residual Connection之类的技术来消除注意力机制，从而减少计算量和提升性能

AFT在不同的资料中有不同的表达形式

比如有的资料会写成
$O_{i}^{\prime}=\sigma\left(Q_{i}\right) \odot \frac{\sum_{j-1}^{i} \exp \left(K_{j}+w_{i, j}\right) \odot V_{j}}{\sum_{j=1}^{j} \exp \left(K_{j}+w_{i, j}\right)}$
其中 $\sigma$ 是sigmoid函数；⊙是逐元素相乘（element-wise product）， $w_{i,j}$ 是待训练的参数

AFT采用的形式和上面的Linear Transformer不一样
$\rightarrow$ 首先是attention score，Linear Transformer仍然是同Transformer一样，为每一个Value赋予一个weight，而AFT会为每个dimension赋予weight
换言之，在Linear Transformer中，同一个Value中不同dimension的weight是一致的，而AFT同一Value中不同dimension的weight不同
$\rightarrow$ 此外，attention score的计算也变得格外简单，用K去加一个可训练的bias。Q的用法很像一个gate

可以很容易把AFT也写成递归形式，这样容易看出，AFT也可以像Linear Transformer，在inference阶段复用前面时刻的计算结果，表现如RNN形式，从而相比于Transformer变得更加高效
还有的资料比如RWKV论文会写成(和上式一个意思)
$\operatorname{Attn}^{+}(W, K, V)_{t}=\frac{\sum_{i=1}^{t} e^{w_{t, i}+k_{i}} v_{i}}{\sum_{i=1}^{t} e^{w_{t, i}+k_{i}}}$
其中，其中 $\left\{w_{t, i}\right\} \in R^{T \times T}$ 是学习的pair-wise位置偏差，每个 $w_{t, i}$ 是一个标量

下图是对该式的解释说明
其实从式子上看，AFT无非是将矩阵乘改成了矩阵加，加上模型只能看到前面的token。注意这里的是一个二维矩阵，和attention中的positional encoding作用相似，都是为了给模型输入位置信息

3.2.2 RWKV：试图在Transformer时代重塑RNN

RWKV其实是我司论文审稿GPT第一版(详见此文的第三部分七月论文审稿GPT第一版：基于论文审稿语料微调RWKV )选用的模型之一，虽然当时第一版用RWKV的效果没符合预期，但在有些任务上的表现还是不错的，加之因为写mamba模型而再次关注到有点类似的RWKV，故本文也顺带讲一下

据RWKV论文可知，RWKV 架构的名称源自timemixing和channel-mixing模块中使用的四个主要模型元素(defined by four fundamental elements that are intrinsic to the timemixing and channel-mixing blocks)：

R：表示过去的信息，用的sigmoid激活函数
W：权重是位置权重衰减向量，是可训练的模型参数(后面还会再出来个U，是对当前位置信号的补偿)
K：Key 是类似于传统注意力中的K 的向量
V ：value 是类似于传统注意力中的V 的向量

每个时间步的主要元素之间的相互作用都是乘法的，如下图所示

在RWKV的结构中，其中的递归被表述为当前输入和前一个时间步的输入之间的线性插值(我们将这种技术称为time-shift mixing或token shift，如下图中的对角线所示)

可以表示为针对输入嵌入的每个线性投影(例如，timemixing中的 R、K、V，以及channel-mixing中的 R、K)进行独立调整，并作为 WKV 的时间相关更新
WKV 计算与 AFT 类似，但 W 现在是“通道向量”乘以“相对位置”(下文详述)，而不是 AFT 中的pairwise position matrix。我们还引入了一个向量 U 来单独关注当前token，以补偿 W 的潜在退化

一看有点懵，没事，因为其中有不少细节，咱们来逐一阐述

3.2.2.1 RWKV的时间混合(time mix)模块与通道混合(channel mix)模块

如下图所示，假设输入sequence是My name is，目前，则这里 $x_{t-1}$ 是上一个输入token(My)，是这个输入token(name)
$\mu$ 是遗忘因子，越大对上个token(My)就忘的越多，也就是对这个token(name)更专注，黄色(μ)表示token shift「至于红色(1)表示分母，蓝色(2)表示分子，粉色(3)表示16种分数计算，h代表了分子和分母的元组」

可有以下五个公式

先解释前三个公式

在传统Transformer中， ,, 本质上都是的线性变换，可以用来动态调整表示的子空间维度且增大参数量
在RWKV中， ,, 本质上都是 , $x_{t-1}$ 线性组合的变换，且作为计算RKV的输入的：不再是当前token的embedding，而是当前token与上一个token embedding的加权和

$\begin{aligned} r_{t} & =W_{r} \cdot\left(\mu_{r} x_{t}+\left(1-\mu_{r}\right) x_{t-1}\right) \\ k_{t} & =W_{k} \cdot\left(\mu_{k} x_{t}+\left(1-\mu_{k}\right) x_{t-1}\right) \\ v_{t} & =W_{v} \cdot\left(\mu_{v} x_{t}+\left(1-\mu_{v}\right) x_{t-1}\right) \end{aligned}$

接下来重点解释下其中最难的部分第4个公式： $w k v_{t}$

原始的attention是这样的：

$\operatorname{Attn}(Q, K, V)_{t}=\frac{\sum_{i=1}^{T} e^{q_{t}^{\top} k_{i}} \odot v_{i}}{\sum_{i=1}^{T} e^{q_{t}^{\top} k_{i}}}$

AFT的attention

$\operatorname{Attn}^{+}(W, K, V)_{t}=\frac{\sum_{i=1}^{t} e^{w_{t, i}+k_{i}} v_{i}}{\sum_{i=1}^{t} e^{w_{t, i}+k_{i}}}$

RWKV的attention
                                         $w k v_{t}=\frac{\sum_{i=1}^{t-1} e^{-(t-1-i) w+k_{i}} \odot v_{i}+e^{u+k_{t}} \odot v_{t}}{\sum_{i=1}^{t-1} e^{-(t-1-i) w+k_{i}}+e^{u+k_{t}}}$

怎么理解这个RWKV attention的这个表达式呢？
受 AFT 的启发，RWKV 中的每个 $w_{t, i}$ 都代表一个「通道时间衰减向量」，该向量乘以相对位置，并且在衰减时从当前时间开始向后追踪(Each wt,i in RWKV is a channelwise time decay vector multiplied by the relative position and traced backward from current time as it decays)：
                                         $w_{t, i}=-(t-i) w$

其中 $w \in\left(R_{\geq 0}\right)^{d}$ ，  是通道数，RWKV要求为非负数，以确保 $e^{w_{t, i}} \leq 1$ 并且确保每个通道的权重在时间上向后衰减(ensure that e wt,i ≤ 1 and the per-channel weights decay backwards in time)
这个操作与后面的 $e^{u}$ 都是用来建模序列的time decay的

以上可能解释的比较绕，不够通俗，其实说白了，相比AFT，原来的依靠绝对位置的偏置 $w_{t, i}$ 没有了，改成了相对位置，并且只有一个参数向量需要训练
其次，对当前位置单独处理，增加了参数

最后，再解释第5个公式

其中计算， $w k v_{t}$ ，在 Transformers 中扮演 $\operatorname{Attn}(Q, K, V)$ 的角色，而不会产生quadratic成本，因为计算的都是标量，这就是上面的第5个公式

$o_{t}=W_{o} \cdot\left(\sigma\left(r_{t}\right) \odot w k v_{t}\right)$

直观上，随着时间的增加，向量 $o_{t}$ 取决于较长的历史，由越来越多的项的总和表示。对于目标位置，RWKV在的位置区间进行加权求和，然后乘以接受度 $\sigma(r)$
因此，交互作用在给定的时间步长内是乘法的，并在不同的时间步长上求和

最后，通道混合块(channel mix block)根据time-mixing block的输出，然后使用下述三个公式的前两个公式计算一组心的R、K，最后根据下面第三个公式计算最终输出

$\begin{aligned} r_{t} & =W_{r} \cdot\left(\mu_{r} x_{t}+\left(1-\mu_{r}\right) x_{t-1}\right) \\ k_{t} & =W_{k} \cdot\left(\mu_{k} x_{t}+\left(1-\mu_{k}\right) x_{t-1}\right) \\ o_{t} & =\sigma\left(r_{t}\right) \odot\left(W_{v} \cdot \max \left(k_{t}, 0\right)^{2}\right) \end{aligned}$

3.2.2.2 RWKV的训练阶段与推理阶段

训练阶段：时间并行模式

在训练复杂度上，我们对比下标准注意力与RWKV

对于标准注意力而言，假设是个最大token，因为RWKV只需要上一时刻的state vector和这一时刻的输入。因此，生成的每一个token只要考虑常数个变量，所以复杂度为 $\mathcal{O}(T)$

如果是个通道，则每个 $\operatorname{Attn}_{t}$ 需要进行次求和，每次求和都涉及一维向量分别点乘，复杂度为 $\mathcal{O}(T d)$ ，因此对于整个序列的复杂度为 $\left(T^{2} d\right)$
$\operatorname{Attn}(Q, K, V)_{t}=\frac{\sum_{i=1}^{T} e^{q_{t}^{\top} k_{i}} \odot v_{i}}{\sum_{i=1}^{T} e^{q_{t}^{\top} k_{i}}}$
当然，如果是个序列，则复杂度为 $O\left(B T^{2} d\right)$
对于RWKV而言
$w k v_{t}=\frac{\sum_{i=1}^{t-1} e^{-(t-1-i) w+k_{i}} v_{i}+e^{u+k_{t}} v_{t}}{\sum_{i=1}^{t-1} e^{-(t-1-i) w+k_{i}}+e^{u+k_{t}}}$

$\rightarrow$ 针对 $\sum_{i=1}^{t-1} e^{(-t-1-i) w+k_{i}} v_{i}$ ，不是向量下标，意味着对每个，我们知道 , 是复用的，因此， → 时复杂度为 $\mathcal{O}(T d)$
$\rightarrow$ 针对 $\sum_{i=1}^{t-1} e^{u+k_{t}} v_{t}$ ，不是向量下标，意味着对每个，我们知道 , 是复用的，因此，时间复杂度为 $\mathcal{O}(T d)+\mathcal{O}(T d)=\mathcal{O}(T d)$

也就是说，在内层循环，算出的 $\sum_{i=1}^{t-1} e^{(-t-1-i) w+k_{i}} v_{i}$ 可以直接存起来供外层循环使用。即，RWKV的内外层循环是解耦的
当然，如果是个序列，则复杂度为

推理阶段：时间顺序模式

在循环网络中，使用状态的输出作为状态的输入是很常见的。这在语言模型的自回归解码推理中尤其明显，要求每个标记在输入下一步之前进行计算，从而使得RWKV 利用其类似 RNN 的结构，称为时间顺序模式（time-sequence mode），如下图所示(来自小冬瓜AIGC)

在这种情况下，可以方便地递归地制定 RWKV 以便在推理过程中进行解码，它利用了每个输出token仅依赖于最新状态的优点，该状态具有恒定的大小，而与序列长度无关
然后，它充当 RNN 解码器，根据序列长度产生恒定的速度和内存占用，从而能够更有效地处理较长的序列。相比之下，自注意力通常需要 KV 缓存相对于序列长度线性增长，从而导致效率下降，并且随着序列变长而增加内存占用和时间

参考文献与推荐阅读

Transformer挑战者出现！FlashAttention作者参与，模型代码都开源，公司已创办
[线性RNN系列] Mamba: S4史诗级升级
Structured State Spaces for Sequence Modeling (S4)
S4: 使用结构化状态空间对长序列进行高效建模
《Efficiently Modeling Long Sequences with Structured State Spaces》
首次提出了结构化状态空间S4
S4作者在YouTube上对S4论文的精彩解读
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
RWKV: Reinventing RNNs for the Transformer Era(下载地址2)，这是其翻译，这是其解读之一
【手撕LLM-RWKV】重塑RNN 效率
..

创作、修订、完善记录

12.11，开写，且发现Google抓的也是真快(当天用Google搜：mamba模型，本文已排第一)
12.12，考虑到想理解好mamba，则需要先理解好SSM，故全力完善这几节的内容：“1.2 状态空间模型SSM”、“1.3 S4的前身：HiPPO”、“1.4 S4的推出：Structured State Space Models”
12.13，完善此节：“1.5 S4的性质：连续的表示、用Recurrent快速infer、用Convolutional快速训练”
12.14，结合mamba论文，开始精修“第二部分 Mamba的组成结构与原理解析”
特别是以下这两节
2.1.1 选择性状态空间模型：从S4到S6
2.1.2 硬件感知的状态扩展：借鉴Flash Attention
12.15，开始写：“第三部分 Mamba近似工作之线性Transformer：从AFT、RWKV谈到TransnormerLLM”
特别是此节：“3.2 RWKV：试图在Transformer时代重塑RNN”
12.17，修正1.4节中的一个笔误，已修正为：“作者想到了非常精妙的一个方法：不考虑input 到state ，而是直接从state 到output y ”
12.19，在TransNormer的提出者qinzhen的建议之下，补充关于线性transformer的一些解释说明，特别是关键的这一句
“考虑到矩阵乘法有结合律，softmax只能左乘，linear可以右乘，而右乘更快，正因为矩阵乘积的这个属性可以实现注意力操作的线性复杂度”
12.23，根据友人钟博士的反馈，在文中强调：第一个实现匹配Transformer性能的线性时间序列模型是TransNormerLLM..

你可能感兴趣的:(论文,代码,应用,Mamba模型,Flash,Attention,SSM架构,Transformer,大语言模型,线性Transformer,RWKV)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
【iOS】MVC设计模式 Magnetic_h ios mvc 设计模式 objective-c 学习 ui
MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
OC语言多界面传值五大方式 Magnetic_h ios ui 学习 objective-c 开发语言
前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
element实现动态路由+面包屑软件技术NINI vue案例 vue.js 前端
el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
C语言如何定义宏函数？小九格物 c语言
在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务 java 架构
在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断尐尐呅
结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
《策划经理回忆录之二》路基雅虎
话说三年变六年，飘了，飘了……眨眼，2013年5月，老吴回到了他的家乡——油城从新开启他的工作幻想症生涯。很庆幸，这是一家很有追求，同时敢于尝试的，且实力不容低调的新星房企——金源置业(前身泰源置业)更值得庆幸的是第一个盘就是油城十路的标杆之一:金源盛世。2013年5月，到2015年11月，两年的陪伴，迎来了一场大爆发。2000个筹，5万/筹，直接回笼1个亿！！！这……让我开始认真审视这座看似五线
LocalDateTime 转 String igotyback java 开发语言
importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
swagger访问路径 igotyback swagger
Swagger2.x版本访问地址：http://{ip}:{port}/{context-path}/swagger-ui.html{ip}是你的服务器IP地址。{port}是你的应用服务端口，通常为8080。{context-path}是你的应用上下文路径，如果应用部署在根路径下，则为空。Swagger3.x版本对于Swagger3.x版本（也称为OpenAPI3）访问地址：http://{ip
店群合一模式下的社区团购新发展——结合链动 2+1 模式、AI 智能名片与 S2B2C 商城小程序源码说私域人工智能小程序
摘要：本文探讨了店群合一的社区团购平台在当今商业环境中的重要性和优势。通过分析店群合一模式如何将互联网社群与线下终端紧密结合，阐述了链动2+1模式、AI智能名片和S2B2C商城小程序源码在这一模式中的应用价值。这些创新元素的结合为社区团购带来了新的机遇，提升了用户信任感、拓展了营销渠道，并实现了线上线下的完美融合。一、引言随着互联网技术的不断发展，社区团购作为一种新兴的商业模式，在满足消费者日常需
2021-08-26 影幽
在生活中，女人与男人的感悟往往有所不同。人生最大的舞台就是生活，大幕随时都可能拉开，关键是你愿不愿意表演都无法躲避。在生活中，遇事不要急躁，不要急于下结论，尤其生气时不要做决断，要学会换位思考，大事化小小事化了，把复杂的事情尽量简单处理，千万不要把简单的事情复杂化。永远不要扭曲，别人善意，无药可救。昨天是张过期的支票，明天是张信用卡，只有今天才是现金，要善加利用！执着的攀登者不必去与别人比较自己的
消息中间件有哪些常见类型 xmh-sxh-1314 java
消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
html 中如何使用 uniapp 的部分方法某公司摸鱼前端 html uni-app 前端
示例代码：Documentconsole.log(window);效果展示：好了，现在就可以uni.使用相关的方法了
三大师传 beca酱
巴尔扎克的作品被誉为“法国社会的一面镜子”。文学大师维克多·雨果对巴尔扎克的评价是：“在最伟大的人物中间，巴尔扎克是名列前茅者；在最优秀的人物中间，巴尔扎克是佼佼者之一。”一个原本寂寂无名的小人物，从地中海的某个海岛上，只身一人来到巴黎，没有朋友，也没有名望。作为一个一文不名的外乡人，凭着赤手空拳赢得了巴黎，征服了整个法兰西，并且赢得了世界。这个人就是十九世纪法国伟大的军事家、政治家，法兰西第一帝
我的烦恼余建梅
我的烦恼。女儿问我：“你给学生布置什么作文题目？”“《我的烦恼》。”“他们都这么大了，你觉得他们还有烦恼吗？”“有啊！每个人都会有自己烦恼。”“我不相信，大人是没有烦恼的，如果说一定有的话，你的烦恼和我写作业有关，而且是小烦恼。不像我，天天被你说，有这样的妈妈，烦恼是没完没了。”女儿愤愤不平。每个人都会有自己的烦恼，处在上有老下有小的年纪，烦恼多的数不完。想干好工作带好孩子，想孝顺父母又想经营好自
《大清方方案》| 第二话谁佐清欢
和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
回溯 Leetcode 332 重新安排行程 mmaerd Leetcode刷题学习记录 leetcode 算法职场和发展
重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
每日一题——第八十四题互联网打工人no1 C语言程序设计每日一练 c语言
题目：编写函数1、输入10个职工的姓名和职工号2、按照职工由大到小顺序排列，姓名顺序也随之调整3、要求输入一个职工号，用折半查找法找出该职工的姓名#define_CRT_SECURE_NO_WARNINGS#include#include#defineMAX_EMPLOYEES10typedefstruct{intid;charname[50];}Empolyee;voidinputEmploye
腾讯云技术深度探索：构建高效云原生微服务架构我的运维人生云原生架构腾讯云运维开发技术共享
腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
谁家酒器最绝唱，藏在酒厂人未知？景阳冈酒厂先秦藏品大揭秘李虓酒评论
文/王赛时中国的酒器酒具历史久远，举世闻名。从北京的故宫博物院、中国国家博物馆，到世界各国的大型博物馆，都以能够收藏中国古代酒具而夸耀。但很少有人知道，在山东阳谷景阳冈酒厂，默默地收藏了两千件中国酒器。这些酒器，就封藏在景阳冈的酒道馆里。其中有一些青铜酒器，一睡就是三、四千年，堪称无声国宝，堪作无字史书！今天，我将引领诸位首先窥视一下景阳冈酒道馆的9件先秦藏品，你自己来说震撼不震撼。提示：这只是景
LLM 词汇表落难Coder LLMs NLP 大语言模型大模型 llama 人工智能
Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）编程经验分享开发工具服务器 ssh linux
目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
关于提高复杂业务逻辑代码可读性的思考编程经验分享开发经验 java 数据库开发语言
目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
如果做到轻松在股市赚钱？只要坚持这三个原则。履霜之人
大A股里向来就有七亏二平一赚的说法，能赚钱的都是少数人。否则股市就成了慈善机构，人人都有钱赚，谁还要上班？所以说亏钱是正常的，或者说是应该的。那么那些赚钱的人又是如何做到的呢？普通人能不能找到捷径去分一杯羹呢？方法是有的，但要做到需要你有极高的自律。第一，控制仓位，散户最大的问题是追涨杀跌，只要涨起来，就把钱往股票上砸，然后被套，隔天跌的受不了，又一刀切，全部割肉。来来回回间，遍体鳞伤。所以散户首
DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计网页设计期末网页作业 html静态网页 html5期末大作业网页设计 web大作业
️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
Hadoop(一) 朱辉辉33 hadoop linux
今天在诺基亚第一天开始培训大数据，因为之前没接触过Linux，所以这次一起学了，任务量还是蛮大的。首先下载安装了Xshell软件，然后公司给了账号密码连接上了河南郑州那边的服务器，接下来开始按照给的资料学习，全英文的，头也不讲解，说锻炼我们的学习能力，然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧. 在hdfs下，运行hadoop fs -mkdir /u
maven An error occurred while filtering resources blackproof maven 报错
转：http://stackoverflow.com/questions/18145774/eclipse-an-error-occurred-while-filtering-resources maven报错： maven An error occurred while filtering resources Maven -> Update Proje
jdk常用故障排查命令 daysinsun jvm
linux下常见定位命令： 1、jps 输出Java进程 -q 只输出进程ID的名称，省略主类的名称； -m 输出进程启动时传递给main函数的参数； &nb
java 位移运算与乘法运算周凡杨 java 位移运算乘法
对于 JAVA 编程中，适当的采用位移运算，会减少代码的运行时间，提高项目的运行效率。这个可以从一道面试题说起：问题：用最有效率的方法算出2 乘以8 等於几?” 答案：2 << 3 由此就引发了我的思考，为什么位移运算会比乘法运算更快呢？其实简单的想想，计算机的内存是用由 0 和 1 组成的二
java中的枚举(enmu) g21121 java
从jdk1.5开始，java增加了enum(枚举)这个类型，但是大家在平时运用中还是比较少用到枚举的，而且很多人和我一样对枚举一知半解，下面就跟大家一起学习下enmu枚举。先看一个最简单的枚举类型，一个返回类型的枚举： public enum ResultType { /** * 成功 */ SUCCESS, /** * 失败 */ FAIL,
MQ初级学习 510888780 activemq
1.下载ActiveMQ 去官方网站下载：http://activemq.apache.org/ 2.运行ActiveMQ 解压缩apache-activemq-5.9.0-bin.zip到C盘，然后双击apache-activemq-5.9.0-\bin\activemq-admin.bat运行ActiveMQ程序。启动ActiveMQ以后，登陆：http://localhos
Spring_Transactional_Propagation 布衣凌宇 spring transactional
//事务传播属性 @Transactional(propagation=Propagation.REQUIRED)//如果有事务，那么加入事务，没有的话新创建一个 @Transactional(propagation=Propagation.NOT_SUPPORTED)//这个方法不开启事务 @Transactional(propagation=Propagation.REQUIREDS_N
我的spring学习笔记12-idref与ref的区别 aijuans spring
idref用来将容器内其他bean的id传给<constructor-arg>/<property>元素，同时提供错误验证功能。例如： <bean id ="theTargetBean" class="..." /> <bean id ="theClientBean" class=&quo
Jqplot之折线图 antlove js jquery Web timeseries jqplot
timeseriesChart.html <script type="text/javascript" src="jslib/jquery.min.js"></script> <script type="text/javascript" src="jslib/excanvas.min.js&
JDBC中事务处理应用百合不是茶 java JDBC编程事务控制语句
解释事务的概念; 事务控制是sql语句中的核心之一;事务控制的作用就是保证数据的正常执行与异常之后可以恢复事务常用命令: Commit提交
[转]ConcurrentHashMap Collections.synchronizedMap和Hashtable讨论 bijian1013 java 多线程线程安全 HashMap
在Java类库中出现的第一个关联的集合类是Hashtable，它是JDK1.0的一部分。 Hashtable提供了一种易于使用的、线程安全的、关联的map功能，这当然也是方便的。然而，线程安全性是凭代价换来的――Hashtable的所有方法都是同步的。此时，无竞争的同步会导致可观的性能代价。Hashtable的后继者HashMap是作为JDK1.2中的集合框架的一部分出现的，它通过提供一个不同步的
ng-if与ng-show、ng-hide指令的区别和注意事项 bijian1013 JavaScript AngularJS
angularJS中的ng-show、ng-hide、ng-if指令都可以用来控制dom元素的显示或隐藏。ng-show和ng-hide根据所给表达式的值来显示或隐藏HTML元素。当赋值给ng-show指令的值为false时元素会被隐藏，值为true时元素会显示。ng-hide功能类似，使用方式相反。元素的显示或
【持久化框架MyBatis3七】MyBatis3定义typeHandler bit1129 TypeHandler
什么是typeHandler? typeHandler用于将某个类型的数据映射到表的某一列上，以完成MyBatis列跟某个属性的映射内置typeHandler MyBatis内置了很多typeHandler，这写typeHandler通过org.apache.ibatis.type.TypeHandlerRegistry进行注册，比如对于日期型数据的typeHandler，
上传下载文件rz,sz命令 bitcarter linux命令rz
刚开始使用rz上传和sz下载命令：因为我们是通过secureCRT终端工具进行使用的所以会有上传下载这样的需求：我遇到的问题： sz下载A文件10M左右，没有问题但是将这个文件A再传到另一天服务器上时就出现传不上去，甚至出现乱码，死掉现象，具体问题解决方法：上传命令改为;rz -ybe 下载命令改为：sz -be filename 如果还是有问题：那就是文
通过ngx-lua来统计nginx上的虚拟主机性能数据 ronin47 ngx-lua　统计解禁ip
介绍以前我们为nginx做统计,都是通过对日志的分析来完成.比较麻烦,现在基于ngx_lua插件,开发了实时统计站点状态的脚本,解放生产力.项目主页: https://github.com/skyeydemon/ngx-lua-stats 功能支持分不同虚拟主机统计, 同一个虚拟主机下可以分不同的location统计. 可以统计与query-times request-time
java-68-把数组排成最小的数。一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的。例如输入数组{32, 321}，则输出32132 bylijinnan java
import java.util.Arrays; import java.util.Comparator; public class MinNumFromIntArray { /** * Q68输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。 * 例如输入数组{32, 321}，则输出这两个能排成的最小数字32132。请给出解决问题
Oracle基本操作 ccii Oracle SQL总结 Oracle SQL语法 Oracle基本操作 Oracle SQL
一、表操作 1. 常用数据类型 NUMBER(p,s)：可变长度的数字。p表示整数加小数的最大位数，s为最大小数位数。支持最大精度为38位 NVARCHAR2(size)：变长字符串，最大长度为4000字节（以字符数为单位） VARCHAR2(size)：变长字符串，最大长度为4000字节（以字节数为单位） CHAR(size)：定长字符串，最大长度为2000字节，最小为1字节，默认
[强人工智能]实现强人工智能的路线图 comsci 人工智能
1：创建一个用于记录拓扑网络连接的矩阵数据表 2:自动构造或者人工复制一个包含10万个连接(1000*1000)的流程图 3：将这个流程图导入到矩阵数据表中 4：在矩阵的每个有意义的节点中嵌入一段简单的
给Tomcat，Apache配置gzip压缩(HTTP压缩)功能 cwqcwqmax9 apache
背景： HTTP 压缩可以大大提高浏览网站的速度，它的原理是，在客户端请求网页后，从服务器端将网页文件压缩，再下载到客户端，由客户端的浏览器负责解压缩并浏览。相对于普通的浏览过程HTML ,CSS,Javascript , Text ，它可以节省40%左右的流量。更为重要的是，它可以对动态生成的，包括CGI、PHP , JSP , ASP , Servlet,SHTML等输出的网页也能进行压缩，
SpringMVC and Struts2 dashuaifu struts2 springMVC
SpringMVC VS Struts2 1: spring3开发效率高于struts 2: spring3 mvc可以认为已经100%零配置 3: struts2是类级别的拦截，一个类对应一个request上下文， springmvc是方法级别的拦截，一个方法对应一个request上下文，而方法同时又跟一个url对应所以说从架构本身上 spring3 mvc就容易实现r
windows常用命令行命令 dcj3sjt126com windows cmd command
在windows系统中，点击开始－运行，可以直接输入命令行，快速打开一些原本需要多次点击图标才能打开的界面，如常用的输入cmd打开dos命令行，输入taskmgr打开任务管理器。此处列出了网上搜集到的一些常用命令。winver 检查windows版本 wmimgmt.msc 打开windows管理体系结构(wmi) wupdmgr windows更新程序 wscrip
再看知名应用背后的第三方开源项目 dcj3sjt126com ios
知名应用程序的设计和技术一直都是开发者需要学习的，同样这些应用所使用的开源框架也是不可忽视的一部分。此前《 iOS第三方开源库的吐槽和备忘》中作者ibireme列举了国内多款知名应用所使用的开源框架，并对其中一些框架进行了分析，同样国外开发者 @iOSCowboy也在博客中给我们列出了国外多款知名应用使用的开源框架。另外txx's blog中详细介绍了 Facebook Paper使用的第三
Objective-c单例模式的正确写法 jsntghf 单例 ios iPhone
一般情况下，可能我们写的单例模式是这样的： #import <Foundation/Foundation.h> @interface Downloader : NSObject + (instancetype)sharedDownloader; @end #import "Downloader.h" @implementation
jquery easyui datagrid 加载成功，选中某一行 hae jquery easyui datagrid 数据加载
1.首先你需要设置datagrid的onLoadSuccess $( '#dg' ).datagrid({onLoadSuccess : function (data){ $( '#dg' ).datagrid( 'selectRow' ,3); }}); 2.onL
jQuery用户数字打分评价效果 ini JavaScript html jquery Web css
效果体验：http://hovertree.com/texiao/jquery/5.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>jQuery用户数字打分评分代码 - HoverTree</
mybatis的paramType kerryg DAO sql
MyBatis传多个参数： 1、采用#{0},#{1}获得参数： Dao层函数方法： public User selectUser(String name,String area); 对应的Mapper.xml <select id="selectUser" result
centos 7安装mysql5.5 MrLee23 centos
首先centos7 已经不支持mysql，因为收费了你懂得，所以内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb，以下为卸载mariadb，安装mysql的步骤。 #列出所有被安装的rpm package rpm -qa | grep mariadb #卸载 rpm -e mariadb-libs-5.
利用thrift来实现消息群发 qifeifei thrift
Thrift项目一般用来做内部项目接偶用的，还有能跨不同语言的功能，非常方便，一般前端系统和后台server线上都是3个节点，然后前端通过获取client来访问后台server，那么如果是多太server，就是有一个负载均衡的方法，然后最后访问其中一个节点。那么换个思路，能不能发送给所有节点的server呢，如果能就
实现一个sizeof获取Java对象大小 teasp java HotSpot 内存对象大小 sizeof
由于Java的设计者不想让程序员管理和了解内存的使用，我们想要知道一个对象在内存中的大小变得比较困难了。本文提供了可以获取对象的大小的方法，但是由于各个虚拟机在内存使用上可能存在不同，因此该方法不能在各虚拟机上都适用，而是仅在hotspot 32位虚拟机上，或者其它内存管理方式与hotspot 32位虚拟机相同的虚拟机上适用。
SVN错误及处理 xiangqian0505 SVN提交文件时服务器强行关闭
在SVN服务控制台打开资源库“SVN无法读取current” ---摘自网络写道 SVN无法读取current修复方法 Can't read file : End of file found 文件：repository/db/txn_current、repository/db/current 其中current记录当前最新版本号，txn_current记录版本库中版本

一文通透想颠覆Transformer的Mamba：从SSM、S4到mamba、线性transformer(含RWKV解析)

前言

第一部分 背景知识：Transformer时间复杂度、HiPPO、SSM、S4

1.1 Transformer的二次复杂度

1.2 状态空间模型SSM(State Space Model)

1.3 S4的前身：HiPPO

1.3.1 改进transformer不擅长处理超长的序列的问题：输入u到状态x

1.3.2 HiPPO的推导：state compresses the history of input

1.4 S4的推出：Structured State Space Models

1.4.1 HiPPO的高阶化(输入u到状态x最后输出y)

1.4.2 Structured SSM

1.5 S4的性质：连续的表示、用Recurrent快速infer、用Convolutional快速训练

1.5.1 连续的表示

1.5.2 用Recurrent表示进行快速的infer

1.5.3 用Convolutional表示进行快速的训练

第二部分 Mamba的组成结构与原理解析

2.1 Mamba = 有选择处理信息 + 硬件感知算法 + 更简单的SSM架构

2.1.1 选择性状态空间模型：从S4到S6

2.1.2 硬件感知的状态扩展：借鉴Flash Attention

2.1.3 简化的SSM架构

2.2 对Improving SSMs with Selection的进一步阐述

2.2.1 三个任务的对比：copying、selective copying、induction heads

2.2.2

2.3 实验结果

第三部分 Mamba近似工作之线性Transformer：从TransnormerLLM到RWKV

3.1 从线性Transformer谈到TransnormerLLM

3.1.1 什么是线性transformer：cosformer

3.1.2 TransnormerLLM

3.2 从AFT到RWKV

3.2.1 AFT(Attention Free Transformer)

3.2.2 RWKV：试图在Transformer时代重塑RNN

3.2.2.1 RWKV的时间混合(time mix)模块与通道混合(channel mix)模块

3.2.2.2 RWKV的训练阶段与推理阶段

训练阶段：时间并行模式

推理阶段：时间顺序模式

参考文献与推荐阅读

创作、修订、完善记录

你可能感兴趣的:(论文,代码,应用,Mamba模型,Flash,Attention,SSM架构,Transformer,大语言模型,线性Transformer,RWKV)

第一部分背景知识：Transformer时间复杂度、HiPPO、SSM、S4