一文通透想颠覆Transformer的Mamba:从SSM、S4到mamba、线性transformer(含RWKV解析)
前言不知读者发现没有,本文标题的信息含量很大,比如出来了一个新的序列模型:Mamba,其基于SSM或S4(StructuredStateSpaceforSequenceModeling,连起来4个S,故简称S4)发展为S6(S4modelswithaselectionmechanismandcomputedwithascan),其对应的论文为《Mamba:Linear-TimeSequenceMo