StreamingLLM

大模型基础架构的变革：剖析Transformer的挑战者（下）

我们介绍了UniRepLKNet、StripedHyena、PanGu-π等有可能会替代Transformer的模型架构，这一篇文章我们将要介绍另外三个有可能会替代Transformer的模型架构，它们分别是StreamingLLM
深度人工智能·2024-02-10 15:08

【LLM】浅谈 StreamingLLM中的attention sink和sink token

前言Softmax函数SoftMax(x)i=exiex1+∑j=2Nexj,x1≫xj,j∈2,…,N\text{SoftMax}(x)_i=\frac{e^{x_i}}{e^{x_1}+\sum_{j=2}^{N}e^{x_j}},\quadx_1\ggx_j,j\in2,\dots,NSoftMax(x)i=ex1+∑j=2Nexjexi,x1≫xj,j∈2,…,NSoftmax通常用于多类
余俊晖·2023-10-15 19:44

麻省理工学院与Meta AI共同开发StreamingLLM框架，实现语言模型无限处理长度

AI新闻麻省理工学院与MetaAI共同开发StreamingLLM框架，实现语言模型无限处理长度摘要：麻省理工学院与MetaAI的研究人员联合研发了一款名为StreamingLLM的框架，解决了大语言模型在
go2coding·2023-10-09 12:26

StreamingLLM - 处理无限长度的输入

文章目录关于StreamingLLM使用关于StreamingLLMEfficientStreamingLanguageModelswithAttentionSinksGitHub:https://github.com
伊织code·2023-10-06 10:29
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他