【视频笔记】解密RWKV线性注意力的进化过程

from: https://www.bilibili.com/video/BV1zW4y1D7Qg/?spm_id_from=333.999.0.0&vd_source=21cce77bb69d40a81e0d37999f2da0c2

文章目录

    • 向量版 Self-attention
    • AFT 的线性Attention
    • RWKV的线性Attention

向量版 Self-attention

手动实现,可以看出 时间复杂度 O ( n 2 ) O(n^2) O(n2)
【视频笔记】解密RWKV线性注意力的进化过程_第1张图片
调用库函数

【视频笔记】解密RWKV线性注意力的进化过程_第2张图片

AFT 的线性Attention

【视频笔记】解密RWKV线性注意力的进化过程_第3张图片

RWKV的线性Attention

【视频笔记】解密RWKV线性注意力的进化过程_第4张图片

权重 衰减
【视频笔记】解密RWKV线性注意力的进化过程_第5张图片

权重 迭代 记录
【视频笔记】解密RWKV线性注意力的进化过程_第6张图片
【视频笔记】解密RWKV线性注意力的进化过程_第7张图片
【视频笔记】解密RWKV线性注意力的进化过程_第8张图片
【视频笔记】解密RWKV线性注意力的进化过程_第9张图片

你可能感兴趣的:(【视频总结】,笔记)