transform模型讲解

目录

game是游戏

 与北京在一起:冬奥会

 transform :encode,decode 12步骤

 自注意力机制就是变形金刚的拆解对照:生成零部件V和权重K,前馈神经网络进行权重调节:初步变形 

编码器Attention就是考虑上下文信息

注意力机制:采用多注意机制:防止一人叛变导致模型失效

 数据流动:用算法吧单词向量化,同一场赌。512位

 通过权重:Q,K,V进行计算生成零部件说明和关系说明​编辑

 8个权重矩阵,防止失效,消除初始权重影响​编辑

单词向量化,矩阵相乘生成关系说明,注意力权重,最后加权求和​编辑


game是游戏

transform模型讲解_第1张图片

 与北京在一起:冬奥会

transform模型讲解_第2张图片

 transform模型讲解_第3张图片

transform模型讲解_第4张图片 

transform模型讲解_第5张图片 

 transform :encode,decode 12步骤

transform模型讲解_第6张图片

 自注意力机制就是变形金刚的拆解对照:生成零部件V和权重K,前馈神经网络进行权重调节:初步变形 

transform模型讲解_第7张图片transform模型讲解_第8张图片

编码器Attention就是考虑上下文信息

【Transformer模型】曼妙动画轻松学,形象比喻贼好记_哔哩哔哩_bilibili

transform模型讲解_第9张图片

注意力机制:采用多注意机制:防止一人叛变导致模型失效

transform模型讲解_第10张图片 

 数据流动:用算法吧单词向量化,同一场赌。512位

transform模型讲解_第11张图片

 

 通过权重:Q,K,V进行计算生成零部件说明和关系说明transform模型讲解_第12张图片

 transform模型讲解_第13张图片

 8个权重矩阵,防止失效,消除初始权重影响transform模型讲解_第14张图片

transform模型讲解_第15张图片 

单词向量化,矩阵相乘生成关系说明,注意力权重,最后加权求和transform模型讲解_第16张图片

transform模型讲解_第17张图片 

 transform模型讲解_第18张图片

 transform模型讲解_第19张图片

 transform模型讲解_第20张图片

 transform模型讲解_第21张图片

 

你可能感兴趣的:(2023,AI,python)