编码器-解码器架构 束搜索 注意力机制

一 编码器-解码器架构

编码器-解码器架构 束搜索 注意力机制_第1张图片

 编码器-解码器架构 束搜索 注意力机制_第2张图片编码器-解码器架构 束搜索 注意力机制_第3张图片

 编码器-解码器架构 束搜索 注意力机制_第4张图片

 编码器-解码器架构 束搜索 注意力机制_第5张图片

 二 束搜索

编码器-解码器架构 束搜索 注意力机制_第6张图片编码器-解码器架构 束搜索 注意力机制_第7张图片

 编码器-解码器架构 束搜索 注意力机制_第8张图片

 ps:取log是给长句子一点好处,越长的数字累乘后越小,log后变负数绝对值更大。

 编码器-解码器架构 束搜索 注意力机制_第9张图片

 三 注意力机制

编码器-解码器架构 束搜索 注意力机制_第10张图片

 编码器-解码器架构 束搜索 注意力机制_第11张图片

编码器-解码器架构 束搜索 注意力机制_第12张图片 

编码器-解码器架构 束搜索 注意力机制_第13张图片 

 编码器-解码器架构 束搜索 注意力机制_第14张图片

 编码器-解码器架构 束搜索 注意力机制_第15张图片

编码器-解码器架构 束搜索 注意力机制_第16张图片 编码器-解码器架构 束搜索 注意力机制_第17张图片

编码器-解码器架构 束搜索 注意力机制_第18张图片 

 

  

你可能感兴趣的:(动手学深度学习,架构,深度学习,人工智能)