【NLP】Transformer模型原理(2)

接上文 【NLP】Transformer模型原理(1) 

六、零层的transformer

        观看涵盖与本节类似内容的视频:0 层理论

        在进入更复杂的模型之前,简要考虑一下“零层”变压器很有用。这样的模型获取一个令牌,嵌入它,解嵌它以生成预测下一个令牌的对数:

                T= W_U{W_E}

你可能感兴趣的:(NLP入门到精通,自然语言处理,人工智能)