入门 transformer 的步骤,也算是 attention is all you need 简介

1. 学习步骤

针对原始论文 attention is all you need 中的翻译业务场景,

第一步,了解词嵌入的概念和大概方法

第二步,针对 attention is all you need 中的算法,先记忆算法的精确数学计算流程,倾向于不求甚解其语言含义,多关注其数学运算;

第三步,结合流程尝试性的理解算法的含义;

2. 第一步 词嵌入

2.1 概念

词嵌入(Word Embedding)是自然语言处理(NLP)中的一种对单个单词或单个文字的表示技术,它将字、词语或短语从词汇表映射到实向量空间中,用一个向量代表一个单词。

2.2 常用词嵌入方法

未完待续

3. 第二步 算法精确的数学步骤

输入:

输出:

计算流程:

未完待续

4. 尝试理解算法含义

未完待续

你可能感兴趣的:(transformer,深度学习,人工智能)