【NLP】机器翻译相关原理

一、说明

        对于机器翻译中的seq2seq有哪些技术特点，本文将对这个技术的系列技术，以及其transformer机制进行叙述。值得一提的是，transformer机制是一个大的主题，需要一系列的文章和资料。本篇只是百分之一的贡献而已。

二、算法的目标

• Seq2Seq 的并行化：RNN / CNN按顺序逐字处理序列，这是并行化的障碍。转换器通过用注意力代替重复并按顺序编码符号位置来实现并行化。这反过来又大大缩短了训练时间。

• 减少顺序计算：常量 $O（1）$ 操作数，用于学习两个交易品种之间的依赖关系，而与它们在序列中的位置距离无关。

2.1 RNN