深度学习｜17.7 注意力模型直觉

传统模型有两个缺点，一是分析短句子效果不佳（缺少上下文作为信息支撑）；二是对于长句子而言，模型无法记忆较早的信息，从而丢失前面较早的依据。

假设使用一个注意力机制去处理将法语句子翻译成英语句子的过程。
那么将可以使用一个双向RNN去计算出在生成某一个对应的英语单词时原法语句子中各个法语单词中注意力的分配比例，从而生成的英语单词将受到不同法语单词的不同影响。