2020-02-16

1.数据预处理中分词(Tokenization)的工作是：把字符形式的句子转化为单词组成的列表

2.数据预处理工作的是：得到数据生成器、建立词典、分词数据预处理工作的是

3.(1)集束搜索结合了greedy search和维特比算法。(2)集束搜索使用beam size参数来限制在每一步保留下来的可能性词的数量。(3)集束搜索是一种贪心算法。

4.Sequence to Sequence模型：(1)预测时decoder每个单元输出得到的单词作为下一个单元的输入单词。(2)预测时decoder单元输出为句子结束符时跳出循环。(3)每个batch训练时encoder和decoder都有固定长度的输入。

5.点积注意力机制：(1)高维张量的矩阵乘法可用于并行计算多个位置的注意力分数。(2)计算点积后除以根号d​ 以减轻向量维度对注意力权重的影响。(3)可视化注意力权重的二维矩阵有助于分析序列内部的依赖关系。

6对于加入Attention机制的seq2seq模型，.解码器RNN仍由编码器最后一个时间步的隐藏状态初始化