【UCAS自然语言处理作业二】训练FFN, RNN, Attention机制的语言模型,并计算测试集上的PPL
文章目录前言前馈神经网络数据组织Dataset网络结构训练超参设置RNN数据组织&Dataset网络结构训练超参设置注意力网络数据组织&Dataset网络结构Attention部分完整模型训练部分超参设置结果与分析训练集Loss测试集PPL前言本次实验主要针对前馈神经网络,RNN,以及基于注意力机制的网络学习语言建模任务,并在测试集上计算不同语言模型的PPLPPL计算:我们采用teacherfor