2018 · ACL · LSTMs Exploit Linguistic Attributes of Data

2018 · ACL · LSTMs Exploit Linguistic Attributes of Data

想法来源：实验性质文章。主要是测试LSTM的记忆能力。

价值：探索超参数和数据集对LSTM的影响。

方法：任务是预测句子中间的那个词。freeze embedding。

缺点：

详细方案：构造了四个数据集，预测句子中间的词。

数据集：
自己用真实语言造出来的数据集。

1. 在词典中均匀分布随机挑选词成句子。
2. 根据zipfian概率组句子。
3. 使用n-gram组成句子。
4. 真实语言。

实验：

• 结论：长度超长的句子会严重影响结果。同时，真实语言最后建模容易。增加隐藏层单元会提升结果。

• 数据集对结果的影响。

  
  
  

  -c400

• 输入序列长度对结果的的影响

  
  
  

  -c400