paper：情感分析

---

A Hierarchical Model of Reviews for Aspect-based Sentiment Analysis

0. Summary

提出hierarchical bidirectional long short-term memory(H-LSTM)模型，综合评论的句子内部信息特征、句子间信息特征、句子的实体属性特征(eg.FOOD#QUALITY)，进行情感分析。最终证明本文提出模型具有更好的效果且不需要文本以外信息的结论。

1. Motivation

每个评论(review)中包含多个句子(sentence)，除了各句子内部的信息以外，句子与句子间的相关性对于情感分析也是十分重要的，故而本文同时获取句子级别信息(sentence-level)和评论级别信息(review-level)。

2. Method(s)

hierarchical bidirectional long short-term memory(H-LSTM)

3. Experiment

• 每个评论数据padding到h个句子，其中每个句子padding到l个单词。
• 句子如果有2个实体，则该句子匹配不同实体使用2次；如果该句子没有实体，则不使用该句子，依次类推。
• 分别使用随机&预训练embedding。
• 损失函数：cross-entropy；优化器：Adam。
  

4. Conclusion

• 与CNN、LSTM这些只考虑句子内部信息的模型比较，具有更好的效果。
• 与Best、XRCE、IIT-TUDA这些综合了文本之外的信息的模型比较，本文的H-LSTM只需要使用文本本身信息，能获得势均力敌(competitive performance)的结果。

5. Notes(optional)

N/A

6. Reference(optional)

N/A

---

---

Cached Long Short-Term Memory Neural Networks for Document-Level Sentiment Classification

0. Summary

提出Cached Long Short-Term Memory neural networks (CLSTM)模型，将内部隐藏单元分成多个组并赋以不同的遗忘率参数，解决文本级别(document-level)情感分析的超远距离的长期依赖问题。

1. Motivation

使用循环结构神经网络处理文本级别(document-level)的情感分析任务，会受到记忆单元不足的限制导致模型长期记忆缺陷，不能从相对较远的时间步中获取关键的情感信息。故而本文考虑计算机结构中的cache部件特点，应用到LSTM模型中，解决上述问题。

2. Method(s)

Cached Long Short-Term Memory neural networks (CLSTM)

• 将隐藏单元分成若干部分，每个部分称为组(group)，每个组赋以不同的遗忘系数。
• 遗忘系数大的组进行短期记忆，遗忘系数小的组进行长期记忆。
  

3. Experiment

• 超参数调整：组的数量。
• 根据文本长度，进行模型敏感性分析。
  

4. Conclusion

• cache结构能够在没有双向结构的帮助下，有效地存储重要情感信息。
• 本文所提出的模型能够取得更好的结果，且不需要文本以外的信息特征。
• 相较于多层次网络，本文提出的模型具有更少的参数和较低的时间复杂度。

5. Notes(optional)

N/A

6. Reference(optional)

N/A

---

---

Character-level Convolutional Networks for Text Classification

0. Summary

本文提出字符级别的卷积神经网络进行经验型研究实验，在多种数据集下，与传统机器学习算法&基础深度学习算法做实验对比。

1. Motivation

本文是一个经验性的研究(empirical syudy)，结合高效的CNN模型，从字符级别(character-level)进行情感分类。

2. Method(s)

Convolutional Networks(CNN)

3. Experiment

• 设置字符表，对每个字符进行one-hot编码，padding至固定长度，字符标中没出现过的字符设为全零向量。
• 根据已有分类词典，将文本中部分单词替换成其近义词进行数据增强，以改善模型结果。
  

4. Conclusion

• CNN更适用于用户产生的数据（如社交媒体上的帖子评论等）。
• 区分字母大小写结果 < 不区分字母大小写结果。原因分析可能是，字母大小写并不影响语义表达。
• 字母表的选择、数据集的大小等因素，对于不同的模型选择也是十分重要的。

5. Notes(optional)

data augmentation：数据增强

6. Reference(optional)

N/A

---

---

Convolutional Neural Networks for Sentence Classification

0. Summary

本文从Embedding层进行验证实验，论证强调预训练(pre-train)和微调(fine-tune)对模型结果的巨大改观作用。

1. Motivation

Embedding的随机化、预训练、微调，对于模型的效果是否具有不同的影响和作用？

2. Method(s)

convolutional neural networks (CNN)

• 每条文本句子使用预训练的向量**(word2vec)**分别进行两次Embedding，一次不进行微调，一次进行微调，最后将二者结果相加作为最终的Embedding矩阵。
  

3. Experiment

4. Conclusion

• Embedding结合预训练&微调，对结果具有明显的提升作用。
• 微调使Embedding矩阵更好地适用于特定的下游任务，更能在模型中表达文本的情感含义。

5. Notes(optional)

on top of：在…的基础上
CNN trained on top of pre-trained word vectors for sentence-level classification tasks.

6. Reference(optional)

N/A

---

---

Document Modeling with Gated Recurrent Neural Network for Sentiment Classification

0. Summary

本文提出Conv-GRNN & LSTM-GRNN模型，解决文本的长期依赖问题，从文本级别进行情感分类任务，考虑到了文本句子间的内在语义联系。

1. Motivation

对于文本级别(document-level)的情感分析任务，句子与句子间的语义关系对于模型正确预测文本情感倾向至关重要，本文使用门控循环神经网络对文本中句子进行建模和特征提取。

2. Method(s)

Conv-GRNN & LSTM-GRNN

3. Experiment

4. Conclusion

• 本文提出的LSTM-GRNN能取得至今最好的实验结果。
• 门控循环神经网络对解决长期依赖问题有很不错的效果，对情感分类问题具有很重要意义。

5. Notes(optional)

N/A

6. Reference(optional)

N/A

---

---

Hierarchical Attention Networks for Document Classification

0. Summary

本文主要贡献在于提出Hierarchical Attention Network (HAN)模型解决文本分类问题。一方面使用多层次网络反应文本结构，建立句子间的联系；另一方面使用两级注意力机制，捕获重要句子中的重要单词，改善模型结果。

1. Motivation

相同的单词或句子在不同的文本语境下具有不同的重要性，所以引用多层次(单词级别&句子级别)的注意力机制结合到多层次网络中，同时考虑了句子间关联性信息和单词句子的重要性信息。

2. Method(s)

Hierarchical Attention Network (HAN)

3. Experiment

• 保留数据集中出现超过5次的词语，否则替代为UNK。
• 训练集：验证集：预测集 == 8:1:1 。
  

4. Conclusion

• 相较于多层次模型，注意力机制能够有效改善实验结果。
• 重要句子中的重要词语，对模型结果更具影响力。

5. Notes(optional)

N/A

6. Reference(optional)

N/A

---

---

Title

0. Summary

1. Motivation

2. Method(s)

3. Experiment

4. Conclusion

5. Notes(optional)

N/A

6. Reference(optional)

N/A

---