论文列表——sentiment analysis
情感分类属于文本分类的一个应用场景，一般都是人（用户）对某些具体事物（商品、事件）表达某些情感。落地场景是很多的。这学期最开始是做stance detection相关的工作，而其中target-specific stance detection和情感分类中的aspect-based sentiment analysis是很相关的，而AIC的比赛又正好是这个后者，所以顺便调研了下sentiment analysis。在此列出读论文的列表，部分论文直接列出一些简单的笔记，这些论文可读性不强（方法过于简单，或者论文本身的贡献不在方法上，没有太多记录成笔记的价值…），部分论文会逐步完善，给出简单的阅读笔记。阅读价值评分纯粹是基于自己对于文章的理解，标准包括：动机、方法、数据集质量、实验安排、相关工作等，满分为5（相对评分，即分值高低仅反映论文在以下列表中的可读价值，并不一定说明这篇文章有多好）。列表如下：
| 名称 | 所属会议(来源) | 类型 | 时间 | 阅读价值 | 笔记 |
|---|---|---|---|---|---|
| Deep Learning for Sentiment Analysis: A Survey | 2018 | 5 | Survey | ||
| Deep Memory Networks for Attitude Identification | WSDM | long paper | 2017 | 3.5 | attitude identification，感觉和aspect情感分类差不多，都有target对象。本文通过memory network联合建模了target识别、情感分类两个任务。在情感分类、stance detection、debate数据集上取得了较好效果。模型图画得很复杂，其实结构是很直观的。相当于先识别target（找到相关表述），再将该部分输出作为情感分类模块的输入。target和两个模块中的计算都进行了attention的交互。可以参看该文的参考文献。 |
| User modeling with neural network for review rating prediction | IJCAI | long paper | 2015 | 3 | 哈工大的工作，直接看该组在同年ACL的文章即可，是该篇加强版 |
| End-to-end adversarial memory network for cross-domain sentiment classification | IJCAI | long paper | 2017 | 4 | 情感分类中的迁移学习。本文重点是找pivot，即在不同domain中都常出现的表达情感的词。通过设置memory network，使得模型能够捕捉重点词。通过设置情感分类和domain分类两个网络，并设置对抗学习目标。两个模型在共享权重的前提下，情感分类侧重区分情感（数据为source domain的labeled data），domain分类通过引入GRL来使模型混淆无法区分domain，从而学习到domain-transferable的特征表示（数据来自两个domain的unlabeled data）。无论动机、模型还是最后的实验结果、分析，本文都十分出色。值得多多参考学习。 |
| Aspect Sentiment Classification with both Word-level and Clause-level Attention Networks | IJCAI | long paper | 2018 | 3.5 | 层次attention模型，不过不是词-句-篇，而是词-从句-句（篇）。模型借鉴了前人工作中的一些做法，包括把aspect的embedding拼接到输入上，用aspect embedding来和LSTM的隐层输出做attention。感觉还是有点水的，相关工作中也没有提到之前有过的Ruder et.al. 2016 EMNLP的工作，也是类似的层次化结构，不过是句级别。从句级别的话将句子切得更细，是更小的独立语言单元，理论上效果应该更好。不过该篇文章使用的embedding不是public的，是自己抓了数据额外训练的，所以真实效果有多好也不好说。最终实验结果还是很好的，但是实验对照地比较少。 |
| Neural Sentiment Classification with User and Product Attention | EMNLP | long paper | 2016 | 3.5 | 使用了两个向量分别表示用户u、产品p，和LSTM计算的特征进行打分，相当于attention。但是Vu和Vp都没有借助外部内容初始化，只是借助了神经网络的BP，期待这两个向量能拟合用户和产品的偏好。需要之后看看代码。 |
| Learning Sentence Embeddings with Auxiliary Tasks for Cross-Domain Sentiment Classification | EMNLP | long paper | 2016 | 3 | 利用辅助任务，构建跨领域句向量，来进行情感分类任务上的迁移学习。 |
| Aspect Level Sentiment Classification with Deep Memory Network | EMNLP | long paper | 2016 | 4 | 借助memory（attention）的机制，实现基于单隐层的NN，模型既考虑了aspect的上下文的关系，也考虑了上下文离aspect word的距离。结果上来说超过简单的LSTM，但是速度快很多。可以作为memory入门应用的论文阅读，对于memory和attention的应用是浅显易懂的。 |
| Attention-based LSTM for Aspect-level Sentiment Classification | EMNLP | long paper | 2016 | 3.5 | 将aspect以embedding的形式和LSTM的隐状态输出拼接，然后做attention，Du et.al 2017则是在embedding拼接的时候就进行了attention。SemEval 2014的评测。一句话中可能含有多个aspect，aspect都是预定义好的。很可能训练时是将看做多个样本 |
| A Hierarchical Model of Reviews for Aspect-based Sentiment Analysis | EMNLP | long paper | 2016 | 3.5 | SemEval下的一个ABSA的评测，但原始数据就是以句子为单位的。每个评论由几句话构成。这篇文章就是先在句级别做LSTM，再在评论级别做LSTM，两阶段都拼接了aspect，从而去捕捉不同句子aspect情感表达之间的潜在联系。 |
| Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts | COLING | long paper | 2014 | 2 | … |
| Combination of Convolutional and Recurrent Neural Network for Sentiment Analysis of Short Texts | COLING | long paper | 2016 | 2 | CNN+RNN，正常模型套路。最后结果没有比原来的好多少。不过背景介绍和模型叙述中都是在讲CNN和RNN，以后可以参考。 |
| Effective LSTMs for Target-Dependent Sentiment Classification | COLING | long paper | 2016 | 3.5 | 考虑target的信息。由于情感分析中target都会在句子中出现，因此可以直接根据target所在位置切分上下文，分别建模。也可以显式地将target编码和原有特征表示进行拼接。 |
| Learning Semantic Representations of Users and Products for Document Level Sentiment Classification | ACL | long paper | 2015 | 3.5 | 集成用户、商品信息来进行评论分类。该组发表的2015 IJCAI的强化版 |
| Predicting Polarities of Tweets by Composing Word Embeddings with Long Short-TermMemory Xin | ACL | long paper | 2015 | 3 | … |
| Linguistically Regularized LSTMs for Sentiment Classification | ACL | long paper | 2017 | 3.5 | 在LSTM中引入正则化机制来模拟每个词的性质影响：情感词、非情感词、否定词、程度副词。文章通过一些假设和概率分布的变化来模拟性质词对相邻位置的影响，最终通过损失函数的方式进行建模。对词性质的使用方式很新颖，其中关于词性如何影响分类的分析值得参考。 |
| Target-Sensitive Memory Networks for Aspect Sentiment Classification | ACL | long paper | 2018 | 4 | aspect sentiment classification。提出了个问题，情感分类和target是相关的，前人工作中使用attention机制能很好地捕捉到target相关的上下文信息，但是在如何利用target分类上出现了一些问题。本文设计了几种打分函数来规避这个问题。文章中提到的那种attention，经过分析，确实是有问题的，以后做相关问题时要注意这一点，即就算是找到了target的上下文，由于有些表述是target-sensitive的，最终如何将target信息集成到分类过程中是需要好好设计的。 |
| Cross-Domain Sentiment Classification with Target Domain Specific Information | ACL | long paper | 2018 | 4 | cross-domain的情感分类中，大多数工作都只关心了两个domain的共性特征，而少有关注target domain的个性特征。本文通过构建co-training的架构，同步建模cross-domain的共性和个性特征，并将其合并来预测target domain的unlabeled data。这主要是基于不同domain中情感词的表达是既有共同（great）又有个性（food：delicious，price：low…）。另外，已经出现多次更改损失函数来使网络达到某种功能的文章，需要注意。这篇文章的部分架构可以可以参考。 |
| Aspect Based Sentiment Analysis with Gated Convolutional Networks | ACL | long paper | 2018 | 4 | 这一篇文章指出了LSTM和attention在模型复杂度和效率上的问题，提出使用CNN+Gate的机制，既能达到捕捉aspect相关context的目的，又能并行加速。行文中对于其他方法缺点的叙述十分到位，可以参考。该篇文章的门机制的引入也值得引起关注。门机制实现起来简单，若能较好掌握原理，比较容易能作为模型的一个创新点。 |
| A Helping Hand: Transfer Learning for Deep Sentiment Analysis | ACL | long paper | 2018 | 2.5 | … |
| Transformation Networks for Target-Oriented Sentiment Classification | ACL | long paper | 2018 | 4 | 针对attention来做ABS问题的缺陷进行了改进，更好地编码target、融合target序列和上下文、经过非线性变换后如何保留时序性、如何在CNN中引入距离关系。工作量是很大的，也借鉴了很多其他文章的工作，每部分模块的motivation都讲的很清楚，最后实验结果也不错。值得多参考 |
| Sentiment Lexicon Enhanced Attention-Based LSTM for Sentiment Classification | AAAI | short paper | 2018 | 2 | … |
| Improving Review Representations with User Attention and Product Attention for Sentiment Classification | AAAI | long paper | 2018 | 3.5 | HAN的架构，两个网络，分别用两个向量表征user、product来做attention，意图是两个网络分别捕捉文本中用户、产品相关的个性描述。最终将两个网络的特征表示合并做预测。两个网络特征也分别用来softmax，作为最终损失的一部分，不参与预测。灌水的经典样例，模型经典，出发点尚可，灌得刚刚好。 |
| Multi-Entity Aspect-Based Sentiment Analysis With Context, Entity and Aspect Memory | AAAI | long paper | 2018 | 4 | 终于找到了AIC任务的定义。。。。这篇文章定义了multi entity and multi-aspect的情感分类任务，并做了一个attention模型在自建数据集上验证效果。行文流畅，思路清晰，实验也做得很到位（模块的拆解）。模型有借鉴之处，考虑了距离、entity和aspect的attention等。之后要再看。 |
| SNNN : Promoting Word Sentiment and Negation in Neural Sentiment Classification | AAAI | long paper | 2018 | 2 | … |
| Targeted Aspect-Based Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive LSTM | AAAI | long paper | 2018 | 3.5 | 使用了外部知识库（图谱）SenticNet，并且用前人开发的工具将图映射成了embedding。在每个时间步都抽取一些概念进行评价作为特征补充，通过修改LSTM中各个门的计算对象，将特征补充到网络中。提供了一种通过embedding来使用知识的方式 |
| Learning Latent Opinions for Aspect-level Sentiment Classification | AAAI | long paper | 2018 | 3.5 | 在句子中，情感表达常以span的形式出现，具有结构化的特征。为了捕捉这种特征，前人工作使用了位置embedding或基于位置的权重机制，但这些方法都基于神经网络，需要大量的数据才能学到这种关系。本文在Bi-LSTM+CRF，引入binary隐变量z表示当前词是否是opinion expression的一部分，来捕捉情感相关表达的结构特征。想法很新颖，引入了二元隐变量表达是否关系。 |
| Encoding Syntactic Knowledge in Neural Networks for Sentiment Classification | ACM Transactions on Information Systems | journal | 2017 | 3 | … |
由于该类文章只做了简单的调研，也没有意向往下做。所以笔记就仅限这篇博文，不再展开，就权当后续的索引吧，如果以后可能涉及情感分类，再回来查阅。阅读的论文都是从第一篇survey中挑的，建议自己去读综述仅限论文筛选，写得很详细。情感分类数据集很多，也有很多细节的问题，表达主体（人）、表达客体（对象）、表达场景、方式都有很多可以做的点，能用到各类技术手段。现实中能反映情感的数据太多了，豆瓣影评、大众点评…但凡涉及到具体事物和反馈机制，都会产生大量的情感数据。而且情感分析在不同场景下，尽管可能具有不同的特点，但表达上一般都是直抒胸臆，晦涩的表达比较少，这就使得问题没有那么NLU，当前的神经网络技术能够很好地进行处理，所以在工业界能用得上。