文章
- Sentence Embedding
- 干货 | NIPS 2015 Deep Learning Symposium(二）
- 干货 | NIPS 2015 Deep Learning Symposium(一）
- 干货 | Sentence Vector 的一些进展
- 干货 | Applied Attention-Based Models (二）
- 干货 | Applied Attention-based Models in NLP
- CS224n: Natural Language Processing with Deep Learning
- cs224n-2017-lecture10.pdf
- 一文读懂Attention：Facebook曾拿CNN秒杀谷歌，现如今谷歌拿它秒杀所有人
- 理解LSTM/RNN中的Attention机制
- TensorFlow 自动句子语义编码，谷歌开源机器学习模型 Skip-Thoughts
- 一个简单但很难超越的Sentence Embedding基线方法
LDA
- http://blog.sina.com.cn/s/blog_6a1b8c6b0101hgxg.html
- http://lib.csdn.net/article/machinelearning/1074
- https://www.zhihu.com/question/22760487
- https://seofangfa.com/baidu-tech/calculation-of-semantic-topic.html
DSSM
- http://kubicode.me/2017/04/21/Deep%20Learning/Study-With-Deep-Structured-Semantic-Model/
- https://boweihe.me/2016/08/26/dssm%E4%B8%8Elstm/
- https://mp.weixin.qq.com/s/nbT4GSUbgh-5d1J79IqeDA
SimNet
- https://mp.weixin.qq.com/s/PxyazOPKV3eB-qat8hM9ZQ
CLSM
- http://www.debugrun.com/a/oPtRZAi.html
- http://blog.csdn.net/kaka19880812/article/details/62424070
- https://github.com/airalcorn2/Deep-Semantic-Similarity-Model
CNN
- https://www.zhihu.com/question/52668301
- http://www.jeyzhang.com/tensorflow-learning-notes-2.html
- http://www.jeyzhang.com/cnn-learning-notes-1.html
评测比赛
- 斯坦福自然语言推理任务
- STSbenchmark
工具
- sentence2vec
- skip-thoughts
- skip_thoughts
- Familia
PPT
- Deep Learning for Sentence Representation
论文
Convolutional Neural Networks for Sentence Classification (EMNLP 2014)
n*k表示句子（k是词向量维度） -> 多channel卷积层 -> max-over-time pooling -> 全连接
Neural Machine Translation by Jointly Learning to Align and Translate (arxiv 2014, ICLR 2015）
最早的一篇，应用在翻译上，动机是告诉decoder现在翻译哪一部分，因为大体上两个句子语义上有对应关系 soft alignment?
采用biRNN
Encoding Source Language with Convolutional Neural Network for Machine Translation (ACL 2015)
tagCNN & inCNN
A Hierarchical Neural Autoencoder for Paragraphs and Documents (ACL 2015) note!!
LSTM auto-encoder + Attention
分层结构，捕捉句子组成成分或结构
中间层有句子状态表示，句子向量？
A Neural Attention Model for Abstractive Sentence Summarization (EMNLP 2015)
Abstractive Sentence Summarization with Attentive Recurrent Neural Networks (NAACL 2016)
姊妹篇, Facebook团队
两篇paper的模型框架都是seq2seq+attention，最大的区别在于选择encoder和decoder的模型，第一篇的模型偏容易一些，第二篇用了rnn来做。论文解读
Teaching Machines to Read and Comprehend (NIPS 2015)
Google DeepMind团队
有监督训练，两个attention模型: Attentive Reader 和 Impatient Reader,后者每个token都和query构成一组输入，相当于反复读取，逐渐理解文章
Skip-Thought Vectors(NIPS 2015) note!!
无监督，句子encoder
通过１万多本书中连续的句子来训练
借鉴了word2vec中skip-gram模型，通过一句话来预测这句话的上一句和下一句
采用了GRU-RNN作为encoder和decoder，encoder部分的最后一个词的hidden state作为decoder的输入来生成词。这里用的是最简单的网络结构，并没有考虑复杂的多层网络、双向网络等提升效果。decoder部分也只是一个考虑了encoder last hidden state的语言模型，并无其他特殊之处，只是有两个decoder，是一个one maps two的情况，但计算方法一样。论文解读
Deep Learning for Semantic Similarity（实验报告 2015）
有监督，衡量两个句子的相似性
实验数据：SemEval-2015 Task 2, RNN效果最好
Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention
Context Aware Document Embedding (arxiv 2017)
CNN+GRU STS任务上取得与doc2vec相似的效果，但是更有效率，不需要大量外部语料？一种加强的idf权重，可以捕捉文档子主题层的关键词
A Structured Self-attentive Sentence Embedding (ICLR 2017) note!!
双向LSTM+Attention
三个实验：预测年龄，情感分析，文本蕴含
提出了一种句子表示学习的”internal attention”的方式，并且采用了惩罚项来保证从不同方面来学习attention矩阵，使每个维度的attention向量的相关性降低，并采用了可视化方式来说明模型效果, 可以应用到各种序列化学习的问题当中。论文解读
[Efficient Summarization with Read-Again and Copy Mechanism] (arxiv 2016, ICLR 2017)
生成式摘要任务 论文解读
两个问题：
- 一是在encoder的过程中在计算每一个词的向量表示或者隐层状态时仅仅考虑了该词之前的一些词，导致了次优化
- 二是UNK的问题（就是不在词表范围的词）
两个改进：
- 首先提出一个read-again机制，就是在encoder计算每一个词的表示之前先阅读一遍输入序列，该想法的出发点也符合人的大脑机制，在阅读一篇文章时，要读完一遍才能去确认文中哪些词是重点。
- 采用copy机制来处理OOV问题，同时可以使用非常小的词库，提高了解码的效率。
Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention (arxiv 2016）
有监督，识别文本蕴含，biLSTM average pooling, Inner-Attention
论文解读