文本和序列的深度模型

文本分类问题:

        低概率词汇的利用,学习并理解到医学词汇。。。。。。。。

模糊语义问题:

文本和序列的深度模型_第1张图片

两类问题解决:Unsupervised learning


文本和序列的深度模型_第2张图片

两类问题,核心都是deep learning 根据相近原理学到一个整个的词汇矩阵就可以解决了。

需要一个这样的模型来学习上下文语义。


Embedding:模型原理

文本和序列的深度模型_第3张图片



文本和序列的深度模型_第4张图片



文本和序列的深度模型_第5张图片


文本和序列的深度模型_第6张图片


文本和序列的深度模型_第7张图片


Embedding 模型的形成过程

Word 2 Vec: 是一种 Embedding model



文本和序列的深度模型_第8张图片



文本和序列的深度模型_第9张图片


EMBEDDING Neighbor:

文本和序列的深度模型_第10张图片

Reduce dimensionality

文本和序列的深度模型_第11张图片


文本和序列的深度模型_第12张图片

Need use t-SNE ,not PCA (需要保留neighbor relation)

文本和序列的深度模型_第13张图片

More about Word 2 Vec :COSINE

文本和序列的深度模型_第14张图片


WORD 2 VEC 的流程 :

文本和序列的深度模型_第15张图片



文本和序列的深度模型_第16张图片



文本和序列的深度模型_第17张图片


文本和序列的深度模型_第18张图片


WORD ANALOGY(Vector 上有表现)

文本和序列的深度模型_第19张图片

语义类比,句法类比

文本和序列的深度模型_第20张图片

Vector computer:


文本和序列的深度模型_第21张图片


前面都是单词的模型,后面是序列(不同长度的单词)

RNN

  share weight across space and time

文本和序列的深度模型_第22张图片


文本和序列的深度模型_第23张图片


文本和序列的深度模型_第24张图片



反向传播 :而且都是权重一样的,对SGD 优化不好


Correlated 导致的数学问题:exploding and vanishing

解决梯度问题,,两种方案,一种简单,一种优雅,

 exploding 使用 gradient clipping  后期缩小学习步骤 

VANISHING :使用LSTM 和 GRU解决



LSTM






注意相乘的函数是连续的,可以求导。


连续求导,,反馈

正则化:  可以使用L2 和dropout

留意 dropout 不能用在RNN的memory 接口上


RNN 应用

  Beam Search:  预测下一步的序列

文本和序列的深度模型_第25张图片


预测一步



预测两步

RNN 变异类型

多对一: 情感推理


文本和序列的深度模型_第26张图片



Beam Search 以及 作曲(一对多)

文本和序列的深度模型_第27张图片


多对多 

文本和序列的深度模型_第28张图片


应用:








你可能感兴趣的:(文本和序列的深度模型)