cs224n学习笔记2

应用:Window classification 词窗口分类模型

例如在命名实体识别任务中,已经掌握每个词汇对应的词向量,任务是识别出文本中的词向量的词性和类别

词窗口分类模型的思路是在对单词分类时,考虑该词汇和其周围的单词窗口,将包含中心词和上下文的窗口拼接成列向量放入分类器中训练得到其分类

Softmax分类器

将输入向量与参数矩阵相乘,然后通过softmax函数计算各分类概率

cs224n学习笔记2_第1张图片

 cs224n学习笔记2_第2张图片

交叉熵损失函数为

cs224n学习笔记2_第3张图片

缺点在于只能训练出线性边界,因此需要神经网络

神经网络

由大量具有空间结构的神经元组成

cs224n学习笔记2_第4张图片

 每个神经元含有参数,对输入向量进行矩阵运算后再作函数处理

cs224n学习笔记2_第5张图片

例如sigmoid函数

cs224n学习笔记2_第6张图片

神经网络最终可以计算得到一个得分向量,用以判断单词的分类

The max-margin loss 最大间距损失函数

s和sc分别为正确和错误窗口的得分

反向传播

从损失函数开始逐层向前求导,关于权重Wij和偏置项b,有

cs224n学习笔记2_第7张图片

 cs224n学习笔记2_第8张图片

多层网络中,可以根据链式求导法则,从最高层向前逐层计算,每个结点在每条前馈路径上计算该节点输出变量对输入变量的求导结果(局部梯度),与来自高层的结果(全局梯度)相乘,对各条路径求和,即得到最终得分s关于该节点输入变量的导数,继续向前传播,如下图 

cs224n学习笔记2_第9张图片

引入多路径的链式法则后

cs224n学习笔记2_第10张图片

 

你可能感兴趣的:(学习笔记,nlp,自然语言处理)