深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation

本文目录

    • 概念引入
    • 介绍
    • 摘要大意
    • 模型原理
    • 模型的公式推导
    • 模型效果对比

概念引入

逻辑回归
线性回归
时间序列分析
神经网络
self-attention与softmax的推导
word2evc

该篇论文的背景
word2evc提出的方法无法使用全局的统计信息
矩阵分解方法在词对推理的任务上表现很差

介绍

LSA和word2vec,一个是利用了全局特征的矩阵分解方法,一个是利用局部上下文的方法。
GloVe模型就是将这两中特征合并到一起的,即使用了语料库的全局统计(overall statistics)特征,也使用了局部的上下文特征(即滑动窗口)。为了做到这一点GloVe模型引入了Co-occurrence Probabilities Matrix。

关键点
• 矩阵分解的词向量学习方法
• 基于上下文的词向量学习方法
• 预训练词向量

该篇论文的成果
• 提出了一种新的词向量训练模型——GloVe
• 在多个任务上取得最好的结果
• 公布了一系列预训练的词向量

摘要大意

当前词向量学习模型能够通过向量的算术计算捕捉词之间细微的语法和语义规律,但是这种规律背后的原理不清楚。经分析,我们发现了一些有助于这种词向量规律的特性,并基于词提出了一种新的对数双线性回归模型,这种模型能够利用全局矩阵分解和局部上下文的优点来学习词向量。我们的模型通过只在共现矩阵中的非0位置训练达到高效训练的目的。在词对推理任务上得到75%的准确率,并且在多个任务上得到最优结果。

模型原理

深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第1张图片

在这里插入图片描述
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第2张图片

模型的公式推导

通过e的x次方函数是减法变除法,加法变乘法,使参数减少,比如下图中的三个参数变两个,更好地进行计算(将白色部分与黑色部分对照看)
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第3张图片
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第4张图片
在这里插入图片描述

在这里插入图片描述

原理:词对出现次数越多,那么这两个词在loss函数中的影响越大。
() 需要满足:
• =0时, =0:表示没有共现过的权重为0,不参加训练
• 非减函数,因为共现次数越多,权重越高
• () 不能无限制的大,防止无意义词比如 is,are,the的影响

于是论文如此设计 ()函数,出现次数多的词其权重不超过1,降低其影响
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第5张图片

深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第6张图片

模型效果对比

深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第7张图片
在词对推理的数据集上取得了良好的效果(图中模型中的最好结果)

多个词相似度任务的实验结果
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第8张图片
命名实体识别任务的实验结果
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第9张图片
向量长度与窗口大小对结果的影响

深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第10张图片

训练语料对结果的影响
深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第11张图片
与Word2vec对比

深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation_第12张图片

你可能感兴趣的:(神经网络论文研读,深度学习神经网络-NLP方向,神经网络,神经网络,深度学习,人工智能,python,自然语言处理)