自然语言处理

       自然语言处理用于拼写检查、关键字检索、文本挖掘、文本分类、机器翻译、客服系统以及负责对话系统。

1.语言模型

       举一个例子，我  今天 下午 打  篮球，P(S)称为语言模型，即用来计算一个句子概率的模型，P(S)的表达式如下：

 存在两个问题：

       1.数据过于稀疏

       2.参数空间太大

N-gram模型：

       在意识到这两个问题后，想办法优化一下模型，其实一个词出现的概率只可能跟他前面一个或者N个词相关，再往前的词实际上就没什么关系了，这就是N-gram模型，所以我们可以优化成这样：

2.词向量

          将词转换为向量，意思相近的词的词向量越接近

 神经网络模型：

       比如我输入“我今天下午打”，我想让神经网络模型预测一下打后面接什么东西，如下图构造出神经网络模型，将“我”，“今天”，“下午”，“打”，这几个词的词向量输入，拼接成一个大的列向量，然后进入隐藏层和输出层，就和传统的神经网络是一样的了。

        训练样本：包括前n-1个词的分别的向量，假定每个词向量大小为m

        投影层：（n-1)*m首尾拼接起来的大向量

        输   出：表示上下文为context(w）时，下一个词恰好为词典中第i个词的概率。

         归一化：

         神经网络优势：只要语料库中出现其中一个，那么其他相似句子的概率也会增大，求解的空间符合真实的逻辑。

        神经网络实现模型：

        CNOW模型：输入上下文，预测中间的词是什么

       输入层：输入层是上下文的词语的词向量，在训练CBOW模型，词向量只是个副产品，确切来说，是CBOW模型的一个参数。训练开始的时候，词向量是个随机值，随着训练的进行不断被重新)。

       投影层：投影层对其求和，所谓求和，就是简单的向量加法。

       输出层：输出层输出最可能的w。由于语料库中词汇量是固定个，所以上述过程其实可以看做一个多分类问题。从|C|个分类中挑”一个。

       举个例子来说明，在输入中给出上下文的词向量，并且组合成一个大的列向量，然后将语料库中的词按照他们出现的频率构造出一个哈夫曼树（出现频率高的比较靠前），然后在每一层根据机器算出的参数来计算出sigmoid函数值，计算出正例概率和负例概率（如下图），如果是正例就规定往右边走，如果是负例，就规定往左边走，如下图，最终就走到了“足球”这个点。那么得到“足球”的概率就如下图表示：

     

       CBOW求解目标：就是让足球出现的概率最大，一直优化参数和输入，让概率p最大

   

   CBOW梯度上升求解过程：

            计算出似然函数对输入的导数和参数的导数：

            

       不过Xw是上下文的词向量的和，不是上下文单个词的词向量。怎么把这个更新量应用到单个词的词向量上去呢? word2vec采取的是直接将Xw的更新量整个应用到每个单词的词向量上去。

       Skip-gram模型：输入当前的词，想要得出上下文。