机器学习——词向量模型（CBOW代码实现-未开始）

本来是不打算做这个CBOW代码案例的，想快马加鞭看看前馈神经网络
毕竟书都买好了
可是…可是…我看书的时候，感觉有点儿困难，哭的很大声…
感觉自己脑细胞可能无法这么快接受
要不，还是退而求个稍微难度没那么大的事，想想自己还有什么是没实现的呢
哦！CBOW的案例还没做呢~
在一个巨人面前，我无耻地选择了暂避其锋芒
就好像，我本应该英勇地迈过刀山火海，可是我却怂了
而且，怂的有理有据：CBOW还没实现呢
只希望，CBOW案例，不要太难，不然我根本寸步难行，只能天天打游戏聊以自慰

首先，我计划根据一个客服语料，然后用CBOW去预测某个中间关键词

目标明确后，问题接踵而至

问题1-能否用中文语料：不行，因为中文分词很麻烦，我懒得去搞分词，重点是CBOW
英文语料很简单，因为英文是一个词跟另一个词，用空格分开，获取十分简单

问题2-头尾单词怎么解决：毕竟CBOW是获取关键词的前c个和后c个单词来训练的，但开头单词没有前c个单词，末尾单词没有后c个单词
解决办法：用额外的单词替代，比如None，应该问题不大的吧

问题3-按句还是按所有句取上下文：如果是按句取上下文，那么一个句子开头和末尾单词的下文就是None，语料文件有很多个句子，就会有很多个None。
如果按所有句取上下文，那整个语料文件就只有开头有None，末尾有None，None数量很少
解决办法：还是按句吧，毕竟两句之间的上下文，是毫无关系的。

按照【基于HierarchicalSoftmax的CBOW】正反向传播流程，来设计程序吧！

【基于HierarchicalSoftmax的CBOW】正向传播过程

• 输入层：
  • 转换独热编码：将词典D转换为one-hot独热编码，
  • 获取上下文：按规定上下文的长度k，来截取语库C里的上下文单词$x$和预测单词$y\ast$
  • 获取独热编码：获取上下文单词x的独热编码向量$x1$,$x2$,$x3$,$x4$，作为初始输入矩阵X=[$x1$,$x2$,$x3$,$x4$]
• 投影层：
  • 计算中间向量：
    • 将初始矩阵X乘以一个权重矩阵W，提取出各个初始向量$x1$,$x2$,$x3$,$x4$的权重系数$w1$、$w2$、$w3$、$w4$
    • 将这些权重系数加和，作为中间向量h=[$w1$+$w2$+$w3$+$w4$]，注意，这里的加和是按列加和
• 输出层：
  • 构建huffman树，
  • 计算路径概率
  • 计算预测模型

其次，要先进行数据结构设计，总不能用向量吧，因为每个单词，都有对应的独热编码

有对应关系的，可以用字典、也可以用pandas的dataframe的二维结构数据

考虑到dataframe有较多的计算操作语法，或许会更加简洁，不需要自己另外设计各种计算的操作方式。

所以，能用dataframe的就尽量多用dataframe吧

输入层：

• dataframe:
  • 所有单词的独热编码
  • 选取的上下文独热编码

投影层：

• dataframe:
  • 每个单词潜在特征的向量组成的矩阵W（词向量）
  • 选取的上下文词向量
  • 中间向量h(上下文的词向量之和)

输出层：

• 二叉树节点：
  • 矩阵：每个节点上的θ值
    至于构建huffman树，打算是构建一个二叉树对象，然后每个节点上的θ用矩阵表示

暂定这样吧。

输入层

输入层，需要给投影层输入一个上下文里每个单词的独热编码

转换独热编码

• 从语料中得到一个不含重复单词的词典D
• 将词典D中所有单词转换成独热编码矩阵
  

获取上下文

获取独热编码