特征抽取工具-Transformer-bert

如何快速学习一个语言模型：
word2vec：用中心词预测上下文或者用上下文预测中心词。
GPT：用上一个字预测下一次字。
bert:用这个字本身的特征预测这个字。
第一步：搞清数据如何变成标签数据。即输入输出和标签是什么。
第二步：搞清楚模型结构。
第三部：损失函数是什么，一般是singmord二分类和softmax多分类。
词向量：将词转换成向量表示。

一个好的词向量应该有下面的几个特性：
1:满足相似性，相关，比如：两个相似词的词向量也要相似。
2:满足相加性。比如：词向量中国+词向量首都=词向量北京

如何训练词向量
比如：“网络的结构如下图所示”，这句话如何转换成词向量。
每次取5个词：“网络的结构“，中间的”的“作为标签，左右边的”网络 结构“作为输入。设计一个网络比如下面的网络，每个词设置成200维度的向量，将这个4个词作为输入，抽取特征，将抽完的特征接一个softmax分类器，类别为字典中词的个数，即可以得到一个词向量。有一个输出，标签是中间的词。然后不断的向后扫面这一句话“络的结构如”。大量的标注样本将会产生。通过上下文预测中间的字叫CBOW。另外一种通过中间的词预测两边的词，叫做Skip-gram.

Transformer模型：
multi-head attention:得到任意两个字之间的相关度。
加完attention后的向量和没有加attention的向量相加，之后再进行 norm(层归一化)。然后再接一个前馈神经网络（feed formard）（两层的神经网络），然后再进行残差和归一化。

Multi-Head attention:
Linear:WX+B X就是VKQ.
将经过Linear后的数据放入，Scaled Dot-Product Attention.
V,K,Q是512768维度 512是字的个数，768是每一个字分的维度。h=768/64=12份，即每个字分为在自己的通道上分为12份。变成了5126412。一个分成了12组，每一组51264维度，将每一组做Scaled Dot-Product Attention.将Q和K进行矩阵相乘MatMul （512*512维度的矩阵），在进行归一化，Scale，在进行Mask（放入bitchsize不等1的时候进行Mask），将短的句子padding成长的句子，之后在进行SoftMax。

语言模型：Bert
架构图：

标签构建：
1:上下句预测任务，一篇文章中，如果两句话是连续的标签就是1，否则是0。「SEP」是间隔符。
2:遮蔽语言模型，随机选择15%的字用「MASK」替换。例如：Input中的dog被MASK替换，将Input放入模型中，MASK的位置会有特征的输出，MASK的位置的标签为dog。即用这个字的特征预测本身。然后把这个特征拿过来做一个分类，分类的标签为dog

放入Bert模型，bert就是一个12层的transformer

抽完以后一个字都有一个特征。

上下句的预测任务：拿CLS所代表的特征作为上下句的预测的特征，标签为0/1，算出损失。
字的预测任务：拿屏蔽掉的字所代表的特征作为预测特征，标签为这个字本身，把这个字放在softmax分类器中，可以算出来损失。
最后将上面的两个损失加起来，联合优化。