GPT

GPT（Generative Pre-Training）出自2018年论文《Improving Language Understanding by Generative Pre-Training》。在原论文中提出了半监督学习方法，即结合了无监督的预训练和有监督的fine-tuning。第一阶段在未标记数据集上训练语言模型来学习神经网络的初始参数；第二阶段使用响应任务中的标记数据将参数微调以适应当前任务。

下面我们先来看看GPT的语言模型的无监督预训练，其结构长这样：

1.png

上面我们提到，GPT在语言模型这块采用的是无监督预训练。具体的，对于无标签文本，极大化下面似然函数：

其中是上下文窗口的大小。

语言模型中使用多层Transformer decoder，输入为词嵌入以及单词的位置信息，再对transformer_block的输出向量做softmax，output为词的概念分布：

其中是单词的上下文向量（这里只有上文），是词嵌入向量，是位置编码向量。

说完无监督预训练，我们接着说说有监督fine-tuning。

假设一个有标签的数据集，每一条数据为一个单词序列，及相应的标签，通过前面预训练的模型得到输出，再经过线性输出层来预测标签：；

损失函数：；

最后将前面两阶段的目标函数通过超参数相加训练整个模型：。

关于如何改造下游NLP任务，原论文给了一张图：

2.png

• 分类：基本不用怎么变，加上一个起始符和终止符即可；

• 句子关系判断：两个句子中间再加个分隔符即可；

• 文本相似性判断：把两个句子顺序颠倒下做出两个输入即可，这是为了告诉模型句子顺序不重要；

• 多项选择：做多路输入，每一路把文章和答案选项拼接作为输入即可。

GPT的效果：

3.png

4.png

GPT整体效果还是不错的，在12个任务里，9个达到了最好的效果。

前面我们介绍过ELMo，现在来看GPT其实和前者很类似。主要的不同点是：

• 特征提取器：ELMo用的是LSTM；GPT用的是Transformer，目前时间节点最厉害的特征提取器 (有点健忘的童鞋可以看看上一篇关于Transformer的介绍)；

• 语言模型：ELMo采用双向语言模型，利用单词的上下文来预测；GPT采用单向语言模型，只用单词上文部分做预测，抛弃了下文部分。

  现在看来（参考Bert），GPT这个单向语言模型是个糟糕的选择，丢掉了很多信息。单向语言模型限制了GPT在很多任务场景的效果。比如阅读理解，需要同时根据上文和下文来做决策。