自编码模型与自回归模型记录

自回归模型

        处理自然语言时，通常会从左到右的计算前后词汇间的概率，如n-gram，此时只考虑了前文词汇的影响，如果从右到左的增加后文词汇的影响时，则称为自回归模型，如使用单向 transformer 的GPT模型，或拼接的双向LSTM模型等。

自编码模型

        训练时随机 MASK掉文本中的词汇，根据上下文预测该 MASK词汇的模型，如 Bert。

对比

自回归模型不能自然的同时获取单词的上下文信息(拼接两个方向的LSTM效果不佳)；自编码语言模型能把上下文信息融合到模型中，Bert中的Transformer含有整句文本信息，等价于双向语言模型，但在Fine-tune时模型看不到MASK标记，会带来误差，可尝试XLNet模型解决上述问题。

参考：

自回归(Autoregressive)和自编码(Autoencoder)语言模型_郝同学的博客-CSDN博客