自然语言中的神经网络基础（1）

  本文介绍在自然语言处理中常用的四种神经网络模型，即多层感知机模型、卷积神经网络、循环神经网络和以 Transformer 为代表的自注意力模型。然后，介绍通过优化模型参数训练这些模型，并且使用 pytorch 调用这些神经网络模型。

  首先，我们先来介绍多层感知机模型。感知机模型是最简单的也是最早出现的机器学习模型，我们使用“面试官打分”的例子来说明，假设有 n 个面试官对面试者进行打分x1,x2...xn，显然在这个面试官中他们的权威程度w1,w2...wn是不一样的,越是权威的面试官，他所打的分值的比重应该是比较大的。则最终的分数：y = X * W + b。如果分数 y 大于某个阈值，该面试者就会被录取。这就是感知机模型。