Feedforward层(全连接层)和矩阵运算的关系

前言

最近一段时间在看研究生导师发的资料，因为导师是做自然语言处理和知识图谱方向的，所以之前学的CNN的知识暂时用不上啦。NLP和KG方面的知识我之前没怎么接触过，所以最近打算写一系列博文来记录一下学习过程，如果有说得不对的地方请大佬指正。

Feedforward层(全连接层)

    之前在看论文和看代码的时候，我经常看到把神经网络的中间结果输入到全连接层。但是在我的印象中全连接层就是类似于BP神经网络的样子，于是我就很疑惑把一个三维或者是二维的矩阵输入一个BP神经网络里面到底是什么样的。首先给出结论：全连接层=矩阵运算。

一个简单的全连接层

    可以看到上图是一个简单的全连接层，输入三个元素输出两个元素。可以看到输入和输出的对应关系为：，(不添加偏置)。我们把输入写成，输出写成。再把权重写成，很明显是一个标准的矩阵运算。这时候有同学可能就要问了，如果遇到怎么办，很简单我们只要按行把A矩阵拆分成，，，然后在依次把他们喂入全连接层中就可以了，如下图所示。

    在实际的计算中我们可能还会遇到batchsize大于1的情况(比如CNN中同时输入多张图片训练，transformer中同时输入多个句子)，这个时候输入的是一个三维的矩阵，那就要构建多组全连接层，没个全连接层输入一张图片或是一个句子，如图所示。(个人理解如果说得不对，请指正)