Transformers源码阅读——BertModel

BertModel类的源码：Transformers项目的modeling_bert.py的BertModel类

画出结构图如下：（PS：最近因为需要，重新看了一下，发现有个地方画错了，BertOutput的那条残差连接不是来自BertIntermediate的输出，而是来自BertAttention的输出，但是暂时找不到原图了，以后有机会再改）

注意，这里的BertAttention层，在Attention和Add之间多了一个Linear，实际上这个Linear就是原论文中的Multi-Head Attention在拼接所有head的结果后的那个Linear，只是这里实现的时候放到了这里而已，所以大家去看SelfAttention的实现会发现最后没有用Linear。