神经网络与Transformer课程心得

1、卷积神经网络的层数通常以有权重更新的层数为准,如卷积层、全连接层,即(weight layers)

2、 CNN的卷积核侧重的是局部信息,然后通过堆叠很多卷积层来提取特征,感受野较小;Transformer则是通过全局信息提取,感受野大

你可能感兴趣的:(神经网络,transformer,深度学习)