Post-LN, Pre-LN, Sandwich-LN

Post-LN, Pre-LN, Sandwich-LN

• Post-LN（后归一化）：在Post-LN中，归一化操作是在每个层的计算之后进行的。具体而言，输入首先通过一个层，然后进行归一化操作，最后再传递到下一个层。这种方式可以保持层之间的信息流动，并且在训练过程中可以更好地控制梯度的传播。
• Pre-LN（前归一化）：与Post-LN相反，Pre-LN中的归一化操作是在每个层的计算之前进行的。在Pre-LN中，输入首先进行归一化操作，然后再传递到下一个层进行计算。这种方式可以减少层之间的耦合，并且在训练过程中可以更好地控制梯度的传播。
• Sandwich-LN（夹心归一化）：Sandwich-LN是一种结合了Post-LN和Pre-LN的归一化方式。在这种方法中，输入首先通过一个层，然后进行归一化操作，再传递到下一个层。然后，在下一个层的计算之前，再进行一次归一化操作。这种方式可以在一定程度上平衡Post-LN和Pre-LN的优势，同时保持层之间的信息流动。

层之间的信息流动 & 层之间的耦合

• 层之间的信息流动是指在神经网络中，数据在不同层之间传递和交换信息的过程。每个层都对输入数据进行一些计算操作，并将计算结果传递给下一层。在这个过程中，信息从输入层开始，逐渐传递到输出层，每个层都对输入数据进行一些变换和提取特征的操作。良好的信息流动可以确保输入数据的有效传递和处理，使得网络能够更好地学习和表示数据的特征。
• 层之间的耦合是指不同层之间的相互依赖和影响关系。在神经网络中，每个层的输出作为下一层的输入，层与层之间通过参数的更新和梯度的传播进行信息的传递和反馈。层之间的耦合程度越高，表示它们之间的依赖关系越紧密，一个层的变化会直接影响到其他层的计算结果。耦合程度高的网络可能更容易受到梯度消失或梯度爆炸等问题的影响，导致训练困难或性能下降。

区别

• 层之间的信息流动关注的是数据在网络中的传递和处理过程。良好的信息流动意味着输入数据能够有效地在不同层之间传递和处理，使得网络能够更好地学习和表示数据的特征。
• 层之间的耦合关注的是不同层之间的相互依赖和影响关系。耦合程度高意味着一个层的变化会直接影响到其他层的计算结果，层之间的依赖关系紧密。耦合程度高的网络可能更容易受到梯度消失或梯度爆炸等问题的影响，导致训练困难或性能下降。在层归一化中，Pre-LN可以减少层之间的耦合，因为归一化操作在每个层的计算之前进行，可以降低层之间的相互依赖程度。