李宏毅机器学习——Task05 网络设计的技巧（续）

1.loss function

使用MSE有可能会卡住。

2. Batch normalization

• Original paper：https://arxiv.org/abs/1502.03167
• 偶然的发现？https://arxiv.org/abs/1805.11604
• Batch Renormalization：https://arxiv.org/abs/1702.03275
• Layer Normalization：https://arxiv.org/abs/1607.06450
• Instance Normalization：https://arxiv.org/abs/1607.08022
• Group Normalization：https://arxiv.org/abs/1803.08494
• Weight Normalization：https://arxiv.org/abs/1602.07868
• Spectrum Normalization：https://arxiv.org/abs/1705.10941