0202听课笔记

• 残差连接可以平滑损失曲面。
• 各种元素的相互借鉴是常态。注意力机制引入到卷积神经网络中。
• 轻量化卷积网络相当重要，可以用于移动端的计算。
• 注意力机制
• 深度学习的训练流程等同机器学习。
• 更多讨论各种训练技巧的重要性
• 数据增强是我见过最迷惑的翻译。