神经网络里的正则项 Regularization

前言

网上的教程公式实在是太多，参数又指代不明，但仍然无法给我一个确定的答案，最后还是找了吴恩达教授的视频，十分清晰，记录一下~

整理

Regression的神经网络里，Cost function为

其中：

• $Q$：sample数量
• $\mathbf{t}$，$\mathbf{o}$：target output和实际output
• $\lambda$：L2正则参数
• $\mathrm{R}(\mathbf{W})={\sum }_{l=1}^L{\Vert {\mathbf{W}}^{(l)}\Vert }_F^2$
• ${\Vert {\mathbf{W}}^{(l)}\Vert }_F^2={\sum }_{i=1}^{n^{(l-1)}}{\sum }_{j=1}^{n^{(l)}}{w}_{ij}^2$

笔记

• 神经网络
  
• 逻辑回归
  

Ref

• 笔记来自课程：Regularization (C2W1L04)
• 较好的整理网络优化与正则化
• 改善深层神经网络（注意L2 regularization写得不对）
• Deep Learning – Regularization（短短而小清晰）
• sklearn理论教程：Neural network models (supervised)，关于MLP里的理论实现
• 正则化（Regularization)：梯度下降法和牛顿法