【Coursera】深度神经网络的改进：超参数调整、正则化和优化（更新中20230206）

Setting up your Machine Learning Application

1.1 Train / Dev / Test sets

• 训练集
• hold-out 交叉验证集 -> 开发集 dev set
• 测试集

---

1.2 Bias / Variance

• 偏差（偏离度）
• 方差（集中度）

---

1.3 Basic Recipe

1. 训练集 -> 高偏差（训练误差） -> 不行 -> 找新的网络 -> 循环得到低偏差
2. 开发集 -> 高方差（验证误差） -> 不行 -> 更多数据 / 正则化（减小过拟合） / 新的神经网络 -> 循环得到低方差
3. 最终，找到低偏差低方差的网络和数据

改进网络：

1. 找到是高偏差的问题还是高方差的问题
2. 然后针对性进行上述改进
3. 增大网络总能减小偏差而不增大方差（+正则化，代价：计算效率）