吴恩达机器学习 - 应用机器学习的建议

问题

• 如何选择模型？
• 如何验证模型的实现正确与否？
• 如何评价模型？

模型调整方法

• 增加训练集
• 减少特征数（过拟合）
• 增加新的关键特征（欠拟合）
• 增加多项式纬度（欠拟合）
• 调整lambda值

数据集划分

数据划分为训练集，验证集和测试集, 计算其偏差

诊断偏差和方差

通过训练误差和验证误差来判断是存在偏差还是方差问题。训练和验证误差均高，存在偏差（欠拟合）；训练误差低而验证误差高，存在偏差（过拟合）

• 在计算验证误差时，要实用全部验证集
• 在训练时，可以查看训练误差随着数据集增长的变化

正规化的偏差和方差

通过不同的lambda值来考察训练误差和验证误差，从而确定合适的lambda值

学习曲线

通过学习曲线来判断偏差和方差。

错误一直较高，存在偏差问题，增加训练集不能解决问题。

训练和验证集错误存在较大的背离，则增加训练集可能有帮助。