模型误差基本概念

模型误差 = 偏差（Bias）+ 方差（Variance）+ 数据本身的误差
偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了算法本身的拟合能力；
方差：度量了同样大小的训练集的变动所导致的学习性能变化，即刻画了数据扰动所造成的影响
偏差和方差来源：导致偏差的原因有多种，其中一个就是针对非线性问题使用线性方法求解，当模型欠拟合时，就会出现较大的偏差；产生高方差的原因通常是由于模型过于复杂，即模型过拟合时，会出现较大的方差

偏差和方差的理解：
偏差：描述的是模型的拟合能力（准不准）
方差：数据扰动对模型的影响 （稳不稳）

欠拟合和过拟合的判断：
欠拟合：模型在训练集和测试集效果都不好
过拟合：模型在训练集上效果好，在测试集上效果不好
解决办法
偏差：实际上也可以称为避免欠拟合
寻找更好的特征 ：具有代表性寻找更好的特征；
用更多的特征：增大输入向量维度（增加模型复杂度 ）
方差：避免过拟合
增大数据 集合：使用更多的，噪声点比减少（减少数据扰动所造成的影响）
减少数据特征： 减少维度 ，高维空间密度小（减少模型复杂度）
正则化方法
交叉验证法