[PyTorch][chapter 3][李宏毅深度学习-偏差,方差,过拟合,欠拟合]

前言：

         这章的目的主要是通过诊断错误的来源,通过错误的来源去优化,挑选模型。

通过本章掌握 过拟合(overfitting)和欠拟合(underfitting)出现原因及解决方案.

 

目录：

    1    概述

    2    方差,偏差现象

    3   过拟合和欠拟合

    4  模型选择

    5  概率论回顾

---

一  概述

   

    如上图：

     红色空间：真实的数据和标签之间存在一个映射函数（标签）

     绿色空间： 

     通过训练集上的数据训练出最优的映射函数  在数据集 进行采样

       和 差异称为偏差 bias

      之间分布称为方差variance

1.2 estimate 

        假设的期望值为 ,方差为 

        我们通过采样N个样本采样来估计,

        

        样本均值：  

         样本均值方差： 

          通过增大样本数,可以降低样本均值方差.所以我们训练的时候

一般使用批量梯度下降.

     

---

二  方差 偏差现象

   

红色部分： 真实的映射空间

蓝色空间：在训练得到的模型空间上，通过采样得到不同的分布

有4种关系

2.1   低偏差,低方差

         训练得到的模型  和真实  空间一致，此刻偏差方差都很小

         理想情况。

 2.2  低偏差，高方差

       ​​​​​​​

          模型 比真实的 空间复杂,此刻偏差小，但是方差大。

         

  2.3  高偏差，第方差

         比如预测模型比较简单 f(x)=2 ,方差为0，

          真实的

        但是跟真实的偏差很大.

2.4  高偏差，高方差

            最糟糕的情况.

---

三  过拟合 和 欠拟合

     3.1 欠拟合

           当模型在训练集上表现的很糟糕，bias 偏差很大

           高偏差现象,要想办法降低偏差：

          增加模型的复杂度，或者重新设计模型,增加特征。

      3.2 过拟合

            模型在训练集的数据集上表现很好,但是在测试的时候

     很糟糕。

          这就是低偏差，高方差现象.要想办法降低方差

           解决方案：

          降低模型复杂度，正规化

          增加数据集

---

四  模型选择

      4.1  方案1 

     我们在train集上训练出来的模型和验证集上面得到Error 一般都是不一样的。

比如train 集上训练出多个model: model1,model2,model3

需要根据验证集上的表现综合考量,当选出最优模型可以，可以增加

数据集上的数据量再训练一次，降低模型方差,使得其在测试集上有更好的表现.

4.2  N-fold Cross Validation

 把数据集分为三份,通过不同的划分方式 依次训练出模型1,2,3

  根据Val Data 上的Error ,挑选出Error 平均值最小的。

---

五  概率论回顾

      1.1  数学期望 

            

       1.2  方差

             用  or  D(x) 表示

              

                             

                            

                           

                  其中 

                   
 

      1.2  标准差,总体方差

            方差描述随机变量对于数学期望的偏离程度

              

     1.3 样本方差

              有偏估计   

              无偏估计  

               

       1.4  

                

                             

                              

                               

      1.5  样本方差和标准差的联系

                 

      证明：

          所以

           

                     

                      

参考：

(史上最全总结)总体方差，样本方差，标准差，抽样方差，标准误差，均方误差，协方差 ...........-CSDN博客