深度学习参数对模型的影响：Loss(损失）、方差、Precision(精确度)、Recall（召回率

深度学习之Metrics

这一章主要介绍损失值的大小对模型的影响、对模型初始化对模型参数方差的影响，不同的方差对模型有什么影响，如何对Precision和Recall 进行阐释

一、 偏差、方差、精确率、召回率 四个概念

1.1 偏差：误差/损失值
如果训练损失很大，几乎不下降：
（1）网络几乎没有进行反向传播进行优化，考虑训练策略是否出问题
（2）网络结构太简单
如果损失很小，几乎等于0-过拟合
（1）网络结构过于复杂，没有drop-out/没有正则项
（2）喂入数据过少，学习到的都是数据的特性
1.2 方差 ：数据的波动情况
如果方差过大，距离中心偏离过大的话，容易造成梯度消失或者梯度爆炸
如果方差过小，容易造成梯度消失或者梯度爆炸，网络的训练可能非常的缓慢。
而且对于激活函数而言，容易失活和饱和。
因此体现网络初始化的重要性。例如xvaier/He initialize method.
针对sigmoid/tanh,H=wx ,例如w服从(0,1).x服从(0,1)，w拥有10个神经元，那么D(w1,x)=D(w1)D（x）=11=1, 一共10项，那么D(H)=10，每次都是这么传递，只会越来越大，如果把w初始化成（0，1/kenel_size）,上述相乘就会近似服从于（0，1）分布；
1.3 精确率(precision)&&召回率(recall)

TP：识别正确/正样本 ，FP: 识别错误/正样本
TN: 识别正确/负样本 ，FN: 识别错误/负样本
对于分类而言：
精确率对于预测而言-即识别正确的/识别正确和识别错误的：Precision=TP/(TP+FP)
召回率对于数据而言-即正样本识别成正样本，负样本识别为负样本：Recall=
TP/(TP+FN)
其中对于目标检测而言：
Precision又称做查准率，recall又称作查全率。
TP：IOU>thr
FP：IOU FN: 漏检
更加详细请参考：
https://www.bilibili.com/video/BV1ez4y1X7g2?spm_id_from=333.999.0.0

二、一个好的模型对这几个指标有什么样的要求？

随着网络模型的训练，损失值大概在0.2左右，不至于过大对检测造成影响，不至于过小造成过拟合；通过观察训练集损失，可以知道模型是否在优化，通过观察验证集和训练集的损失的趋势可以判断模型是否过拟合。
根据不同的激活函数使用不同的初始化方法，让每一层的输入与输出都服从正态分布，避免数据值有大的波动；
Precision和recall都很高，模型查的既准、又全！
Precision决定了检测出来的目标是否准确，但是如果没有检测出来呢？ 5个目标识别出一个目标，precision=1.0 ，但是模型性能还是很差。
Recall 决定了检测的目标中是否包括了全部的目标，值越大那么检测到目标的性能越好。

三、 基于问题2，若出现指标不理想的情况（1）什么原因？（2）什么原因？（3）如何解决？

其中第一点和第二点已经在上述两节谈过；
3.1 精确率(precision)&&召回率(recall)
（1）精确率低，由公式precision=TP/(TP+FP)，模型识别的不够准
1>模型小，学习的特征少
2>数据少，学不到太多信息
（2）精确率很高。模型太准，容易发生过拟合
1> 模型大
2> 数据少
3.2 如何解决上述问题？
（1）对数据做预处理与初始化方法
（2）选中合适的损失函数
（3）选中合适的激活函数
（4）针对不同的数据集选中不同大小和不同场景的模型
（5）选用不同的采样策略