train和eval在训练集上表现差距很大

目前在训练结束之后发现使用train和eval跑出来的结果很差。于是做了以下测试:

1.为避免问题是过拟合导致的,于是在训练集上使用eval发现替换model.train与model.eval差别很大。并且使用train与训练时计算的loss也有比较大的差距。

2.为避免代码造成的问题,于是将train.py基础上去掉后向传播和模型保存部分,结果与上述一致。

3.根据网上的一些办法,使用以下函数冻结bn层:结果保持不变

def freeze_bn(m):
    classname = m.__class__.__name__
    if classname.find('BatchNorm') != -1:
        m.momentum=1
        #m.track_running_stats = False
        #m.eval()

4.数据处理时加入归一化重新训练,结果表现依然不变

5.将验证时的dropout的概率置0,结果保持不变

backbone使用了resnet,显卡原因batchsize只能到8,我现在这个问题有大佬能帮忙解决吗,感激不尽

你可能感兴趣的:(深度学习,python)