CNN多输出回归问题

最近用CNN做回归一直收敛不了,今天终于解决了,在此记录一下。

我的输入是一张图片,输出是70个系数值,原来不收敛是因为只对输入做了预处理,输出用的原始数据,网络最后的输出层也没加激活函数,label范围不固定。把输入输出都归一化到-1到1,最后一层用tanh激活就可以收敛了。用的VGG收敛速度还是有点慢需要再优化下网络。

后续改进:换了resnet网络,刚开始不收敛,输入输出归一化到0-1,网络输出层用sigmoid,然后计算loss的时候再用反归一化后的label和prediction来计算,这下loss降的很快,明天看看测试结果。

问题:咯咯咯,果然没这么顺利,用反归一化后数据计算loss虽然train loss降下去了,但test loss还是很高,然鹅不归一化直接计算loss,训练过程一开始loss就很小,然后一直震荡不收敛,这是什么毛病? 待解决。。。

你可能感兴趣的:(tensorflow)