转:图像比赛的通用套路

转:
采用预训练模型:可利用ImageNet上的参数

pytouch Model Zoo提供的模型

AlexNet VGG Inception ResNet DenseNet

下载了Github 下载从Tensorflow inception

Hyperdboard(Githubshang ) 训练记录曲线

0.0001是较好的学习率

80%/20% training/validing

数据增强:把原来的样本用数据的手段变得更多,防止过拟合的方法

提升模型:1、换取参数量更大的模型

2、不在卷积层改动,而是在全连接层进行改进

3、改动顶层

4、小模型拼接

5、batchnorm dropout L2

调参:阶段性降低学习率

记录数据结果

模型选择:

resnet/densenet

VGG/inception v3

TTA:在测试时对一个样本的不同增强进行预测,获得不同结果

将不同结果平均或投票获得最终结果

k折交叉验证

把数据 划分为5折,4折做训练集,1折做预测集

可以得到五个模型,一起展现性能,共享同一个划分,控制变量

模型集成阶段:把五个模型集成到一起,获得五个概率,

用ensemle selection的 average bagging 概率矩阵模型

attention stacking

stacking 每一个模型的每一个类上都有一个权重,不同模型对不同类的表现不一样

每一个类单独做一个单分类器,去预测17个结果,

对每一个类做多模型的softmax,使得参数加权为1,则其输出为其权重

你可能感兴趣的:(转:图像比赛的通用套路)