用训练好的模型测试训练集每张图片的loss

用训练好的模型测试训练集每张图片的loss

所用模型为vgg 11-6.pth

computeloss.py

经过统计loss分布如下：

loss区间	个数
>10	0
1-10	1192
0.5-1	808
0.4-0.5	282
0.3-0.4	416
0.2-0.3	722
0.1-0.2	1439
0.0-0.1	31046
=0	14095
total	50000

max=9.98

min=0

将loss小于0.1的图片的索引拿出来保存在index.txt中

其中loss大于0.1的有4859张图片

将4859张图片从dataloader中拿出来不参与训练，剩下的图片训练200个epoch：

得到如下：

图片数量	训练方式	top1 error	top5 error	备注
50000	全部训练	33.16%	12.11%	149epoch最优（shuffle）
45041	loss小于0.1	49.92%	24.08%	145epoch最优
4959	loss大于0.1	94.86%	80.05%
4859	loss小于0.1	92.52%	75.57%	126epoch 11:11 21:39
48000	loss小于0.5	50.96%	24.58%	未shuffle
50000	全部	32.65%	12.35%	未shuffle
48000	loss小于0.5的2000不参与	52.03%	25.85%	未shuffle
48000	loss小于0.5的2000不参与	51.3%	24.97%	shuffle
50000	先训练loss小于0.5后再另外2000	50.72%	23.63%	先训练48000张loss小于0.5 160个epoch，再用2000个0.0008学习率40个epoch
50000	在40，80，120单独训练难例10个epochs	34.31%	11.59%	97epoch最优（shuffle），共160个epoch
50000	在70，120单独训练15epochs，170单独训练10epochs难例	32.84	11.78%	111epoch最优，共200个epoch
50000	在70，120单独训练15epochs，170单独训练10epochs难例	33.38%	11.74%	119最优，将难例的batch设置为120，原来是480。

有一个问题：batch设置的不一样会不会影响训练的效果。由于不同大小的数据集采用的batchsize不一样。另外一个问题，以上实验都没有shuffle，其实可以shuffle的，因为已经改了dataloader。

记录一个问题

1.训练48000个训练集16个epoch后再训练2000个难例，在测试集上的accuracy会有悬崖般的下降。

2.训练所有的50000个训练集14个epoch后再训练2000个难例，在测试集上的accuracy会先下降再上升。

epoch	accuracy	备注
1	0.01
3	0.0690
5	0.1279
7	0.1706
9	0.2153
11	0.2385
13	0.2511
**15	0.2465	开始切换数据集
16	0.1995
17	0.1881
18	0.1962
19	0.2015	下面的趋势是在波动

Resnet18

loss分布情况：

取值	数量
>0.1	519
>0.05	1160
>0.02	3070

mobilenetv2

loss分布情况：

取值	数量
>4	2203
>3	4748
>1	18986

研究这些loss比较大的是不是同样的一些数据

首先取样本：

网络及取值	数量
mobile loss>4	2203
resnet loss>0.02	3070
vgg16 loss>0.5	2000

下面是一些并集：

编号	集合关系	数量
a	mobile loss>4 & resnet loss>0.02	316
b	vgg loss>0.5 &resnet loss>0.02	310
c	vgg loss>0.5 &mobile loss>4	330
d	mobile loss>4 & resnet loss>0.02 & vgg loss>0.5	62

如果根据这些难例是与网络有关而并不是说它本身具有的一些特性（如图片质量不好、图片包含的特征特别多（场景复杂）），那么根据概率论中的随机假设：

那么:

---

结论：跟网络无关，有些数据在任何网络下都难以训练，数据本身特征与其他数据不一样

d中的部分图片