3x3,5x5,7x7卷积核识别效率对比

一个卷积核可以更快的提升准确率很显然表明这个卷积核把握图片特征 的能力更强。

本文比较了3x3，5x5，7x7卷积核识别9x9的图片的识别效率和性能。

本文的数据集用了minst的0和2中的前500张图片，经过池化变成9x9的尺寸。只用一个卷积核所以网络结构是 ：

3x3卷积核的网络结构是

9x9-7x7-30-2

5x5卷积核的网络结构是

9x9-5x5-30-2

7x7卷积核的网络结构是

9x9-3x3-30-2

测试集中有980个0和1032个2。让0向1,0收敛，让2向0,1收敛。

 

具体进样顺序

进样顺序	迭代次数
minst 0-1	1
minst 2-1	2
梯度下降
minst 0-2	3
minst 2-2	4
梯度下降
minst 0-3	5
minst 2-3	6
梯度下降
minst 0-4	7
minst 2-4	8
梯度下降
minst 0-5	9
minst 2-5	10
梯度下降
每5张图测量一次准确率
……
minst 0-499	997
minst 2-499	998
梯度下降
测量准确率

 

分别统计了准确率超过0.512922，0.6,0.7,0.8,0.9的迭代次数，实现准确率最大值的迭代次数和准确率的最大值以及耗时

每个卷积核重复了50次，统计平均值，得到的数据表格

	0.512922	>0.6	>0.7	>0.8	>0.9	得到最大值的迭代次数	最大的准确率	耗时ms	耗时min
3*3	33	100.4	148.2	227.6	313.8	829.4	0.931620278	76769.24	1.279487333
5*5	31.4	75.4	114.4	175	252.8	821.8	0.929075547	79656.1	1.327601667
7*7	33.6	100.8	156.2	223.8	105	772	0.845427435	75682.52	1.261375333

 

第一行33的意思就是用3x3的卷积核的准确率第一次超过0.512922用了33次迭代，也就是0的第17张图片。因为测试集中有48.7078%的0和51.2922%的2所以准确率超过0.512922表明网络已经有了识别能力，所以把准确率超过0.512922的点叫觉醒点。所以比较而言5x5的卷积核的觉醒点是最小的只需要16张图片网络就已经开始具有分别能力。

第二行的100.4的意思就是3x3的卷积核的网络的准确率第一次超过60%需要平均100.4次迭代，通过对比很容易发现，5x5的卷积核的识别效率是最高的因为在所有有效区间上5x5的卷积核需要的迭代次数都小于3x3的卷积核和7x7的卷积核。

31.4<33<33.6

75.4<100.4<100.8

114.4<148.2<156.2

175<223.8<227.6

252<313

821<829

可见从识别效率上5x5是最快的，5x5的卷积核达到90%的正确率需要252次迭代是3x3的卷积核达到90%的正确率需要迭代次数的80%。

（因为7x7的卷积核在500张图片以内有些没有达到90%所以105这个不是有效数字）

最大的准确率3x3的要优一些但5x5的也并不落后很多。

而7x7的卷积核的准确率就相差很多。

所以综合起来看5x5的卷积核识别效率最高，准确率的上升速度最快。也就是5x5的卷积核把握了图片的更为本质的特征。

3x3的数据表明卷积核尺寸小了，能把握的局部特征不明显。但是通过数据的积累一样可以达到很高的甚至更高的准确率。

7x7的数据表明对于一个9x9的图片7x7的卷积核的尺寸太大了。

 

49-30-2       

25-30-2

9-30-2        

对比三个网络就很容易发现，49-30-2显然需要更多的数据去收敛，9-30-2又太浓缩了很多特征都丢失了，导致收敛速度缓慢。所以针对这题5x5的卷积核性能更优些。

 

 

实验数据

学习率 0.1

权重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

int xx=1;

if(ti1%2==0)

{

xx=-1;

}

tw[a][b]=xx*((double)ti1/x);

 

第一层第二层和卷积核的权重的初始化的x分别为1000,1000,200

 

3x3
0.512922	>0.6	>0.7	>0.8	>0.9	得到最大值的迭代次数	最大的准确率	耗时ms
40	130	220	370	830	950	0.907554672	76889
10	50	50	90	270	580	0.944831014	76043
10	40	40	40	110	430	0.9527833	76182
50	60	70	180	520	970	0.941351889	76346
10	40	50	50	80	740	0.97166998	76297
40	40	90	170	390	960	0.944831014	76101
150	210	210	220	380	940	0.959741551	76157
10	40	50	120	160	660	0.953280318	75987
50	50	90	190	340	950	0.946322068	76719
50	70	70	100	240	790	0.957753479	76690
10	80	150	230	310	740	0.958747515	76301
40	50	50	50	370	970	0.923956262	76033
10	120	190	260	610	840	0.921471173	76127
20	30	30	40	120	570	0.957753479	76316
70	100	100	140	180	780	0.974652087	76329
30	40	40	110	540	700	0.911033797	76096
50	100	120	160	420	680	0.916500994	76063
10	70	150	230	460	960	0.943836978	76190
10	180	220	360	0	940	0.882703777	76001
40	50	50	60	190	610	0.93389662	76111
40	60	120	190	390	940	0.925944334	79443
50	150	210	300	730	980	0.922962227	78500
10	120	190	360	0	990	0.882206759	80423
70	90	150	210	340	860	0.964214712	78563
10	90	170	310	350	960	0.951292247	76564
10	210	410	500	0	800	0.868787276	76625
30	30	60	230	230	750	0.969681909	76599
10	70	160	310	700	960	0.911530815	76328
10	50	60	120	260	960	0.939860835	76483
10	90	130	170	460	660	0.910039761	76456
50	160	190	350	0	960	0.889662028	76544
80	160	250	410	0	980	0.88916501	76411
40	80	80	160	220	970	0.945328032	76825
10	440	610	810	0	990	0.842445328	76590
10	40	90	110	180	670	0.946322068	76604
10	110	140	200	260	580	0.935884692	76575
10	170	240	260	440	650	0.949801193	76589
10	220	250	320	380	950	0.96471173	76529
60	120	180	240	460	980	0.962723658	76606
60	60	70	160	270	980	0.946322068	76582
10	130	310	460	0	990	0.867296223	76592
100	160	190	280	0	450	0.88916501	76495
70	100	170	310	520	950	0.939860835	76579
40	40	230	310	690	980	0.919483101	76639
10	120	160	280	720	910	0.906560636	76669
40	40	40	50	50	430	0.95526839	76785
10	40	140	210	410	890	0.921471173	76873
10	190	210	300	420	590	0.966699801	76868
50	100	130	190	440	960	0.946322068	80442
10	30	30	100	250	990	0.945328032	77703
33	100.4	148.2	227.6	313.8	829.4	0.931620278	76769.24

 

5x5
0.512922	>0.6	>0.7	>0.8	>0.9	得到最大值的迭代次数	最大的准确率	耗时ms
10	50	60	170	370	980	0.92693837	77064
20	30	40	110	400	640	0.913021869	76532
10	40	40	40	80	960	0.955765408	76645
10	100	190	310	0	980	0.885188867	76742
10	90	150	400	0	990	0.882703777	76489
10	50	50	60	170	610	0.937375746	76440
40	130	150	170	220	720	0.956759443	76487
10	110	160	160	330	920	0.947316103	76356
50	60	60	120	290	770	0.922465209	76334
10	40	60	70	190	960	0.944831014	76196
40	50	110	110	170	560	0.948807157	76483
10	60	90	130	280	980	0.92445328	76442
30	30	40	60	140	270	0.968687873	76291
10	170	220	280	520	910	0.944333996	78074
10	40	40	140	440	980	0.934393638	80464
10	20	70	80	240	430	0.927932406	79595
70	70	240	310	460	910	0.930417495	80148
60	90	170	280	450	990	0.954274354	80722
10	30	30	70	240	610	0.959244533	81101
30	30	110	240	440	990	0.921968191	80864
50	50	50	110	260	930	0.946322068	80803
10	50	60	140	270	880	0.95526839	81039
40	40	40	100	0	950	0.899602386	80953
40	50	70	90	170	910	0.959244533	80177
10	150	310	350	730	920	0.922465209	80656
90	130	170	320	0	970	0.847415507	80727
10	50	50	60	150	430	0.939860835	80651
40	70	130	190	0	930	0.895129225	80048
220	240	270	290	400	470	0.971172962	80650
40	40	100	140	240	860	0.946322068	80413
40	40	60	100	950	950	0.902584493	80303
10	80	120	140	220	580	0.944831014	79558
10	50	60	60	130	560	0.959741551	80070
10	50	110	190	280	990	0.945328032	80192
10	100	140	160	240	890	0.943836978	80151
30	60	150	250	310	860	0.954274354	79772
10	60	120	260	0	940	0.850397614	80672
10	60	120	260	0	900	0.896620278	80265
10	40	50	50	240	920	0.944333996	80483
50	70	170	270	0	990	0.896620278	80405
10	50	130	240	0	990	0.892147117	80886
10	40	40	170	270	970	0.934890656	81414
60	70	70	230	480	660	0.904572565	76423
50	70	70	110	130	580	0.957256461	80606
100	160	210	230	690	990	0.903578529	119862
60	150	150	170	310	370	0.916500994	76160
50	190	210	210	220	580	0.963717694	75890
10	40	40	100	150	980	0.938369781	76083
10	150	160	170	0	990	0.89612326	76147
10	80	210	280	370	990	0.938369781	75877
31.4	75.4	114.4	175	252.8	821.8	0.929075547	79656.1

 

 

 

7x7
0.512922	>0.6	>0.7	>0.8	>0.9	得到最大值的迭代次数	最大的准确率	耗时ms
60	70	110	500	0	770	0.80417495	76416
70	140	200	240	0	580	0.891650099	75618
10	50	120	230	0	810	0.834493042	75615
40	40	40	50	0	880	0.879224652	76155
10	40	0	0	0	800	0.68638171	78123
50	60	100	100	190	460	0.939860835	76784
40	100	940	0	0	940	0.704771372	76640
10	90	210	340	0	940	0.85387674	76829
80	280	790	0	0	790	0.743538767	76816
10	120	130	170	380	890	0.932405567	76713
10	40	80	0	0	900	0.799204771	76939
10	170	240	310	0	970	0.87972167	76789
10	400	0	0	0	830	0.671968191	76564
160	180	240	340	570	990	0.915506958	77337
50	110	150	220	520	680	0.913518887	77407
140	150	150	530	0	880	0.82554672	77680
40	50	50	100	470	930	0.901093439	77650
10	140	190	310	0	670	0.850894632	78097
30	50	70	0	0	240	0.795725646	78068
10	330	470	860	0	980	0.810636183	77933
10	90	100	190	640	940	0.91500994	78308
40	110	0	0	0	690	0.657057654	78198
10	80	110	190	400	780	0.91500994	78501
10	290	320	330	790	920	0.903578529	78025
70	110	200	800	0	960	0.81361829	78200
40	40	50	90	0	250	0.880218688	77275
10	40	50	120	210	990	0.916500994	77242
20	40	110	300	0	870	0.820079523	77312
10	210	310	340	0	690	0.820079523	76759
10	90	90	210	0	570	0.884194831	77150
10	40	40	40	0	630	0.899602386	76878
10	70	70	220	0	960	0.868290258	76941
10	40	60	110	0	590	0.892147117	76893
50	70	330	0	0	580	0.762425447	76805
10	80	110	220	0	820	0.842445328	76794
50	180	250	950	0	950	0.800695825	76880
10	10	10	10	420	950	0.911530815	5690
60	60	120	0	0	750	0.796222664	77450
30	40	60	0	0	560	0.773359841	77735
30	30	170	220	0	710	0.869781312	79375
50	50	80	300	0	720	0.838469185	76086
10	50	50	120	0	630	0.885188867	76428
40	100	100	180	450	920	0.93638171	76047
10	60	60	180	0	530	0.853379722	76248
10	50	60	120	210	970	0.949801193	77268
100	210	220	630	0	990	0.814115308	77884
10	50	170	560	0	990	0.835984095	76823
10	40	40	170	0	980	0.864314115	76333
40	50	110	190	0	500	0.845924453	76233
50	50	80	100	0	280	0.871769384	76192
33.6	100.8	156.2	223.8	105	772	0.845427435	75682.52