调参总结
一.Tensorflow的迭代次数到底应该设置为多少？
- 训练集对迭代次数的影响
- 学习率对迭代次数的影响
- 权重对迭代次数的影响
- 隐藏层节点数对迭代次数的影响
- 卷积核数量对迭代次数的影响
- 网络层数对迭代次数的影响
二.迭代次数对网络分类准确率的影响
三.快速设定网络参数的一种便捷方法
一
1.训练集对迭代次数的影响
完全相同的两个对象无法被分成两类，比如用一个二分类网络去分类mnist的0和0，这个网络的分类准确率永远是50%。也就是说分类两个完全相同的对象的迭代次数是无穷大，由此可以引申出如果两个被分类对象之间的差异越小，与之对应的迭代次数将越大。
因此可以将迭代次数理解成是两个被分类对象之间差异大小的量度。
制作9个网络分别用来分类0-1到0-9
(mnis 0, mnist x)-con(3*3)-49-30-2-(1,0)(0,1)
三层网络节点数是81，30，2。有一个3*3的卷积核，分类mnist的0和mnist x，让x=1-9，让0向（1，0）收敛，让x向（0，1）收敛。
同时设置这个网络的迭代停止标准是
|输出函数-目标函数|<δ
让δ等于0.1到1e-7的31个值，每组值收敛199次，统计每次的迭代次数并统计平均值，得到的表格
| 9 |
6 |
8 |
2 |
5 |
3 |
4 |
7 |
1 |
|
| δ |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
| 0.1 |
2362.905 |
2763.372 |
2617.372 |
2785.725 |
3508.412 |
2567.648 |
2352.869 |
2232.146 |
2081.131 |
| 1.00E-02 |
3377.824 |
3516.397 |
3487.045 |
3620.905 |
4482.322 |
3501.432 |
3239.744 |
3104.673 |
2850.236 |
| 1.00E-03 |
4638.894 |
4851.055 |
4888.638 |
4846.435 |
6103.94 |
4664.523 |
4525.779 |
4367.447 |
4126.91 |
| 1.00E-04 |
7127.503 |
7646.131 |
6770.578 |
7709.22 |
8919.698 |
7099.93 |
6481.905 |
6468.623 |
5887.709 |
| 9*1e-5 |
7156.286 |
7773.497 |
7345.497 |
7951.16 |
9349.02 |
7262.709 |
6723.286 |
6437.633 |
5996.663 |
| 8*1e-5 |
7367.859 |
7928.668 |
7308.02 |
8182.51 |
9539.442 |
7505.925 |
6901.276 |
6564.357 |
6169.337 |
| 7*1e-5 |
7518.492 |
8338.367 |
7442.362 |
8193.28 |
10203.43 |
7687.362 |
6983.593 |
6779.578 |
6184.608 |
| 6*1e-5 |
7833.106 |
8790.824 |
7950.407 |
8780.59 |
9851.553 |
8094.297 |
7224.774 |
6887.774 |
6469.729 |
| 5*1e-5 |
8203.98 |
8774.352 |
7781.106 |
9227.095 |
10868.83 |
8405.387 |
7523.724 |
7299.528 |
6686.593 |
| 4*1e-5 |
8463.402 |
9638.643 |
8625.352 |
9473.415 |
11182.1 |
8815.392 |
7910.116 |
7553.477 |
7160.337 |
| 3*1e-5 |
9201.839 |
10600.94 |
9775.462 |
10478 |
12931.17 |
9679.422 |
8599.352 |
8293.955 |
7711.472 |
| 2*1e-5 |
10848.2 |
11411.08 |
11628.49 |
12060.84 |
14625.32 |
10461.67 |
9137.015 |
8723.643 |
8744.005 |
| 1.00E-05 |
13375.71 |
14873 |
14918.06 |
19757.36 |
20225.77 |
12683.54 |
11235.33 |
10555.44 |
9885.658 |
| 9*1e-6 |
13466.41 |
15159.28 |
14988.04 |
22245.54 |
21326.77 |
13059.99 |
11316.15 |
10476.27 |
9949.095 |
| 8*1e-6 |
14629.72 |
17935.03 |
16597.2 |
22214.93 |
23468.94 |
13171.09 |
11563.64 |
10925.47 |
10597.78 |
| 7*1e-6 |
14828.54 |
18620.5 |
17736.16 |
28045.61 |
24229.22 |
13862.52 |
12665.93 |
11219.57 |
10781.61 |
| 6*1e-6 |
15859.35 |
19321.87 |
20981.81 |
28410.34 |
27358.97 |
15417.61 |
13010.63 |
11748.35 |
11409.87 |
| 5*1e-6 |
18927.24 |
21230.97 |
21156.49 |
33681.76 |
31394.19 |
15919.56 |
13712.61 |
12474.75 |
11777.72 |
| 4*1e-6 |
19663.64 |
24558.27 |
24769.43 |
37281.58 |
36071.51 |
18205.72 |
14354.06 |
13049.01 |
12539.73 |
| 3*1e-6 |
26072.95 |
31304.92 |
32129.62 |
45173.59 |
43770.63 |
22269.52 |
16352.39 |
14324.43 |
13767.38 |
| 2*1e-6 |
34811.55 |
46862.86 |
53448.89 |
60366.62 |
53362.96 |
31163.59 |
18902.75 |
16918.78 |
14645.3 |
| 1.00E-06 |
70131.85 |
100355.9 |
73646.55 |
90392.45 |
76472.83 |
47298.7 |
29535.1 |
21313.81 |
18080.93 |
| 9*1e-7 |
77841.01 |
103772.7 |
81385.9 |
99247.65 |
86231.85 |
50701.34 |
28357.42 |
21287.42 |
18234.14 |
| 8*1e-7 |
108462 |
119839 |
91615.03 |
95016.96 |
91895.45 |
50896.83 |
32744.68 |
24145.12 |
19182.81 |
| 7*1e-7 |
123232.6 |
129092.7 |
109482.4 |
113411.5 |
94373.55 |
62449.56 |
35204.73 |
27625.46 |
20378.61 |
| 6*1e-7 |
140167.9 |
127953.1 |
109426.8 |
116304.3 |
101428.6 |
64837.91 |
39191.89 |
29357.48 |
20348.53 |
| 5*1e-7 |
149534.4 |
156705.3 |
124867.1 |
129507.3 |
95963.77 |
77875.12 |
48544.11 |
40684.06 |
22365.02 |
| 4*1e-7 |
164962.1 |
161217.8 |
137533.3 |
135768.1 |
112533.3 |
88745.73 |
60192.69 |
40085.21 |
23351.5 |
| 3*1e-7 |
249506.1 |
205342.5 |
159985.3 |
149701.4 |
120549.3 |
114492.7 |
69731.63 |
62320.85 |
27243.87 |
| 2*1e-7 |
289655.7 |
256312.4 |
187551.5 |
155856.8 |
135646.8 |
141850.7 |
99327.43 |
74617.93 |
34178.87 |
| 1.00E-07 |
318339.7 |
207402.7 |
159863.3 |
1.82E+05 |
155931.3 |
133071.7 |
38643.19 |
可以明显的观察到0-9的迭代次数最大，0-1的迭代次数最少
对应同一个δ迭代次数n由小到大的顺序是1<7<4<3<5<2<8<6<9，这一规律体现出0和9的差异比较小相应的迭代次数就比较多，而0和1的差异则比较大相应的迭代次数则比较少。这两个迭代次数之间的比值可以达到8.45倍。
2.学习率对迭代次数的影响
(mnis 0, mnist 2)-con(3*3)-49-30-2-(1,0)(0,1)
用网络分类0-2，让学习率从0.6变化到1e-3，让δ=0.1到1e-7，利用多次测量求平均值的办法统计对应每个δ和每个学习率的迭代次数
| δ\r |
0.6 |
0.5 |
0.4 |
0.3 |
0.2 |
0.1 |
9*1e-2 |
8*1e-2 |
7*1e-2 |
6*1e-2 |
5*1e-2 |
4*1e-2 |
3*1e-2 |
2*1e-2 |
1.00E-02 |
| 0.1 |
450.9 |
509.7 |
601.6 |
832.2 |
1347 |
2786 |
3022.15 |
3421.49 |
3760.23 |
4466.9 |
5034.79 |
6573.76 |
8421.98 |
13866.1 |
29395.11 |
| 1.00E-02 |
707.2 |
757.2 |
998.1 |
1110 |
1717 |
3621 |
4132.17 |
4517.59 |
5232.74 |
6364.6 |
7586.89 |
9070.88 |
13176.8 |
17543.2 |
33094.21 |
| 1.00E-03 |
1102 |
1333 |
1451 |
1674 |
2429 |
4846 |
5419.32 |
6337.57 |
7445.61 |
8704.97 |
10398.8 |
13593.1 |
18510.3 |
26145.6 |
59695.11 |
| 1.00E-04 |
2527 |
2765 |
3067 |
3262 |
3965 |
7709 |
8515.03 |
9764.71 |
11357.2 |
13413.6 |
17218.2 |
21796.3 |
28744.2 |
42848.8 |
92427 |
| 0.00009 |
2686 |
2780 |
3145 |
3561 |
4488 |
7951 |
9066.59 |
9938.67 |
11039 |
14057.1 |
17463.9 |
22672.1 |
31534.5 |
46692.4 |
102512.5 |
| 0.00008 |
2923 |
3232 |
3656 |
3935 |
4710 |
8183 |
8945.27 |
10424.5 |
12045 |
14629.4 |
18146.8 |
22694.6 |
31008.1 |
50762.4 |
96688.84 |
| 0.00007 |
2632 |
3064 |
3951 |
4072 |
4461 |
8193 |
9274.57 |
10642.4 |
12481.7 |
14741.7 |
18819.3 |
24147.9 |
34670.9 |
46805.2 |
107360.5 |
| 0.00006 |
3413 |
3510 |
4434 |
4480 |
5156 |
8781 |
9656.64 |
10810.9 |
12898.6 |
15812.2 |
19477.4 |
24635.7 |
34407.5 |
53700.6 |
101850.8 |
| 0.00005 |
3514 |
3871 |
4467 |
4494 |
5562 |
9227 |
9912.13 |
11487 |
13513.3 |
16702 |
19825.9 |
26156.2 |
34971.2 |
54688.2 |
114240.8 |
| 0.00004 |
4030 |
4434 |
5692 |
5888 |
6443 |
9473 |
10787.3 |
12214.6 |
15033.8 |
17546.2 |
21844.8 |
27275.6 |
37760.9 |
56086.2 |
110557.3 |
| 0.00003 |
5155 |
6595 |
6183 |
6651 |
6918 |
10478 |
11589.7 |
13443.5 |
16093.2 |
19075 |
22692.5 |
31011.1 |
41042.7 |
66337.2 |
145883.5 |
| 0.00002 |
6346 |
6691 |
8426 |
8511 |
12241 |
12061 |
13977.1 |
16357.6 |
18447.9 |
20868.3 |
25713.1 |
34325.6 |
46288.7 |
73116.6 |
157999.1 |
| 1.00E-05 |
10469 |
12805 |
14397 |
16428 |
17083 |
19757 |
19716.1 |
21967.6 |
28235.1 |
26126.3 |
31903.6 |
42933.4 |
57378.8 |
88206.8 |
184000.7 |
| 0.000009 |
14149 |
15900 |
14249 |
20380 |
18225 |
22246 |
22123 |
23800.7 |
24885.1 |
30206.6 |
36951.2 |
45709.4 |
61453.5 |
99080.4 |
197259.9 |
| 0.000008 |
12061 |
16991 |
17343 |
20878 |
18793 |
22215 |
24338.4 |
23525.6 |
26229.4 |
30248.3 |
37264.6 |
45744 |
63118.8 |
102147 |
238433.6 |
| 0.000007 |
15448 |
17055 |
16757 |
23394 |
24627 |
28046 |
26621.4 |
27583.9 |
27712.9 |
33021.7 |
40300.9 |
48154.7 |
66872.6 |
91680.2 |
227748.7 |
| 0.000006 |
16363 |
19539 |
23098 |
23525 |
25263 |
28410 |
30478 |
30443.5 |
34617.6 |
36609.3 |
43348.8 |
51335.1 |
72964.4 |
101187 |
235256.2 |
| 0.000005 |
15435 |
22017 |
28748 |
27565 |
27952 |
33682 |
32414.7 |
34133.3 |
39291.5 |
39831.4 |
49829.6 |
57589.2 |
79256.6 |
112888 |
231381.4 |
| 0.000004 |
22164 |
27614 |
32166 |
35141 |
38190 |
37282 |
40560.4 |
38845.3 |
49073 |
49934.9 |
56060.9 |
59055.6 |
80945.5 |
105719 |
235798.3 |
| 0.000003 |
22927 |
28860 |
36660 |
35043 |
42120 |
45174 |
51076.8 |
54023.8 |
56240.5 |
55068.8 |
61498.8 |
72600.9 |
94621.9 |
130338 |
311185.9 |
| 0.000002 |
33399 |
36130 |
41347 |
47989 |
54458 |
60367 |
70687.1 |
73467.4 |
65498.1 |
79889.1 |
84106.9 |
99886.3 |
110987 |
195190 |
346350.5 |
| 1.00E-06 |
44777 |
49353 |
58197 |
66138 |
74129 |
90392 |
100524 |
110145 |
103614 |
111490 |
127627 |
135720 |
159008 |
232212 |
477003.3 |
| 1.00E-07 |
91115 |
2E+05 |
212024 |
243068 |
255093 |
300479 |
360578 |
405315 |
481567 |
结果表明在δ不变的前提下学习率越小对应的迭代次数越大。
3. 权重对迭代次数的影响
(mnis 0, mnist 2)-con(3*3)-49-30-2-(1,0)(0,1)
分类mnist的0-2，设d是从1-100的随机数，让隐藏层的权重=d/x，让x=10到50万，让δ等于0.1到1e-6的22个值。每组值计算99次取平均值。
| n |
50w |
10w |
50000 |
10000 |
5000 |
2000 |
1000 |
500 |
100 |
10 |
| 0.1 |
2954.606 |
2925.677 |
2682.434 |
2789.273 |
2851.414 |
2934.99 |
2785.725 |
2469.051 |
1492.364 |
824.5455 |
| 1.00E-02 |
3905.949 |
3822.828 |
3697.778 |
3839.242 |
3665.414 |
3597.384 |
3620.905 |
3195.273 |
2412.556 |
2290.162 |
| 1.00E-03 |
5019.576 |
4922.071 |
5071.838 |
5135.232 |
5039.111 |
5039.828 |
4846.435 |
4716.636 |
4220.495 |
6053.737 |
| 1.00E-04 |
7745.818 |
7713.869 |
7586.202 |
7566.566 |
7782.485 |
7884.495 |
7709.22 |
7643.263 |
7695.222 |
16028 |
| 9*1e-5 |
7963.232 |
8079.162 |
7945.636 |
8140.626 |
7738.576 |
7998 |
7951.16 |
7770.828 |
7968.343 |
15690.17 |
| 8*1e-5 |
8365.172 |
8228.737 |
8023.788 |
8136.414 |
8344.596 |
8009.616 |
8182.51 |
8274.535 |
8373.879 |
13377.99 |
| 7*1e-5 |
8351.596 |
8663.02 |
8172.141 |
8062.172 |
8338 |
8543.707 |
8193.28 |
8299.495 |
8587.455 |
15126.16 |
| 6*1e-5 |
8417.556 |
9177.737 |
8753.091 |
8484.495 |
8541.737 |
8616.182 |
8780.59 |
8658 |
8802.596 |
22843.65 |
| 5*1e-5 |
9031.434 |
8857.374 |
9313.737 |
9411.121 |
8861.606 |
8909.141 |
9227.095 |
8950.667 |
9941.172 |
27780.29 |
| 4*1e-5 |
9703.253 |
9872.081 |
9288.869 |
9631.778 |
9538.909 |
9668.152 |
9473.415 |
9662.909 |
10444.78 |
27402.92 |
| 3*1e-5 |
10273.36 |
10113.93 |
10285.41 |
10206.91 |
10629.06 |
10816.66 |
10478 |
10568.34 |
14323.28 |
24808.89 |
| 2*1e-5 |
11731.25 |
11892.36 |
12266.43 |
11755.62 |
11908.38 |
12202.96 |
12060.84 |
12658.81 |
15518.96 |
41082.65 |
| 1.00E-05 |
18167.29 |
16326.62 |
17709.88 |
16517.19 |
18050.47 |
17632.76 |
19757.36 |
19631.6 |
27037.91 |
41576.35 |
| 9*1e-6 |
18092.37 |
17627.63 |
17650.47 |
18858.78 |
18803.26 |
18320.92 |
22245.54 |
22426 |
34867.61 |
55239.19 |
| 8*1e-6 |
20048.55 |
20191.28 |
20609.12 |
18776.23 |
21052.76 |
20959.47 |
22214.93 |
29472.02 |
32882.16 |
38499.32 |
| 7*1e-6 |
19530.55 |
23512.86 |
22542.05 |
21879.03 |
23718.92 |
22918.35 |
28045.61 |
27159.87 |
44096.94 |
52918.58 |
| 6*1e-6 |
24351.96 |
23340.25 |
26207.54 |
24757.15 |
27849.16 |
28211.88 |
28410.34 |
30183.58 |
46843.72 |
46127.79 |
| 5*1e-6 |
29944.24 |
28645.25 |
28010.44 |
28571.44 |
31057.9 |
30435.4 |
33681.76 |
37208.66 |
53281.34 |
60459.68 |
| 4*1e-6 |
33255.04 |
35861.74 |
30981.66 |
34554.54 |
35596.87 |
34793.94 |
37281.58 |
40257.97 |
55912.52 |
60573.09 |
| 3*1e-6 |
42423.89 |
40650.68 |
40574.6 |
43801.63 |
41936.11 |
47156.65 |
45173.59 |
46803.47 |
68222.7 |
57790.01 |
| 2*1e-6 |
59707.64 |
60227.69 |
60508.31 |
55440.01 |
56348.59 |
58648.75 |
60366.62 |
66742.11 |
79970.38 |
76566.7 |
| 1.00E-06 |
90144.53 |
82600.19 |
81751.4 |
79639.55 |
85065.39 |
92023.44 |
90392.45 |
93909.44 |
109287.6 |
125939.1 |
结果很清晰在δ不变的前提下x越小迭代次数越大
4.隐藏层节点数对迭代次数的影响
(mnis 0, mnist 2)-con(3*3)-49-x-2-(1,0)(0,1)
分类0和2让隐藏层的节点数等于20-1000，让δ等于0.5到1e-6的26个值，每组值测量199次取平均值
| δ |
49*20*2 |
49*30*2 |
49*40*2 |
49*50*2 |
49*60*2 |
49*70*2 |
49*80*2 |
49*90*2 |
49*100*2 |
49*200*2 |
49*500*2 |
49*1000*2 |
| 0.5 |
25.54271 |
19.34673 |
14.68342 |
11.38191 |
9.562814 |
8.19598 |
8.678392 |
6.643216 |
6.713568 |
5.874372 |
366.4925 |
427.3367 |
| 0.4 |
1963.995 |
1847.327 |
1764.221 |
1649.487 |
1576.447 |
1480.261 |
1418.327 |
1433.764 |
1318.367 |
972.9296 |
327.407 |
416.7387 |
| 0.3 |
2327.337 |
2152.91 |
2053.513 |
1929.819 |
1867.296 |
1810.663 |
1733.02 |
1758.487 |
1724.548 |
1385.97 |
351.1457 |
495.2915 |
| 0.2 |
2514.834 |
2431.106 |
2247.01 |
2125.985 |
2047.809 |
2066.814 |
2061.312 |
1933.638 |
1919.312 |
1509.106 |
445.1106 |
431.7739 |
| 0.1 |
2907.417 |
2785.725 |
2586.347 |
2471.467 |
2336.698 |
2228.251 |
2266.432 |
2177.734 |
2181.518 |
1814.653 |
551.9648 |
538 |
| 0.01 |
3885.196 |
3620.905 |
3409.337 |
3290.392 |
3211.704 |
3154.075 |
2935.085 |
2922.005 |
2812.744 |
2409.899 |
1947.156 |
958.5578 |
| 0.001 |
5718.608 |
4846.435 |
4769.618 |
4482.884 |
4176.96 |
4087.307 |
4172.447 |
3935.538 |
3826.744 |
3242.412 |
2687.367 |
2178.156 |
| 1.00E-04 |
9210.337 |
7709.22 |
6843.774 |
6534.899 |
6287.417 |
5992.899 |
5800.96 |
5795.191 |
5498.035 |
4641.508 |
3755.719 |
3671.734 |
| 9.00E-05 |
9710.065 |
7951.16 |
7050.683 |
6653.683 |
6228.538 |
6188.085 |
5818.04 |
5733.683 |
5592.457 |
4643.814 |
3834.146 |
3766.915 |
| 8.00E-05 |
9738.583 |
8182.51 |
7373.899 |
6771.176 |
6455.231 |
6244.548 |
6237.206 |
5827.538 |
6010.317 |
4800.719 |
4004.121 |
3537.553 |
| 7.00E-05 |
10116.43 |
8193.28 |
7534.085 |
6862.09 |
6728.658 |
6499.869 |
6520.226 |
5903.482 |
5896.548 |
4944.121 |
3983.704 |
3755.638 |
| 6.00E-05 |
11118.71 |
8780.59 |
7912.809 |
7370.769 |
6712.94 |
6664.392 |
6259.513 |
6207.869 |
5955.121 |
5034.216 |
4338.09 |
3795.146 |
| 5.00E-05 |
12111.81 |
9227.095 |
8041.648 |
7763.618 |
7220.683 |
6979.608 |
6658.965 |
6452.015 |
6224.266 |
5301.121 |
4155.116 |
3860.779 |
| 4.00E-05 |
13728.94 |
9473.415 |
8914.709 |
7870.065 |
7335.975 |
6974.879 |
6793.106 |
6877.789 |
6384.94 |
5264.402 |
4743.256 |
3863.553 |
| 3.00E-05 |
15497.58 |
10478 |
8983.256 |
8461.719 |
7950.296 |
7625.261 |
7386.211 |
6936.482 |
6846.653 |
5613.075 |
4725.739 |
4506.377 |
| 2.00E-05 |
23317.28 |
12060.84 |
10254.75 |
9369.106 |
8535.261 |
8129.583 |
7959.653 |
7832.623 |
7559.673 |
6100.709 |
5045.266 |
4465.935 |
| 1.00E-05 |
38937.04 |
19757.36 |
13325.5 |
11380.39 |
9927.246 |
10038.44 |
9422.307 |
8606.266 |
8652.513 |
6956.779 |
5789.261 |
4991.508 |
| 9.00E-06 |
43911.23 |
22245.54 |
14199.69 |
12113.82 |
10543.48 |
10136.59 |
9981.849 |
9199.065 |
8930.714 |
7182.894 |
5733.809 |
5153.573 |
| 8.00E-06 |
53602.43 |
22214.93 |
15274 |
12452.03 |
10837.76 |
10599.35 |
9611.568 |
9402.352 |
8958.739 |
7194.166 |
5806.985 |
5193.623 |
| 7.00E-06 |
53211.28 |
28045.61 |
16940.79 |
13635.24 |
12077.03 |
11315.1 |
10070.84 |
9749.487 |
9323.196 |
7430.01 |
6073.266 |
5183.844 |
| 6.00E-06 |
57217.69 |
28410.34 |
19087.45 |
14732.5 |
12292.16 |
11030.2 |
10436.6 |
10225.85 |
9608.98 |
7687.754 |
6300.633 |
5706.01 |
| 5.00E-06 |
77478.28 |
33681.76 |
19354.78 |
16120.72 |
12830.23 |
12153.75 |
11567.16 |
10823.58 |
10396.34 |
8213.729 |
6550.332 |
6091.136 |
| 4.00E-06 |
84001.14 |
37281.58 |
24309.85 |
17517.83 |
16267.97 |
14135.49 |
11897.39 |
11054.88 |
11352.55 |
8421.467 |
6433.166 |
5787.121 |
| 3.00E-06 |
90617.76 |
45173.59 |
30329.22 |
20533.79 |
17320.02 |
15464.66 |
14069.67 |
13135.28 |
12671.94 |
8811.065 |
6982.005 |
6397.271 |
| 2.00E-06 |
119310.4 |
60366.62 |
40249.79 |
29888.18 |
24441.9 |
20569.78 |
18074.04 |
15542.84 |
15187.57 |
10138.04 |
7838.643 |
6485.407 |
| 1.00E-06 |
153821.4 |
90392.45 |
66962.16 |
48307.74 |
40945.18 |
31941.37 |
30805.03 |
25686.17 |
23370.95 |
15122.7 |
9934.658 |
8098.126 |
规律很明显x越小对应的迭代次数越大。X越大对应的迭代次数越少。但是x越大网络越大单次迭代的计算量也越大，因此随着x的增大在δ不变的前提下收敛时间有个极小值。
5.卷积核数量对迭代次数的影响
(mnist 0 ,mnist2)81-con(3*3)*n-(49*n)-30-2-(1,0) || (0,1)
分类0和2，向这个网络增加n个3*3的卷积核，让n分别等于0-9.当n=0时，网络相当于一个三层的网络
(mnist 0 ,mnist2)81-30-2-(1,0) || (0,1)
让δ分别等于0.5到1e-6的34个值每组值收敛199次，统计迭代次数平均值。
| 1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
||
| δ |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
| 0.5 |
8.864322 |
16.24623 |
13.80905 |
14.90452 |
15.17588 |
12.13568 |
11.83417 |
11.92462 |
13.06533 |
11.13065 |
| 0.4 |
208.9397 |
1685.925 |
1134.131 |
882.4573 |
751.9347 |
664.0804 |
594.8342 |
526.3166 |
481.1859 |
445.8191 |
| 0.3 |
268.7286 |
1923.096 |
1299.829 |
1047.608 |
869.2663 |
788.8694 |
699.3417 |
648.0251 |
593.9447 |
548.1809 |
| 0.2 |
324.0151 |
2120.045 |
1440.628 |
1160.975 |
988.6633 |
872.4271 |
790.1357 |
712.6784 |
664.0754 |
630.4221 |
| 0.1 |
410.5879 |
2318.668 |
1637.131 |
1291.804 |
1105.392 |
971.6834 |
880.6131 |
814.5879 |
764.2714 |
718.4573 |
| 0.01 |
685.5477 |
2832.724 |
2076.397 |
1656.417 |
1424.9 |
1282.628 |
1206.704 |
1101.251 |
1039.472 |
999.1859 |
| 0.001 |
1447.131 |
3803.322 |
2899.739 |
2436.895 |
2234.598 |
2142.965 |
2086.709 |
2070.985 |
2123.764 |
2199.789 |
| 9.00E-04 |
1450.915 |
3783.528 |
2924.246 |
2495.834 |
2291.754 |
2173.563 |
2137.221 |
2139.347 |
2256.804 |
2365.523 |
| 8.00E-04 |
1494.925 |
3831.327 |
3005.176 |
2545.623 |
2314.834 |
2233.156 |
2231.533 |
2247.498 |
2312.97 |
2508.678 |
| 7.00E-04 |
1552.714 |
3962.889 |
3032.824 |
2621.95 |
2432.156 |
2312.236 |
2360.945 |
2437.226 |
2532.663 |
3025.829 |
| 6.00E-04 |
1711.628 |
4070.799 |
3151.97 |
2738.246 |
2520.181 |
2427.558 |
2559.216 |
2598.543 |
2897.819 |
3426.171 |
| 5.00E-04 |
1968.714 |
4228.101 |
3268.749 |
2908.442 |
2656.392 |
2614.231 |
2638.94 |
3189.176 |
3705.146 |
4812.141 |
| 4.00E-04 |
2165.055 |
4379.653 |
3413.588 |
3049.171 |
2878.216 |
2938.784 |
3379.382 |
4073.372 |
5242.417 |
7248.422 |
| 3.00E-04 |
2324.08 |
4616.387 |
3568.749 |
3236.673 |
3262.699 |
3474.136 |
4279.653 |
6453.819 |
8586.452 |
11609.67 |
| 2.00E-04 |
2720.844 |
5050.874 |
4034.085 |
3941.784 |
4741.608 |
5935.935 |
8696.774 |
11151.12 |
15180.14 |
19449.47 |
| 1.00E-04 |
3165.709 |
6349.699 |
5698.945 |
6692.221 |
9883.704 |
14487.85 |
20128.9 |
26472.59 |
31021.32 |
34488.16 |
| 9.00E-05 |
3407.91 |
6705.251 |
6425.643 |
7671.834 |
10057.86 |
16786.43 |
22643.76 |
27280.82 |
33107.07 |
36141.16 |
| 8.00E-05 |
3486.764 |
6955.814 |
6875.578 |
8632.764 |
13695.61 |
18656.79 |
24313.79 |
30661.9 |
32898.83 |
37901.49 |
| 7.00E-05 |
3668.683 |
7528.92 |
7582.653 |
10520.67 |
14594.5 |
21585.94 |
27430.91 |
33478.19 |
37926.07 |
39971.74 |
| 6.00E-05 |
3962.563 |
8184.292 |
8908.658 |
10364.41 |
17772.01 |
26005.45 |
33621.57 |
37461.17 |
40297.02 |
43397.05 |
| 5.00E-05 |
4167.678 |
8865.02 |
9484.176 |
13928.86 |
20620.39 |
29064.9 |
36309.25 |
40110.72 |
43048.42 |
45538.37 |
| 4.00E-05 |
4515.829 |
9644.558 |
11563.16 |
18354.37 |
27010.35 |
33951.97 |
40799.66 |
44108.27 |
45917.92 |
48308.95 |
| 3.00E-05 |
5059.879 |
11485.9 |
15935.82 |
23537.47 |
31983.07 |
40540.77 |
44894.17 |
48028.65 |
49944.31 |
52696.23 |
| 2.00E-05 |
6524.874 |
15515.14 |
23050.37 |
31693.9 |
39692.1 |
46629.56 |
50373.94 |
54465.65 |
55854.44 |
57249.01 |
| 1.00E-05 |
8527.9 |
25127.07 |
34262.57 |
43816.4 |
51902.06 |
55930.22 |
60159.97 |
61394.46 |
63830.06 |
66139.31 |
| 9.00E-06 |
8746.422 |
26410.51 |
37680.04 |
46022.3 |
54010.82 |
57544.23 |
61327.05 |
63699.2 |
64750.77 |
68351 |
| 8.00E-06 |
9474.01 |
29507.95 |
39589.83 |
48614.33 |
54025.24 |
59733.02 |
62842.51 |
64384.89 |
66818.93 |
68970.2 |
| 7.00E-06 |
10301.67 |
31298.12 |
40019.11 |
50429.01 |
56361.68 |
62009 |
63321.66 |
66217.43 |
69258.37 |
69606.42 |
| 6.00E-06 |
11850.65 |
33845.36 |
44199.28 |
51939.93 |
59028.91 |
63013.84 |
65983.75 |
67526.19 |
69809.58 |
70851.06 |
| 5.00E-06 |
13068.73 |
36965.26 |
47009.32 |
56133.38 |
62123.93 |
66072.72 |
68282.15 |
71326.04 |
72951.16 |
74612.08 |
| 4.00E-06 |
14670.05 |
40347.78 |
49610.82 |
59106.07 |
63852.48 |
69004.8 |
71463.16 |
73956.1 |
77287.44 |
76819.8 |
| 3.00E-06 |
17112.47 |
44845.01 |
56031.89 |
62566.35 |
67823.03 |
73042.56 |
74778.5 |
77379.65 |
80787.31 |
81893.53 |
| 2.00E-06 |
23285.87 |
52058.75 |
62225.43 |
70379.01 |
74180.41 |
77512.57 |
81224.45 |
85341.33 |
87238.95 |
87805.16 |
| 1.00E-06 |
35222.24 |
66830.71 |
77563.4 |
82040.66 |
86059.04 |
90214.99 |
93471.64 |
96062.58 |
99403.25 |
102968.4 |
迭代次数随着卷积核数量的增加而增加。并且迭代次数与卷积核数量的平方根成正比
X---卷积核的数量
α---系数
并且收敛时间与卷积核数量的3/2次幂成正比。
6.网络层数对网络迭代次数的影响
(mnist 0 ,mnist 2)81-30-2-(1,0) || (0,1)
(mnist 0 ,mnist 2)81-30-49-30-2-(1,0) || (0,1)
(mnist 0 ,mnist 2)81-30-49-30-49-30-2-(1,0) || (0,1)
(mnist 0 ,mnist 2)81-30-49-30-49-30-49-30-2-(1,0) || (0,1)
制作4个网络去分类0和2，这4个网络的层数分别是3层，5层，7层，9层.
让δ等于0.5到1e-6的34个值，每组值收敛199次，统计平均值。
| 9 |
7 |
5 |
3 |
|
| δ |
迭代次数n |
迭代次数n |
迭代次数n |
迭代次数n |
| 0.5 |
8.291457 |
7.628141 |
5.728643 |
4.824121 |
| 0.4 |
334.3869 |
136.5377 |
47.92965 |
10.60302 |
| 0.3 |
445.608 |
223.8141 |
105.6432 |
32.92462 |
| 0.2 |
500.1307 |
275.8442 |
155.2563 |
68.78894 |
| 0.1 |
612.9146 |
369.5226 |
248.9497 |
155.2965 |
| 0.01 |
1085.503 |
754.2462 |
596.3015 |
492.8593 |
| 0.001 |
9882.784 |
8027.377 |
2793.01 |
1295.281 |
| 9.00E-04 |
10881.03 |
8691.206 |
2924.266 |
1368.503 |
| 8.00E-04 |
11977.38 |
9745.246 |
3438.271 |
1426.709 |
| 7.00E-04 |
14072.29 |
10714.58 |
4023.141 |
1494.201 |
| 6.00E-04 |
16406.42 |
12371.1 |
4890.673 |
1667.829 |
| 5.00E-04 |
20385.63 |
15137.29 |
5992.065 |
1749.307 |
| 4.00E-04 |
24298.51 |
17785.58 |
7844.638 |
1875.171 |
| 3.00E-04 |
32696.08 |
22253.22 |
11235.22 |
2184.286 |
| 2.00E-04 |
44724.82 |
31035.44 |
15313.87 |
2582.925 |
| 1.00E-04 |
89078.6 |
56299.69 |
25407.06 |
3498.412 |
| 9.00E-05 |
95407.9 |
63010.57 |
27220.85 |
3645.025 |
| 8.00E-05 |
104874.4 |
68325.11 |
29562.66 |
3840.156 |
| 7.00E-05 |
116214.4 |
78167.16 |
32122.32 |
4077.126 |
| 6.00E-05 |
131232.3 |
89236.13 |
34942.84 |
4212.678 |
| 5.00E-05 |
149461.3 |
102580.9 |
39240.9 |
4589.568 |
| 4.00E-05 |
166924.9 |
117010.6 |
42965.2 |
5167.663 |
| 3.00E-05 |
204507.9 |
149188.4 |
52871.19 |
5821.111 |
| 2.00E-05 |
274629 |
212703 |
64717.94 |
6976.513 |
| 1.00E-05 |
439076.3 |
360851.1 |
90076 |
9615.879 |
| 9.00E-06 |
473836.4 |
386946.7 |
91610.54 |
9692.05 |
| 8.00E-06 |
514704.1 |
429464.9 |
99462.98 |
10012.85 |
| 7.00E-06 |
550991.1 |
455372.7 |
105727.8 |
10419.32 |
| 6.00E-06 |
616058.6 |
535610.7 |
110838.9 |
11089.11 |
| 5.00E-06 |
742561 |
608267.8 |
118164.4 |
12141.85 |
| 4.00E-06 |
892665.6 |
729212.1 |
138541.7 |
12888.37 |
| 3.00E-06 |
1155870 |
930735.7 |
155032.7 |
13944.59 |
| 2.00E-06 |
1.69E+06 |
1390712 |
189751.4 |
16152.7 |
| 1.00E-06 |
3.35E+06 |
2727215 |
318306.6 |
20551.51 |
在δ不变的前提下，随着网络层数的增加迭代次数增加。
将上述所有现象总结成表格
| δ |
训练集差异 |
学习率 |
权重 |
隐藏层节点数 |
卷积核数量 |
网络层数 |
|
| 不变 |
增加 |
减小 |
增大 |
减小 |
增加 |
增加 |
迭代次数增加 |
| δ |
训练集差异 |
学习率 |
权重 |
隐藏层节点数 |
卷积核数量 |
网络层数 |
|
| 减小 |
不变 |
不变 |
不变 |
不变 |
不变 |
不变 |
迭代次数增加 |
在δ不变的前提下，训练集差异增加，学习率减小，权重增大，隐藏层节点数减小，卷积核数增加，网络层数增加都会导致迭代次数增加。
在网络结构不变的前提下δ减小，迭代次数增加。
二.迭代次数对网络分类准确率的影响
前面的所有实验都表明在训练集不变，δ不变的前提下迭代次数越多网络的分类准确率越大。但是不包括由于卷积核数量的增加而引起的迭代次数的增加。
| 平均性能 |
0-1 |
81*30*2>2>3>4>5>6>7>8>9>1 |
没有正面价值 |
||
| 0-5 |
2>3>4>5>6>7>8>9>81-30-2>1 |
明显提升 |
|||
| 0-6 |
81*30*2>2>9>8>1>7>6>5>4>3 |
没有正面价值 |
|||
| 0-2 |
81*30*2>2>3>4>5>6>7>8>9>1 |
没有正面价值 |
|||
| 最大性能 |
0-1 |
81*30*2=1=2=3=4=5=6=7=8=9 |
没有提升 |
||
| 0-5 |
2>3>4>5>6>7>8>9>1>81-30-2 |
提升明显 |
|||
| 0-6 |
81*30*2=2=7>8>1=3=4>6>5 |
无明显提升 |
|||
| 0-2 |
5>3>2>4=7=8>1=9>6>81*30*2 |
提升明显 |
|||
卷积核数量对网络性能的影响的实验共做了4次，分别是0-1，0-2，0-5，0-6.这4次实验都表明卷积核的数量有一个最优值，超过最优值以后网络的性能是下降的。
卷积核有可能改善网络性能比如0-5，但是卷积核也有可能没有任何正面价值，比如0-1，0-6，0-2增加卷积核只会导致网络平均性能下降。
7个变量对网络性能影响的总结
| δ |
训练集差异 |
学习率 |
权重 |
隐藏层节点数 |
卷积核数量 |
网络层数 |
|
| 不变 |
增加 |
减小 |
增大 |
减小 |
有最优值 |
增加 |
网络性能增加 |
| δ |
训练集差异 |
学习率 |
权重 |
隐藏层节点数 |
卷积核数量 |
网络层数 |
|
| 减小 |
不变 |
不变 |
不变 |
不变 |
不变 |
不变 |
网络性能增加 |
如果不考虑卷积核数量改变导致的迭代次数改变，可以简单的概括成在δ不变的前提下，迭代次数越多网络性能越好。分类准确率越高。因此使网络性能更好有两种等效的调参策略，一种是通过调节学习率，权重，节点数，网络层数使迭代次数变大；或者在其他所有参数都不变的情况下将δ调小。
三.快速设定网络参数的一种便捷方法
由上述所有讨论，一个参数最优的网络应该满足：隐藏层节点数应该小于等于节点数效率最优值，卷积核数应该等于卷积核数量最优值。而其余无论是由学习率，权重，网络层数引起的迭代次数的增加都可以用δ减小来等效的替代。
也就是可以通过将δ不断减小的办法来使网络性能得到单向的不断的提升。甚至一个网络即便不满足参数最优，把δ调的更小也确定的会使网络的性能得到改善，因此这是一种便捷的单参数调参法。