用重合图片去计算网络的峰值分类准确率
训练集用mnist的0，1，2，3的前10张图片，做3个二分类网络
(0，1)---4*30*2---(1,0)(0,1)
(0，2)---4*30*2---(1,0)(0,1)
(0，3)---4*30*2---(1,0)(0,1)
用间隔取点的办法把图片化成2*2，测试集与训练集相同。这10张图片不断的循环往复直到收敛，统计与收敛误差对应的分类准确率，并比较。
第一组
(0，1)--- 4*30*2---(1,0)(0,1)
得到的数据
| 0--1 |
2*2 |
10 |
二值 |
|||
| 迭代次数n |
平均准确率p-ave |
1-0 |
0-1 |
δ |
耗时ms/次 |
耗时ms/199次 |
| 15.1256281 |
0.5159129 |
0.61809045 |
0.41373534 |
0.5 |
1.60301508 |
320 |
| 345.693467 |
0.5 |
0.91959799 |
0.08040201 |
0.48 |
4.92964824 |
983 |
| 494.346734 |
0.5 |
0.9798995 |
0.0201005 |
0.46 |
5.9798995 |
1190 |
| 590.256281 |
0.5 |
1 |
0 |
0.44 |
6.93467337 |
1386 |
| 643.894472 |
0.5 |
1 |
0 |
0.42 |
6.85427136 |
1364 |
| 695.452261 |
0.5 |
1 |
0 |
0.4 |
6.88442211 |
1370 |
| 733.984925 |
0.57035176 |
0.96482412 |
0.1758794 |
0.38 |
7.28140704 |
1455 |
| 767.904523 |
0.72110553 |
0.88944724 |
0.55276382 |
0.36 |
7.62311558 |
1517 |
| 801.01005 |
0.72222222 |
0.88888889 |
0.55555556 |
0.34 |
7.4120603 |
1480 |
| 830.497487 |
0.72222222 |
0.88888889 |
0.55555556 |
0.32 |
9.90452261 |
1972 |
| 859.80402 |
0.73562256 |
0.86208822 |
0.6091569 |
0.3 |
8.92964824 |
1777 |
| 885.130653 |
0.79480737 |
0.74371859 |
0.84589615 |
0.28 |
12.1105528 |
2410 |
| 912.809045 |
0.83277499 |
0.66778336 |
0.99776661 |
0.26 |
9.2361809 |
1838 |
| 943.201005 |
0.83333333 |
0.66666667 |
1 |
0.24 |
11.0854271 |
2206 |
| 964.547739 |
0.83333333 |
0.66666667 |
1 |
0.22 |
9.45226131 |
1881 |
| 998.286432 |
0.83333333 |
0.66666667 |
1 |
0.2 |
10.5477387 |
2099 |
| 1028.8593 |
0.83333333 |
0.66666667 |
1 |
0.18 |
10.1356784 |
2017 |
| 1056.53769 |
0.83333333 |
0.66666667 |
1 |
0.16 |
12.6180905 |
2511 |
| 1095.25126 |
0.83333333 |
0.66666667 |
1 |
0.14 |
10.8492462 |
2159 |
| 1140.74874 |
0.83333333 |
0.66666667 |
1 |
0.12 |
14.9748744 |
2980 |
| 1192.21608 |
0.83333333 |
0.66666667 |
1 |
0.1 |
16.5075377 |
3285 |
| 1251.46231 |
0.83333333 |
0.66666667 |
1 |
0.08 |
17.7085427 |
3524 |
| 1328.79899 |
0.83333333 |
0.66666667 |
1 |
0.06 |
16.9547739 |
3375 |
| 1452.26633 |
0.83333333 |
0.66666667 |
1 |
0.04 |
18.5276382 |
3687 |
| 1697.57286 |
0.83333333 |
0.66666667 |
1 |
0.02 |
20.5628141 |
4092 |
网络的峰值分类准确率是5/6.其中0的分类准确率是2/3，1的分类准确率是1.
| 0 |
0 |
0 |
0 |
1 |
0 |
0 |
0 |
0 |
0 |
| 0 |
1 |
0 |
0 |
0 |
1 |
1 |
1 |
1 |
|
| 1 |
0 |
1 |
1 |
0 |
1 |
0 |
0 |
1 |
|
| 1 |
1 |
1 |
1 |
1 |
0 |
1 |
0 |
0 |
|
| ********* |
|||||||||
| 1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
| 0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
| 1 |
1 |
1 |
0 |
1 |
0 |
0 |
0 |
0 |
|
| 1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
观察这组训练集就会发现，0中有3张图片和1中的图片是重合的。两张（0，0，1，1）和1张（0，0，0，1）。如果网络认为（0，0，1，1）和（0，0，0，1）属于1则，0就将有3张图片分类错误，因此0的分类准确率就是2/3，而1的准确率就是1.因为测试集图片数量相同，因此总的分类准确率就是0.5*2/3+0.5*1=5/6=0.8333333
第二组
(0，2)--- 4*30*2---(1,0)(0,1)
得到数据
| 0--2 |
2*2 |
10 |
二值 |
1.55555556 |
||
| 迭代次数n |
平均准确率p-ave |
1-0 |
0-1 |
δ |
耗时ms/次 |
耗时ms/199次 |
| 15.7738693 |
0.51758794 |
0.58347292 |
0.45170296 |
0.5 |
1.10050251 |
219 |
| 414.522613 |
0.5 |
0.91457286 |
0.08542714 |
0.48 |
3.92462312 |
781 |
| 624.417085 |
0.5 |
0.9798995 |
0.0201005 |
0.46 |
5.49246231 |
1093 |
| 761.41206 |
0.5 |
1 |
0 |
0.44 |
6.1959799 |
1233 |
| 822.919598 |
0.49692909 |
0.98827471 |
0.00558347 |
0.42 |
6.67336683 |
1328 |
| 889.582915 |
0.61194863 |
0.66834171 |
0.55555556 |
0.4 |
7.06532663 |
1406 |
| 946.839196 |
0.61111111 |
0.66666667 |
0.55555556 |
0.38 |
7.84924623 |
1562 |
| 991.703518 |
0.61111111 |
0.66666667 |
0.55555556 |
0.36 |
11.3015075 |
2249 |
| 1036.29648 |
0.61111111 |
0.66666667 |
0.55555556 |
0.34 |
12.2361809 |
2435 |
| 1082.33668 |
0.61111111 |
0.66666667 |
0.55555556 |
0.32 |
9.95979899 |
1982 |
| 1122.76884 |
0.61111111 |
0.66666667 |
0.55555556 |
0.3 |
12.7135678 |
2530 |
| 1168.08543 |
0.61111111 |
0.66666667 |
0.55555556 |
0.28 |
9.18090452 |
1827 |
| 1203.45226 |
0.61111111 |
0.66666667 |
0.55555556 |
0.26 |
9.41708543 |
1874 |
| 1250.75879 |
0.61390285 |
0.66108319 |
0.5667225 |
0.24 |
9.88944724 |
1968 |
| 1293.81407 |
0.62339475 |
0.64209939 |
0.60469012 |
0.22 |
10.0452261 |
1999 |
| 1339.22111 |
0.64349525 |
0.60189838 |
0.68509213 |
0.2 |
10.4321608 |
2076 |
| 1397.56281 |
0.66275824 |
0.56337242 |
0.76214405 |
0.18 |
10.9095477 |
2171 |
| 1461.33166 |
0.66638749 |
0.5561139 |
0.77666108 |
0.16 |
11.2211055 |
2233 |
| 1527.54271 |
0.66666667 |
0.55555556 |
0.77777778 |
0.14 |
11.8442211 |
2357 |
| 1612.38693 |
0.66666667 |
0.55555556 |
0.77777778 |
0.12 |
12.4020101 |
2468 |
| 1720.38693 |
0.66666667 |
0.55555556 |
0.77777778 |
0.1 |
13.1809045 |
2623 |
| 1855.70352 |
0.66666667 |
0.55555556 |
0.77777778 |
0.08 |
14.201005 |
2826 |
| 2065.91457 |
0.66666667 |
0.55555556 |
0.77777778 |
0.06 |
15.6180905 |
3108 |
| 2442.73869 |
0.66610832 |
0.55834729 |
0.77386935 |
0.04 |
18.361809 |
3654 |
| 3209.05025 |
0.69235064 |
0.61976549 |
0.76493579 |
0.02 |
24.2512563 |
4826 |
| 4150.02513 |
0.71021776 |
0.61083194 |
0.80960357 |
0.01 |
31.0703518 |
6183 |
| 4486.68844 |
0.72724735 |
0.5985483 |
0.8559464 |
0.008 |
33.4271357 |
6652 |
| 4910.36683 |
0.75265215 |
0.5773311 |
0.9279732 |
0.006 |
36.1708543 |
7198 |
| 5627.47236 |
0.77079844 |
0.57621441 |
0.96538247 |
0.004 |
41.4321608 |
8245 |
| 7051.64322 |
0.82607482 |
0.65214964 |
1 |
0.002 |
51.4773869 |
10244 |
| 8681.41206 |
0.83333333 |
0.66666667 |
1 |
0.001 |
63.8693467 |
12710 |
| 9104.8191 |
0.83333333 |
0.66666667 |
1 |
9.00E-04 |
66.6984925 |
13273 |
| 9515.74372 |
0.83333333 |
0.66666667 |
1 |
8.00E-04 |
69.8341709 |
13897 |
| 9882.79899 |
0.83333333 |
0.66666667 |
1 |
7.00E-04 |
72.5075377 |
14429 |
| 10287.7538 |
0.83333333 |
0.66666667 |
1 |
6.00E-04 |
74.9346734 |
14912 |
| 10919.7437 |
0.83333333 |
0.66666667 |
1 |
5.00E-04 |
79.718593 |
15864 |
| 12153.0603 |
0.83333333 |
0.66666667 |
1 |
4.00E-04 |
88.5929648 |
17630 |
| 13265.804 |
0.83333333 |
0.66666667 |
1 |
3.00E-04 |
96.9045226 |
19284 |
| 16669.9749 |
0.83333333 |
0.66666667 |
1 |
2.00E-04 |
120.603015 |
24000 |
| 22233.1508 |
0.83333333 |
0.66666667 |
1 |
1.00E-04 |
161.005025 |
32040 |
0与2分类的峰值分类准确率也是5/6.观察这组数据
| 0 |
0 |
0 |
0 |
1 |
0 |
0 |
0 |
0 |
0 |
| 0 |
1 |
0 |
0 |
0 |
1 |
1 |
1 |
1 |
|
| 1 |
0 |
1 |
1 |
0 |
1 |
0 |
0 |
1 |
|
| 1 |
1 |
1 |
1 |
1 |
0 |
1 |
0 |
0 |
|
| ********* |
|
|
|||||||
| 2 |
0 |
0 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
| 1 |
0 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
|
| 1 |
0 |
1 |
1 |
0 |
1 |
1 |
1 |
1 |
|
| 1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0与2也有3张图片是重合的，两张（0，0，1，1）和1张（0，0，0，1）.因此1个分类准确率是2/3，另一个是1，峰值分类准确率和第一组相同。但是这一组当收敛误差为0.001的时候才达到峰值，而第一组在收敛误差为0.24的时候就已经达到了峰值，也就是第二组比第一组的分类准确率的变化率dp/dt要小的多。
单独比较1和2的数据，1中只有两张图片（0，0，1，1）和1张（0，0，0，1），而2中除了这两张图片还有两张不一样的图片（0，1，1，1）和（1，1，1，1），因此2的复杂度要大于1，因此0和2分类的难度大于0和1分类。因此在收敛误差相同的情况下0与2的分类准确率要小于0和1的分类准确率。
第三组
(0，3)--- 4*30*2--(1,0)(0,1)
得到数据
| 0--3 |
2*2 |
10 |
二值 |
|||
| 迭代次数n |
平均准确率p-ave |
1-0 |
0-1 |
δ |
耗时ms/次 |
耗时ms/199次 |
| 13.9145729 |
0.51702959 |
0.5572306 |
0.47682859 |
0.5 |
1.0201005 |
203 |
| 253.839196 |
0.5 |
0.90452261 |
0.09547739 |
0.48 |
2.66834171 |
531 |
| 386.155779 |
0.5 |
0.95979899 |
0.04020101 |
0.46 |
3.6080402 |
718 |
| 460.633166 |
0.5 |
0.98492462 |
0.01507538 |
0.44 |
4 |
796 |
| 513.974874 |
0.5 |
1 |
0 |
0.42 |
4.24120603 |
859 |
| 549.01005 |
0.5 |
1 |
0 |
0.4 |
4.55276382 |
906 |
| 581.030151 |
0.83612507 |
0.90396427 |
0.76828587 |
0.38 |
4.70854271 |
937 |
| 607.894472 |
0.88888889 |
0.88888889 |
0.88888889 |
0.36 |
5.0201005 |
999 |
| 629.964824 |
0.88888889 |
0.88888889 |
0.88888889 |
0.34 |
5.10050251 |
1015 |
| 656.829146 |
0.88888889 |
0.88888889 |
0.88888889 |
0.32 |
5.33668342 |
1062 |
| 677.542714 |
0.89056393 |
0.88888889 |
0.89223897 |
0.3 |
5.57286432 |
1109 |
| 695.994975 |
0.89977666 |
0.88888889 |
0.91066443 |
0.28 |
5.5678392 |
1108 |
| 722.135678 |
0.91485204 |
0.88888889 |
0.94081519 |
0.26 |
5.80904523 |
1156 |
| 742.035176 |
0.93579006 |
0.88888889 |
0.98269123 |
0.24 |
5.8040201 |
1171 |
| 764.015075 |
0.94249023 |
0.88888889 |
0.99609157 |
0.22 |
6.04522613 |
1203 |
| 789.341709 |
0.94416527 |
0.88888889 |
0.99944165 |
0.2 |
6.35678392 |
1265 |
| 804.356784 |
0.94444444 |
0.88888889 |
1 |
0.18 |
6.35175879 |
1264 |
| 828.869347 |
0.94444444 |
0.88888889 |
1 |
0.16 |
6.59296482 |
1312 |
| 855.824121 |
0.94444444 |
0.88888889 |
1 |
0.14 |
6.82914573 |
1359 |
| 886.577889 |
0.94444444 |
0.88888889 |
1 |
0.12 |
7.06030151 |
1405 |
| 924.025126 |
0.94444444 |
0.88888889 |
1 |
0.1 |
7.3718593 |
1467 |
| 962.286432 |
0.94444444 |
0.88888889 |
1 |
0.08 |
7.61306533 |
1515 |
| 1013.84422 |
0.94444444 |
0.88888889 |
1 |
0.06 |
7.92964824 |
1578 |
| 1090.90955 |
0.94444444 |
0.88888889 |
1 |
0.04 |
8.47236181 |
1686 |
| 1230.38693 |
0.94444444 |
0.88888889 |
1 |
0.02 |
9.49246231 |
1889 |
观察这10组数据
| 0 |
0 |
0 |
0 |
1 |
0 |
0 |
0 |
0 |
0 |
| 0 |
1 |
0 |
0 |
0 |
1 |
1 |
1 |
1 |
|
| 1 |
0 |
1 |
1 |
0 |
1 |
0 |
0 |
1 |
|
| 1 |
1 |
1 |
1 |
1 |
0 |
1 |
0 |
0 |
|
| ********* |
|||||||||
| 3 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
| 0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
| 0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
| 1 |
1 |
1 |
0 |
1 |
1 |
1 |
1 |
1 |
0和3有1张图片是重合的（0，0，0，1），因此0的分类准确率是8/9，而3的分类准确率是1因此总的分类准确率是0.5*8/9+0.5*1=17/18=0.944
| 0--1 |
0--2 |
0--3 |
|
| δ |
平均准确率p-ave |
平均准确率p-ave |
平均准确率p-ave |
| 0.5 |
0.5159129 |
0.51758794 |
0.51702959 |
| 0.48 |
0.5 |
0.5 |
0.5 |
| 0.46 |
0.5 |
0.5 |
0.5 |
| 0.44 |
0.5 |
0.5 |
0.5 |
| 0.42 |
0.5 |
0.49692909 |
0.5 |
| 0.4 |
0.5 |
0.61194863 |
0.5 |
| 0.38 |
0.57035176 |
0.61111111 |
0.83612507 |
| 0.36 |
0.72110553 |
0.61111111 |
0.88888889 |
| 0.34 |
0.72222222 |
0.61111111 |
0.88888889 |
| 0.32 |
0.72222222 |
0.61111111 |
0.88888889 |
| 0.3 |
0.73562256 |
0.61111111 |
0.89056393 |
| 0.28 |
0.79480737 |
0.61111111 |
0.89977666 |
| 0.26 |
0.83277499 |
0.61111111 |
0.91485204 |
| 0.24 |
0.83333333 |
0.61390285 |
0.93579006 |
| 0.22 |
0.83333333 |
0.62339475 |
0.94249023 |
| 0.2 |
0.83333333 |
0.64349525 |
0.94416527 |
| 0.18 |
0.83333333 |
0.66275824 |
0.94444444 |
| 0.16 |
0.83333333 |
0.66638749 |
0.94444444 |
| 0.14 |
0.83333333 |
0.66666667 |
0.94444444 |
| 0.12 |
0.83333333 |
0.66666667 |
0.94444444 |
| 0.1 |
0.83333333 |
0.66666667 |
0.94444444 |
| 0.08 |
0.83333333 |
0.66666667 |
0.94444444 |
| 0.06 |
0.83333333 |
0.66666667 |
0.94444444 |
| 0.04 |
0.83333333 |
0.66610832 |
0.94444444 |
| 0.02 |
0.83333333 |
0.69235064 |
0.94444444 |
| 0.001 |
0.83333333 |
||
当收敛误差一致的情况下分类准确率3>1>2,峰值分类准确率3>1=2.因为2的训练集复杂度大于1因此2的分类准确率变化率小于1，因此可以得出重合图片越少，峰值分类准确率越大，分类准确率的变化率dp/dt越大。而训练集的复杂度越大，分类准确率的变化率越小。或者至少分类准确率的变化率与重合图片数量和训练集的复杂度都有关系。