二分类神经网络的特征光谱---1-2至1-9

制作一个二分类的神经网络来分类mnist的1和2到1和9，网络结构是

(mnist 0 ,mnist x)81-30-2-(1,0) || (0,1)

将28*28的图片压缩到9*9，三层网络的节点数量分别是81*30*2，让1向（1，0）收敛让x向（0，1）收敛，让x分别等于2-9.网络的迭代停止的标准是:

|输出函数-目标函数|<δ

让δ=1e-6，重复收敛999次，统计平均值和分布，然后用得到的迭代次数的分布数据画图

网络性能的综合数据

	f2[0]	f2[1]	迭代次数n	平均准确率p-ave	δ	耗时ms/次	耗时ms/999次	最大值p-max	主峰位置	主峰强度	峰数量
1-2	0.999999	7.91E-07	28623.66	0.988459836	1.00E-06	550.6747	550142	0.993536	25547	80.10%	8
1-3	0.004005	0.9959951	106917.1	0.993804439	1.00E-06	2078.573	2076495	0.998134	111024	28.10%	38
1-4	0.999999	6.39E-07	22685.28	0.99255541	1.00E-06	247.5656	247350	0.994802	18067	51.70%	4
1-5	0.826826	0.1731737	78103.31	0.993875909	1.00E-06	1479.884	1478416	0.996051	75699	13.40%	56
1-6	0.999999	8.06E-07	20213.1	0.993139889	1.00E-06	345.5656	345240	0.994264	20187	68.20%	9
1-7	0.999999	7.83E-07	24778.82	0.977754699	1.00E-06	464.7958	464363	0.987348	27857	49.50%	9
1-8	0.010011	0.9899891	154130.7	0.991875707	1.00E-06	2846.962	2844120	0.996681	154366	19.80%	53
1-9	0.997997	0.0020028	40372.43	0.9907244	1.00E-06	784.5295	783778	0.99347	35239	55.50%	15

比如第一组数据用网络分类mnist的1和2，重复收敛了999次，平均迭代次数是28623次，平均准确率是98.8%，共耗时大约9分钟，准确率最大的一次是99.3%。

得到的迭代次数统计数据

1-2	25547	31479	32789	35543	40279	41475	42785	50275
	801	1	5	7	82	34	66	3
1-3	84958	88690	91032	91680	91706	93548	94900	94954	97972	98686	100876	101028	101676	101702	102049	103544	104810	104896	104950	105120	107968	108226	108682	109751	110872	111024	111698	113540	114624	114892	114946	115116	117964	119747	120868	121020	124942	130864
	1	2	5	3	4	1	1	43	1	2	2	221	10	18	1	6	2	10	213	1	3	2	2	1	35	281	4	1	1	3	54	1	1	2	28	28	1	4
1-4	18067	23467	25243	28063
	517	23	35	424
1-5	48178	48398	57659	58394	65703	67655	68170	68304	68390	68748	69045	70499	70519	70813	72409	73431	75699	77651	78166	78274	78300	78386	78458	78744	79041	79121	79267	79587	80495	80515	80809	82405	83427	85302	85695	87647	88162	88270	88296	88382	88454	88740	89263	89583	90491	90805	92401	93423	95691	97643	98266	98292	98450	98736	103419	113415
	1	2	3	10	106	66	10	10	14	1	1	1	1	94	1	1	134	51	20	1	25	10	1	2	1	1	4	11	15	1	111	11	57	1	20	19	14	4	21	8	2	2	1	7	7	6	6	69	1	4	3	8	1	2	13	2
1-6	19407	19731	20187	20777	20803	27211	29403	29727	30183
	135	59	682	86	26	5	4	1	1
1-7	17861	24259	25511	27857	34255	34827	43731	44251	44823
	312	121	9	495	46	6	1	8	1
1-8	124378	126998	132682	132714	134374	136994	141292	141394	142286	142678	142710	144370	144686	146528	146990	148986	151288	151390	152282	152674	152706	154366	154682	156524	156986	158893	161090	161284	161386	162278	162670	162702	164362	166520	166982	167645	168889	171280	171382	172274	172666	172698	174358	176978	178885	180244	181276	181378	184354	186974	191374	194350	196970
	4	4	2	5	47	27	4	1	1	4	11	176	1	1	75	1	7	7	2	26	27	198	1	2	83	6	1	7	11	1	12	14	87	2	41	1	1	4	9	3	1	1	38	18	2	1	2	2	7	5	2	1	2
1-9	25243	35239	45235	55231	65227	75223	85219	107303	115095	117299	119793	122751	129301	136446	156438
	68	555	266	77	18	4	2	1	1	1	1	2	1	1	1

比如第一组1-2，虽然平均值是28623但是只有8个离散的迭代次数，其中25547占比达到80.1%。

将1-2画成图

只有一个主峰非常明显，这也是1-2至1-9共8个谱中信号强度最强的一个主峰。虽然主峰如此明显但是1-2并不是分类准确率最高的。按照准确率排名1-2仅好于1-7

1-5>1-3>1-6>1-4>1-8>1-9>1-2>1-7

	平均准确率p-ave	最大值p-max	主峰位置	主峰强度	峰数量
1-7	0.977755	0.987348	27857	49.50%	9
1-2	0.98846	0.993536	25547	80.10%	8
1-9	0.990724	0.99347	35239	55.50%	15
1-8	0.991876	0.996681	154366	19.80%	53
1-4	0.992555	0.994802	18067	51.70%	4
1-6	0.99314	0.994264	20187	68.20%	9
1-3	0.993804	0.998134	111024	28.10%	38
1-5	0.993876	0.996051	75699	13.40%	56

直观上2和7的外形与1比较相近，因而分辨准确率较低，因为外形相近峰数量比较少，并进而导致峰的分布比较集中。3和5的外形与1的外形差异比较大，因而有比较多的比较位点，并进而产生了更多的峰，并导致主峰相对强度不是很高，但是分辨准确率很高。

但这种方法不能解释1-4，1-6和1-8，1-9，因为1-4，1-6的峰数量更少但是准确率却更高，或许可以假设除了峰数量和峰强度外还有一个表示峰价值的参数存在，三个参数共同作用决定分类准确率。

1-3的谱

有3个明显的主峰分别是101028，104950，111024强度分别是22.1%，21.3%，28.1%，

这张图里有非常明显的一个等距的关系

101028-94954=111024-104950=121020-114946=6074

 

1-4的谱

这张谱只有4个峰值，18067占比51.7%，28063占比42.4%。

这个测试的网络的进样顺序是一样的，也就是999次的实验除了每次的权重不同以外没有其他的差别，但是只有明显的4个峰值，这个现象表明如果把权重看作一个随机数列，这个随机数列对网络

(mnist 0 ,mnist 4)81-30-2-(1,0) || (0,1)

只有4种可能。也就是可以把神经网络的迭代次数的分布理解成是对随机数列的分类。

1-5的谱

1-5的三个主峰分别是65703，75699，80809，强度分别是10.6%，13.4%，11.1%。这三个主峰分别有三个伴峰67655，77651，83427，这三个伴峰大约都在主峰1.03%的位置。

70813-65703，80809-75699这4个峰是等间距分布的，间距5110.

1-6的谱

1-6有一个非常明显的主峰20187，占比68.2%。8张图里峰值强度排名第二的峰，特征非常明显。

1-7的谱

1-7前3个主峰17861，24259，27857占比31.2%，12.1%，49.5%。

这张图里也有一个等距的关系24259-17861=34255-27857=6398

 

1-8的谱

1-8的谱中强度大于10%的只有两个峰144370，154366强度分别是17.6%，19.8%。

这张图的等距关系更为明显

主峰		伴峰
144370-134374		146990-136994
154366-144370		156986-146990
164362-154366		166982-156986
174358-164362		176978-166982
9996		9996

5个主峰和5个伴峰他们之间都是等间距分布。

1-9的谱

1-9中强度大于10%的峰值有两个35239，45235强度分布是55.5%，26.6%，

这张图的等距关系更为明显35239-25243=45235-35239=55231-45235=65227-55231=75223-65227=85219-75223=9996

 

 这8张谱的峰值的位置和强度都特征明显，足以将对应的网络分开。