二值化神经网络权重的分布规则

在前面实验中得到了二值化神经网络权重分布的规则：

按列分布,

正负对称,

A0列或B0列高度比较突出,且A0列或B0列彼此之间正负关系相反

重合1列的高度较小,且正负关系与A0列或B0列相反

重合0列没有变化

A0列，B0列，重合1列，重合0列彼此之间几乎一致。

这次检验这个规则

(A，B)---9*9*2---(1,0)(0,1)

用神经网络分类A和B，A有6个1，B有5个1.将收敛权重导出，观察训练集和权重的关系。

第一次

0	1	1		1	0	0
1	0	1		1	0	0
0	1	1		1	1	1
		651
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
0.9999	9.97E-05	99203	1	1	1	1.00E-04	463

收敛w1

0.774997	-0.65415	-0.78115	0.150843	-0.02	-0.78115	0.724997	0.108843	0.059843
1.356908	-1.15298	-1.12498	0.065926	0.031	-1.11298	1.308908	0.144926	0.129926
-0.94088	0.810673	0.931673	-0.06521	-0.072	0.865673	-0.85388	-0.14421	-0.17021
1.324386	-1.1468	-1.2338	0.160588	0.075	-1.1368	1.380386	0.170588	0.053588
-1.19042	1.031865	1.037865	-0.22556	-0.008	1.071865	-1.07742	-0.12056	-0.06656
1.484961	-1.29585	-1.30385	0.175112	-0.07	-1.19685	1.375961	0.161112	0.110112
-1.47581	1.360955	1.360955	-0.11686	-0.06	1.318955	-1.53981	-0.20786	-0.16586
-1.1494	1.052707	0.895707	-0.04069	0.017	0.939707	-1.0364	-0.17369	-0.11369
-0.67912	0.587344	0.555344	-0.07177	0.087	0.587344	-0.58012	-0.04777	-0.10177

画成图

训练集中

A0列为x=0，6

B0列为x=1，2，5，

AB重合的1列x=3，7，8

AB重合的0列x=4

图中明显可以观察到，第1，2，5列分布一致，第0，6列分布形态一致，且与第1，2，5列正负相反。第3，7，8列彼此分布一致，且与第1，2，5列分布正负相反。

将这个网络的初始化权重w1导出

-0.02	0.049	-0.078	0.059	-0.02	-0.078	-0.07	0.017	-0.032
0.067	0.001	0.029	-0.07	0.031	0.041	0.019	0.009	-0.006
-0.014	-0.034	0.087	0.017	-0.072	0.021	0.073	-0.062	-0.088
0.029	0.021	-0.066	0.033	0.075	0.031	0.085	0.043	-0.074
-0.07	0.053	0.059	-0.084	-0.008	0.093	0.043	0.021	0.075
0.095	-0.038	-0.046	0.043	-0.07	0.061	-0.014	0.029	-0.022
-0.032	0.061	0.061	0.027	-0.06	0.019	-0.096	-0.064	-0.022
-0.088	0.069	-0.088	0.037	0.017	-0.044	0.025	-0.096	-0.036
-0.038	-0.028	-0.06	-0.046	0.087	-0.028	0.061	-0.022	-0.076

收敛w1	初始w1
-0.02	-0.02
0.031	0.031
-0.072	-0.072
0.075	0.075
-0.008	-0.008
-0.07	-0.07
-0.06	-0.06
0.017	0.017
0.087	0.087

比较初始权重w1和收敛权重w1的第4列，他们是一致的。因此AB重合的0列权重无变化，这和规则一致。

做第二组

	0	1	1		1	0	0
	1	0	1		1	0	0
	0	1	1		1	1	1
			651
	f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
6512	1.00E-04	0.9999	93878	1	1	1	1.00E-04	517

初始化的w1

0.047	-0.036	-0.092	-0.016	-0.012	0.039	-0.066	-0.066	0.031
-0.05	-0.056	-0.072	0.051	-0.03	-0.016	0.023	-0.098	-0.066
0.061	-0.002	-0.074	0.025	-0.098	-0.064	0.041	-0.094	-0.026
-0.044	0.077	-0.07	0.001	0.039	-0.056	-0.012	0.031	-0.018
0.059	-0.014	-0.098	-0.078	0.077	-0.024	0.057	0.031	0.017
-0.074	-0.058	-0.018	-0.072	0.031	-0.076	0.093	0.069	0.075
-0.062	-0.052	-0.076	0.087	0.003	0.023	-0.052	0.047	-0.058
0.091	-0.052	-0.068	-0.052	-0.072	-0.016	-0.06	0.017	-0.026
0.029	0.053	0.019	0.073	0.071	0.005	-0.02	0.059	0.013

收敛的w1

-0.94617	0.937458	0.881458	-0.03572	-0.012	1.012458	-1.05917	-0.08572	0.011285
1.358468	-1.31938	-1.33538	0.196092	-0.03	-1.27938	1.431468	0.047092	0.079092
0.993965	-0.87332	-0.94532	0.086642	-0.098	-0.93532	0.973965	-0.03236	0.035642
-1.489	1.425586	1.278586	-0.09542	0.039	1.292586	-1.457	-0.06542	-0.11442
1.092514	-0.98676	-1.07076	-0.01725	0.077	-0.99676	1.090514	0.091749	0.077749
1.08318	-1.14758	-1.10758	-0.0044	0.031	-1.16558	1.25018	0.136599	0.142599
-0.06481	-0.03012	-0.05412	0.106071	0.003	0.044877	-0.05481	0.066071	-0.03893
1.04124	-0.93883	-0.95483	0.011414	-0.072	-0.90283	0.89024	0.080414	0.037414
-1.38556	1.325081	1.291081	-0.06948	0.071	1.277081	-1.43456	-0.08348	-0.12948

将收敛w1画成图

X=1，2，5列分布一致对应B0列，x=0，6列分布一致对应A0列，且与B0列正负关系相反。

初始w1	收敛w1
-0.012	-0.012
-0.03	-0.03
-0.098	-0.098
0.039	0.039
0.077	0.077
0.031	0.031
0.003	0.003
-0.072	-0.072
0.071	0.071

两个权重第4列一致，没有变化，符合AB重合0列的规则。而x=3，7，8分布一致，且与B0列的正负关系相反，对应AB重合1列。

按照移位距离和假设，A0,B0列对应的是移位粒子，是主动列，因此波幅较大。而AB重合1列，是移位粒子的目的列，也被动的参与了移位，因此有运动但波幅并不明显。而AB重合0列既不对应移位粒子也不是目的列，因此并没有参与移位运动，波幅为0没有变化。

所以实验表明可以基于几条很清晰的规则由训练集构造出权重的收敛形态。