(A,B)---3*30*2---(1,0)(0,1)
做一个网络分类A和B,让A和B的训练集都只有一张图片3个点,测试集为
0 |
0 |
0 |
0 |
1 |
0 |
0 |
1 |
2 |
0 |
1 |
0 |
3 |
0 |
1 |
1 |
4 |
1 |
0 |
0 |
5 |
1 |
0 |
1 |
6 |
1 |
1 |
0 |
7 |
1 |
1 |
1 |
二进制的0-7.记录网络随着A和B的改变分类准确率的变化。
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|||||
1 |
0 |
0 |
1 |
1 |
0 |
0 |
1 |
|||||
2 |
0 |
1 |
0 |
2 |
0 |
1 |
0 |
|||||
3 |
0 |
1 |
1 |
3 |
0 |
1 |
1 |
|||||
4 |
1 |
0 |
0 |
4 |
1 |
0 |
0 |
|||||
5 |
1 |
0 |
1 |
5 |
1 |
0 |
1 |
|||||
0 |
0 |
0 |
6 |
1 |
1 |
0 |
6 |
1 |
1 |
0 |
||
1 |
0 |
0 |
0--4 |
7 |
1 |
1 |
1 |
7 |
1 |
1 |
1 |
|
27288 |
第一组让A是(0,0,0),B是(1,0,0)。当网络稳定后0,1,2,3被认为属于A,而4,5,6,7被网络分类为B.差值结构是1b,0,0
因为A和B的第二三位都是0,只有第一位有差别。因此如果第一位是0被认为属于A,如果第一位是1被认为属于B。至少对这个网络来说,用这个规则可以得到同样的分类效果。因此如果仅考虑分类结果,这个规则和这个网络是等价的。
第二组
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|||||
1 |
0 |
0 |
1 |
1 |
0 |
0 |
1 |
|||||
2 |
0 |
1 |
0 |
2 |
0 |
1 |
0 |
|||||
3 |
0 |
1 |
1 |
3 |
0 |
1 |
1 |
|||||
4 |
1 |
0 |
0 |
4 |
1 |
0 |
0 |
|||||
5 |
1 |
0 |
1 |
5 |
1 |
0 |
1 |
|||||
0 |
0 |
1 |
6 |
1 |
1 |
0 |
6 |
1 |
1 |
0 |
||
1 |
0 |
1 |
1—5 |
7 |
1 |
1 |
1 |
7 |
1 |
1 |
1 |
|
20009 |
A是(0,0,1),B是(1,0,1).同样0,1,2,3被认为是A,而4,5,6,7被分类为B。差值结构是1b,0,k
因为A和B的第二三位都相同,只有第一位有区别。但和第一组的差别是第二三位是0和1,而第一组的第二三位是0,0.第二组的迭代次数小于第一组。27288>20009.
对比第一组如果1b表达的是一条分类规则,则k表达的就是第二条分类规则,
对分类结果没影响但对比差值结构0,会加速网络收敛。因此第二组有两条分类规则,
所以有理由假设迭代的次数与分类规则r成反比,r越大表明越容易分类因此相同收敛误差下迭代次数越小。而r越小则越不容易分类,则迭代次数越大。当r=0的时候迭代次数无穷大。
A |
B |
|||
1 |
0 |
0 |
1 |
|
0 |
1 |
1 |
0 |
认为n和r成反比有更大的合理性,因为如果A是(1,0)(0,1)B是(0,1)(1,0)这个网络的移位距离是4,但因为对称性其实无法收敛。这用移位距离无法解释,而可以用分类规则去解释,因为A和B的两个位都是由1,0组成,因此没有规则把他们分开,r=0,n为无穷大。
所以移位距离或许仅仅是在某些情况下与r成正比,而真正起作用的是结构本身内在的分类规则。这个假设也表明了其实可以用分类规则去等价的描述对称性。
第三组
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|||||
1 |
0 |
0 |
1 |
1 |
0 |
0 |
1 |
|||||
2 |
0 |
1 |
0 |
2 |
0 |
1 |
0 |
|||||
3 |
0 |
1 |
1 |
3 |
0 |
1 |
1 |
|||||
4 |
1 |
0 |
0 |
4 |
1 |
0 |
0 |
|||||
5 |
1 |
0 |
1 |
5 |
1 |
0 |
1 |
|||||
0 |
1 |
0 |
6 |
1 |
1 |
0 |
6 |
1 |
1 |
0 |
||
1 |
1 |
0 |
2--6 |
7 |
1 |
1 |
1 |
7 |
1 |
1 |
1 |
|
20009 |
第三组的差值结构是1b,k,0。因为差值结构和顺序无关,因此1b,k,0和1b,0,k的迭代次数相同。分类结果也相同。
第四组
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|||||
1 |
0 |
0 |
1 |
1 |
0 |
0 |
1 |
|||||
2 |
0 |
1 |
0 |
2 |
0 |
1 |
0 |
|||||
3 |
0 |
1 |
1 |
3 |
0 |
1 |
1 |
|||||
4 |
1 |
0 |
0 |
4 |
1 |
0 |
0 |
|||||
5 |
1 |
0 |
1 |
5 |
1 |
0 |
1 |
|||||
0 |
1 |
1 |
6 |
1 |
1 |
0 |
6 |
1 |
1 |
0 |
||
1 |
1 |
1 |
3--7 |
7 |
1 |
1 |
1 |
7 |
1 |
1 |
1 |
|
19003 |
第四组分类(0,1,1)和(1,1,1).同样把0,1,2,3分类为A把4,5,6,7分类成了B.第四组的差值结构是1b,k,k.相比第二三组多了一个规则k。有3条规则构成,因此迭代次数小于第二三组。