神经网络迭代次数与Lambert定律

由Lambert定律

Iv出射光强度，I0入射光强度，dl薄层厚度。强度为Iv的入射光，透过薄层样品后，光强的减弱（-dl）与Iv及薄层的厚度dl成正比。*

由此构造一个迭代次数的表达式

其中n为迭代次数，表明初始迭代次数n，经过厚度为dl的神经网络后，迭代次数的变化（-dn）与n及网络的等效厚度dl成正比。

积分

在《以5‰的概率计算一个网络准确率达到99.9%的时间和迭代次数---实例三分类mnist 3，4，5》中得到一个估算神经网络迭代次数的经验公式

其中δ是网络的收敛标准，n0是收敛迭代次数，nv是初始迭代次数，取决与系统属性，k是常数。这个表达式很容易的化简成

比较1式和2式，可以得出只要将-lnδ理解成是薄层厚度，迭代次数就可以理解成是光线强度，则神经网络收敛过程就是对光线透过厚度为-lnδ的薄层的模拟。

比如上文中的网络，用一个3*3的卷积核分类mnist的3，4，5

 

这个网络的迭代次数的经验公式

其中nv=3879.73943，k=0.31488

化简

 

出射光强度nv和厚度-lnδ已知，计算入射光强度n0

得到数据

δ	n0实测	n0计算值	实测值/计算值	-lnδ
0.1	9887.53	8010.92693	1.234255422	2.302587
0.01	16477.395	16541.04649	0.996151907	4.605173
0.001	33735.23	34154.1274	0.987735087	6.90776
9.00E-04	33855.875	35306.22807	0.958920758	7.013121
8.00E-04	37486.515	36640.23407	1.023097039	7.130904
7.00E-04	37743.51	38213.67063	0.987696533	7.264435
6.00E-04	38853.775	40114.27757	0.968577209	7.418586
5.00E-04	42011.69	42484.60481	0.98886856	7.600908
4.00E-04	46537.22	45577.0937	1.021065983	7.824051
3.00E-04	50546.635	49898.48548	1.012989363	8.111734
2.00E-04	59306.3	56693.72817	1.046082202	8.517199
1.00E-04	72432.405	70521.80278	1.027092362	9.210347
9.00E-05	74827.21	72900.67242	1.026426884	9.315707
8.00E-05	76215	75655.14209	1.00740013	9.43349
7.00E-05	82560.155	78903.99049	1.046336877	9.567022
6.00E-05	81525.21	82828.38378	0.98426658	9.721173
5.00E-05	85679.71	87722.66048	0.976711257	9.903494
4.00E-05	94710.29	94108.06419	1.006399301	10.12664
3.00E-05	102116.6	103030.9195	0.991125775	10.41432
2.00E-05	111092.705	117061.8084	0.94900896	10.81979
1.00E-05	145284.115	145614.1628	0.997733409	11.51293
1.00E-06	290645.97	300665.6605	0.966674976	13.81552
1.00E-07	572369.51	620817.6296	0.921960786	16.11811

要使出射光强度nv在3879.73943保持不变，薄层的厚度-lnδ越大，与之对应的入射光强度n0需要越强。

 

*量子化学（徐光宪，上中下三册）p-344