BP神经网络归一化问题

转自http://easy715.blog.sohu.com/94384408.html

 

神经网络的输入数据为什么要进行归一化？不归一化不行吗？

A1: 神经网络是统计归纳然后再演绎仿真的人工智能理论，归一化的目的是把事件的统计分布概率统一归纳在0-1灰色聚类的隶属性上。然后以几率等价于曲率的非线性标准方程形式，进行识别和预测的。 

A2: 不用归一也可以，神经网络如BP用的传递函数为S函数，常常对0~1之间的数字比较敏感，举个通俗的例子，10000 0.00001 要得到 0.5；0.0001 100000 得到0.4 显然这类似数学上的病态矩阵，不易训练，归一后就好多了。

实验需要用到BP人工神经网络，请问大家我有8个输入，所有的输入是不是都必须归一化？但是我的训练样本用i-min/max-min   归一化后，使用这个网络用另一批数据进行测试的时候，我的测试样本的最大值和最小值可能有变化，这该怎么办？

A1不需要，但是，如果不归一化，则神经元输入值可能不合适（过大或过小），而一般来说，神经元的输出函数在0~1（-1~1）之间最为灵敏，为了提高训练的效率，所以建议最好归一化。

A2 所有的数据都按照同样的比例归一化应该可以吧，也就是估计理论上的最大、最小值，再来归一化，再说了，如果测试数据的范围超过训练数据，则要求神经网络有很强的外推能力，这点不容易做到，一般而言，神经网络擅长内插。

关于神经网络（matlab）归一化的整理 
关于神经网络归一化方法的整理 
由于采集的各数据单位不一致，因而须对数据进行[-1，1]归一化处理，归一化方法主要有如下几种，供大家参考：（by james） 
1、线性函数转换，表达式如下： 
y=(x-MinValue)/(MaxValue-MinValue)
说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。 
2、对数函数转换，表达式如下： 
y=log10(x)
说明：以10为底的对数函数转换。 
3、反余切函数转换，表达式如下： 
y=atan(x)*2/PI
归一化是为了加快训练网络的收敛性，可以不进行归一化处理。
归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练（概率计算）和预测的，归一化是同一在0-1之间的统计概率分布； 
当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加或减小，从而导致学习速度很慢。为了避免出现这种情况，加快网络学习速度，可以对输入信号进行归一化，使得所有样本的输入信号其均值接近于0或与其均方差相比很小。 
归一化是因为sigmoid函数的取值是0到1之间的，网络最后一个节点的输出也是如此，所以经常要对样本的输出归一化处理。所以这样做分类的问题时用[0.9 0.1 0.1]就要比用[1 0 0]要好。 
但是归一化处理并不总是合适的，根据输出值的分布情况，标准化等其它统计变换方法有时可能更好。 
关于用premnmx语句进行归一化： 
premnmx语句的语法格式是：[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)
其中P，T分别为原始输入和输出数据，minp和maxp分别为P中的最小值和最大值。mint和maxt分别为T的最小值和最大值。 
premnmx函数用于将网络的输入数据或输出数据进行归一化，归一化后的数据将分布在[-1,1]区间内。 
我们在训练网络时如果所用的是经过归一化的样本数据，那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理，这就要用到tramnmx。 
下面介绍tramnmx函数： 
[Pn]=tramnmx(P,minp,maxp)
其中P和Pn分别为变换前、后的输入数据，maxp和minp分别为premnmx函数找到的最大值和最小值。 
（by terry2008） 
matlab中的归一化处理有三种方法 
1. premnmx、postmnmx、tramnmx
2. restd、poststd、trastd
3. 自己编程 
具体用那种方法就和你的具体问题有关了 
（by happy） 
pm=max(abs(p(i,:))); p(i,:)=p(i,:)/pm;
和 
for i=1:27
p(i,:)=(p(i,:)-min(p(i,:)))/(max(p(i,:))-min(p(i,:)));
end 可以归一到0 1 之间 
0.1+(x-min)/(max-min)*(0.9-0.1)其中max和min分别表示样本最大值和最小值。 
这个可以归一到0.1-0.9