TensorFlow - 归一化

TensorFlow - 归一化

什么是归一化

normalization
n. 正常化;标准化;正规化;常态化

Feature scaling
特征归一化;特征缩放

摘自书籍《机器学习算法原理与编程实践》

归一化方法有两种形式,一种是把数变为(0,1)之间的小数,一种是把有量纲表达式变为无量纲表达式。

量纲和无量纲的解释
量纲(dimension)是指物理量的基本属性

无量纲量的量纲为1,所以它的数值与所选用的单位制无关,用纯数表示。(没有单位的物理量)

从集合的角度来看,可以做维度的维一,即抽象化归一,把不重要的,不具可比性的集合中的元素的属性去掉,保留人们关心的那些属性,这样,本来不具有可比性的对象或是事物,就可以归一,即归为一类,然后就可以比较了,并且,人们往往喜欢用相对量来比较,比如人和牛,身高体重都没有可比性,但身高/体重的值,就可能有了可比性,人吃多少,牛吃多少,可能也没有直接的可比性,但相对于体重,或是相对于一天的各自的能量提供需要的食量,就有了可比性;这些,从数学角度来看,可以认为是把有纲量变成了无纲量了。

归一化的理由

1过大或过小的数值可能导致计算浮点的上溢或下溢
2不同的数值范围导致不同属性对模型的重要性不同,对优化造成困难,训练时间变长
3机器学习常用方法(正则)技巧/模型都假设属性取值在以0为均值的附近

dimensionless
adj.无量纲的;无因次的;深广无度的;无维的

你可能感兴趣的:(深度学习)