通信基础 2——高斯分布及归一化、标准化、零均值化

高斯变量基础

高斯分布

概率密度函数

性质

复高斯分布

若复高斯分布Z=X+iY, 且满足
则有

概率密度函数

注：复高斯随机变量的密度函数，分母已经没有根号

应用

零均值循环对称复高斯随机变量

特殊的，当μ=μx=μy=0时，Z称为零均值循环对称复高斯随机变量（zero mean circle symmetric complex gaussian,ZMCSCG）,σ2称为每个实数维度上的方差。

以上分析得出复高斯随机变量与每一实数维度高斯随机变量的关系

零均值化

将每个像素的值减去训练集上所有像素值的平均值，比如已计算得所有像素点的平均值为128，所以减去128后，现在的像素值域即为[-128,127]，即满足均值为零。

卡方分布

设X1,X2,X3,…,i.i.d∼N(0,1), 令, 则X是服从自由度为n的χ2分布，记为X∼χ2(n)
卡方分布为特殊的Gamma分布，服从参数为G(n/2,1/2)

注意：
复高斯随机变量概率表达式的分母
复高斯随机变量模平方的分布与卡方分布、指数分布、Gamma分布之间的关系

补充

归一化、标准化、零均值化核心思想：平移+缩放

归一化

【作用】将某个特征的值映射到[0,1]之间，消除量纲对最终结果的影响，使不同的特征具有可比性，使得原本可能分布相差较大的特征对模型有相同权重的影响，提升模型的收敛速度，深度学习中数据归一化可以防止模型梯度爆炸。

标准化

【作用】将原值减去均值后除以标准差，使得得到的特征满足均值为0，标准差为1的正态分布，使得原本可能分布相差较大的特征对模型有相同权重的影响。举个例子，在KNN中，需要计算待分类点与所有实例点的距离。假设每个实例（instance）由n个features构成。如果选用的距离度量为欧式距离，数据预先没有经过归一化，那些绝对值大的features在欧式距离计算的时候起了决定性作用。

从经验上说，标准化后，让不同维度之间的特征在数值上有一定比较性，得出的参数值的大小可以反应出不同特征对样本label的贡献度，可以大大提高分类器的准确性。

【二者比较】具体应该选择归一化还是标准化呢，如果把所有维度的变量一视同仁，

①在计算距离中发挥相同的作用，应该选择标准化，标准化更适合现代嘈杂大数据场景。

②如果想保留原始数据中由标准差所反映的潜在权重关系，或数据不符合正态分布时，选择归一化。

参考https://zhuanlan.zhihu.com/p/183591302
https://www.cnblogs.com/zwwangssd/p/12540280.html

加性高斯白噪声

高斯是指概率分布是正态函数，白噪声是指他的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。高斯白噪声是研究信道加性噪声的理想模型，通信中的主要噪声源—热噪声就属于这类噪声。