无线通信基础（三）：高斯噪声中的估计

1、标量估计

  若我们有观测量
$$y=x+w,$$其中$w\sim \mathcal{N}(0,\frac{N_0}{2})$，为了从独立的AWGN中获得零均值实信号$x$的估值$\hat{x}$，我们采用MSE估计，即
$$\mathrm{M}\mathrm{S}\mathrm{E}:=\mathbb{E}[(x-\hat{x}{)}^2]，$$这里的平均既是针对随机信号$x$的，也是针对噪声$w$的。估计问题与高斯噪声中的检测问题有很大不同，因为检测是要在有限种可能中做出判断，而估计问题却是要获得估计值。
  下面我们先从无观测时的估计出发，随后再讨论有观测的情况。

（1）情况1: 只有X的PDF可知

  现在有一随机变量$X$，想要对其进行估计，假定其PDF$p_{\mathrm{X}}(x)$已知，则其MSE为
$$\mathrm{M}\mathrm{S}\mathrm{E}=\mathbb{E}[(X-\hat{x}{)}^2]=\int (x-\hat{x}{)}^2{p}_{\mathrm{X}}(x)dx.$$为了最小化MSE，我们求其关于$\hat{x}$的一阶导数，有
$$-2\int (x-\hat{x})p_{\mathrm{X}}(x)dx=0，$$因此
$$\int \hat{x}{p}_{\mathrm{X}}(x)dx=\int x{p}_{\mathrm{X}}(x)dx，$$即$\hat{x}=\mathbb{E}[X]$。进一步，我们求MSE关于$\hat{x}$的二阶导数，有
$$2\int p_{\mathrm{X}}(x)dx=2>0，$$即当$\hat{x}=\mathbb{E}[X]$时，MSE最小。这样我们可以得到最小MSE为
$$\mathrm{M}\mathrm{S}\mathrm{E}=\mathbb{E}[(X-\hat{x}{)}^2]=\mathbb{E}[(X-\mathbb{E}[X]{)}^2]=\mathrm{v}\mathrm{a}\mathrm{r}[X].$$

【小结】如果我们知道随机变量$X$的PDF，则当其估计值$\hat{x}=\mathbb{E}[X]$时候，能够得到最小MSE，这个最小MSE就是$X$的方差。

（2）情况2: 与X相关的随机变量Y的观测值可知

  若我们有观测量
$$Y=X+W,$$其中$W\sim \mathcal{N}(0,\frac{N_0}{2})$为独立的AWGN，则可以用后验概率密度函数$p_{\mathrm{X}|\mathrm{Y}}(x|y)$来代替$p_{\mathrm{x}}(x)$。现在我们的目标是最小化
$$\mathrm{M}\mathrm{S}\mathrm{E}:=\mathbb{E}[(X-\hat{x}(y){)}^2|Y=y]=\int (x-\hat{x}(y){)}^2{p}_{\mathrm{X}|\mathrm{Y}}(x|y)dx，$$这里我们引入$\hat{x}(y)$是想表示与测量值$Y$的特定取值$y$相关联的估计值$\hat{x}$（这意味着不同的$y$会有不同估计值$\hat{x}$)，不过为了表达式看起来更简洁，下文中我们用$\hat{x}$代替$\hat{x}(y)$。与无测量情况相同，我们求一阶导数：
$$-2\int (x-\hat{x})p_{\mathrm{X}|\mathrm{Y}}(x|y)dx=0,$$因此可以得到
$$\hat{x}=\int x{p}_{\mathrm{X}|\mathrm{Y}}(x|y)dx=\mathbb{E}[X|Y=y].$$与之相关的MMSE为条件方差${\sigma }_{\mathrm{Y}|\mathrm{X}}^2$。显然与无测量时的唯一区别在于，我们将测量值作为条件。

【小结】如果我们知道与随机变量$X$相关的随机变量$Y=y$（观测量），则当$X$的估计值$\hat{x}=\mathbb{E}[X|Y=y]$时候，能够得到最小MSE，这个最小MSE就是条件方差${\sigma }_{\mathrm{Y}|\mathrm{X}}^2$。

  下面我们来说明问什么MMSE估计器具有正交性质，即误差与观测量独立：
$$\mathbb{E}[(X-\hat{x})Y]=0.$$

证明：
  由于$\hat{x}$为$X$的估计值，因此有
$${\mathbb{E}}_{\mathrm{X}\mathrm{Y}}[\hat{x}Y]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\hat{x}y{p}_{\mathrm{X},\mathrm{Y}}(x,y)dxdy$$$$={\int }_{-\infty }^{\infty }y{p}_{\mathrm{y}}(y)[{\int }_{-\infty }^{\infty }\hat{x}{p}_{\mathrm{X}|\mathrm{Y}}(x|y)dx]dy,$$对于MMSE估计，由于$\hat{x}=\mathbb{E}[X|Y=y]$，因此有
$${\mathbb{E}}_{\mathrm{X}\mathrm{Y}}[\hat{x}Y]={\int }_{-\infty }^{\infty }y{p}_{\mathrm{y}}(y)[{\int }_{-\infty }^{\infty }x{p}_{\mathrm{X}|\mathrm{Y}}(x|y)dx]dy$$$$={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }xy{p}_{\mathrm{X},\mathrm{Y}}(x,y)dxdy={\mathbb{E}}_{\mathrm{X}\mathrm{Y}}[XY].$$故可以得到
$${\mathbb{E}}_{\mathrm{X}\mathrm{Y}}[(X-\hat{x})Y]=0.$$获证。

  显然，决定MMSE正交特性的关键原因是，此时的估计值$\hat{x}$就是$X$在$Y=y$时候的条件均值，即$\hat{x}=\mathbb{E}[X|Y=y]$。一般来说，条件均值算子$\mathbb{E}[X|y]$是关于$y$的复杂非线性函数。为了简化分析，我们假定该算子是线性的，由于$x$的均值为零，则有$\hat{x}=cY。事实上，$当$x$是高斯随机变量时，这个假定不失一般性，因为在这种情况下，条件平均算子确实是线性的。
  下面我们来看如何获得$c$？由MMSE的正交性可以得到
$$\mathbb{E}[(X-cY)Y]=0,$$因此，有
$$\mathbb{E}[X^2]=c\mathbb{E}[X^2]+c\mathbb{E}[W^2],$$故
$$c=\frac{\mathbb{E}[X^2]}{\mathbb{E}[X^2]+N_0/2}.$$对该结果直觉上的理解是，我们用发送信号能量($\mathbb{E}[X^2]$)在总接收能量($\mathbb{E}[X^2]+N_0/2$)中所占的比例大小，对接收信号$y$进行加权。此时相应的MMSE为
$$\mathbb{E}[(X-\hat{x}{)}^2]=\mathbb{E}[(X-cY{)}^2]=c\cdot \frac{N_0}{2},$$即
$$\mathrm{M}\mathrm{M}\mathrm{S}\mathrm{E}:\frac{\mathbb{E}[X^2]\cdot \frac{N_0}{2}}{\mathbb{E}[X^2]+N_0/2}.$$

2、实向量空间中的估计

  现在考虑在向量空间中估计$X$，即
$$\mathbf{y}=\mathbf{h}x+\mathbf{w},$$这里的$x$与$\mathbf{w}\sim \mathcal{N}(0,\frac{N_0}{2}\mathbf{I})$相互独立，$\mathbf{h}\in {\mathbb{R}}^n$。已知$\mathbf{y}$到$\mathbf{h}$方向上的映射
$$\tilde{y}=\frac{{\mathbf{h}}^{\mathrm{T}}\mathbf{y}}{||\mathbf{h}|{|}^2}=x+w$$是充分统计量，这是因为$\mathbf{y}$到与$\mathbf{h}$正交方向上的映射与信号$x$以及$w$($\mathbf{h}$方向上的噪声)都正交。这样我们就可以将问题变为标量估计：从$\tilde{y}$中估计$x$，其中$w\sim \mathcal{N}(0,\frac{N_0}{2||\mathbf{h}|{|}^2})$。因此，应用MMSE估计，可以得到$x$的最优线性估计为
$$\hat{x}=\frac{\mathbb{E}[X^2]||\mathbf{h}|{|}^2}{\mathbb{E}[X^2]||\mathbf{h}|{|}^2+N_0/2}\tilde{y},$$根据$\hat{x}={\mathbf{c}}^{\mathrm{T}}\mathbf{y}$，可得
$$\mathbf{c}=\frac{\mathbb{E}[X^2]}{\mathbb{E}[X^2]||\mathbf{h}|{|}^2+N_0/2}\mathbf{h},$$以及
$$\mathrm{M}\mathrm{M}\mathrm{S}\mathrm{E}=\frac{\mathbb{E}[X^2]\cdot \frac{N_0}{2}}{\mathbb{E}[X^2]||\mathbf{h}|{|}^2+N_0/2}.$$
另外一种衡量线性估计器性能的指标是信噪比
$$\mathrm{S}\mathrm{N}\mathrm{R}:=\frac{({\mathbf{c}}^{\mathrm{T}}\mathbf{h}{)}^2\mathbb{E}[x^2]}{||\mathbf{c}|{|}^2\cdot \frac{N_0}{2}},$$定义为估计中信号能量与噪声能量的比值，这是由$\hat{x}={\mathbf{c}}^{\mathrm{T}}\mathbf{y}$得到的。

3、复向量空间中的估计

  将我们的讨论扩展到复数域是很自然的。我们首先考虑复数标量估计
$$y=x+w,$$这里$w\sim \mathcal{C}N(0,N_0)$与零均值发送信号$x$独立。假定线性估计$\hat{x}=c^{\ast }y$，有
$$\mathrm{M}\mathrm{S}\mathrm{E}=\mathbb{E}[|x-\hat{x}{|}^2]$$$$c=\frac{\mathbb{E}[|x{|}^2]}{\mathbb{E}[|x{|}^2]+N_0},$$$$\mathrm{M}\mathrm{M}\mathrm{S}\mathrm{E}=\frac{\mathbb{E}[X^2]N_0}{\mathbb{E}[X^2]+N_0}.$$
  MMSE的正交性为$$\mathbb{E}[(\hat{x}-x)y^{\ast }]=0.$$
  下面考虑如何在复向量空间里估计标量$x$
$$\mathbf{y}=\mathbf{h}x+\mathbf{w},$$其中$w\sim \mathcal{C}N(0,N_0\mathbf{I})$与$x$独立，且$\mathbf{h}\in {\mathcal{C}}^n.$与实向量空间类似，我们可以得到
$$\tilde{y}=\frac{{\mathbf{h}}^{\mathrm{H}}\mathbf{y}}{||\mathbf{h}|{|}^2}=x+w,$$其中，$w\sim \mathcal{C}N(0,\frac{N_0}{||\mathbf{h}|{|}^2})$。因此，最优估计器为
$$\mathbf{c}=\frac{\mathbb{E}[X^2]}{\mathbb{E}[X^2]||\mathbf{h}|{|}^2+N_0}\mathbf{h},$$以及
$$\mathrm{M}\mathrm{M}\mathrm{S}\mathrm{E}=\frac{\mathbb{E}[X^2]\cdot N_0}{\mathbb{E}[X^2]||\mathbf{h}|{|}^2+N_0}.$$