UA MATH567 高维统计III 随机矩阵10 亚高斯矩阵的应用：协方差估计与聚类问题的样本量需求计算

如果$X$是零均值的随机变量，则$\Sigma =EX{X}^T$，假设$\{X_i{\}}_{i=1}^m$是$X$的一组样本，一种常用的协方差的估计是
$$\hat{\Sigma }=\frac{1}{m}\sum _{i=1}^m{X}_i{X}_i^T$$

假设$X$的四阶矩有限，则根据弱大数定律，
$$\hat{\Sigma }{\to }_{L^2}\Sigma ,m\to \infty$$

这个是估计量的一个渐近性质，它保证估计量是一个一致估计。但一致性是一个理论性质，因为在实际统计问题中我们不可能有无限个样本，于是一个在实践中更有价值的问题时，我们至少需要多少个样本（也就是$m$要多大）才能使$\hat{\Sigma }$与$\Sigma$尽可能接近？

---

我们用算子范数$\Vert \hat{\Sigma }-\Sigma \Vert$表示$\hat{\Sigma }$与$\Sigma$接近的程度，则下面的结论成立：

协方差估计偏差的上界
假设$X$是零均值的亚高斯随机向量，$\forall x\in {\mathbb{R}}^n$, $\exists K\ge 1$，
$${\Vert ⟨X,x⟩\Vert }_{{\psi }_2}\le K{\Vert ⟨X,x⟩\Vert }_2$$

则$\exists C>0$
$$E\Vert \hat{\Sigma }-\Sigma \Vert \le C{K}^2(\sqrt{\frac{n}{m}}+\frac{n}{m})\Vert \Sigma \Vert$$

证明
定义$Z={\Sigma }^{-1/2}X$，则$EZ{Z}^T=I_n$，根据定义
$$\begin{gathered} {\Vert Z\Vert }_{{\psi }_2}=\underset{x\in S^{n-1}}{\sup }{\Vert ⟨Z,x⟩\Vert }_{{\psi }_2}=\underset{x\in S^{n-1}}{\sup }{\Vert ⟨{\Sigma }^{-1/2}X,x⟩\Vert }_{{\psi }_2} \\ =\underset{x\in S^{n-1}}{\sup }{\Vert ⟨X,{\Sigma }^{-1/2}x⟩\Vert }_{{\psi }_2}\le K{\Vert ⟨X,{\Sigma }^{-1/2}x⟩\Vert }_2 \\ =K{\Vert ⟨Z,x⟩\Vert }_2=K \end{gathered}$$

计算
$$\begin{gathered} \Vert \hat{\Sigma }-\Sigma \Vert =\Vert {\Sigma }^{1/2}({\Sigma }^{-1/2}\hat{\Sigma }{\Sigma }^{-1/2}){\Sigma }^{1/2}-{\Sigma }^{1/2}{\Sigma }^{1/2}\Vert \\ =\Vert {\Sigma }^{1/2}({\Sigma }^{-1/2}\hat{\Sigma }{\Sigma }^{-1/2}-I_n){\Sigma }^{1/2}\Vert \triangleq \Vert {\Sigma }^{1/2}R{\Sigma }^{1/2}\Vert \\ \le \Vert {\Sigma }^{1/2}\Vert \Vert R\Vert \Vert {\Sigma }^{1/2}\Vert =\Vert R\Vert \Vert \Sigma \Vert \end{gathered}$$

接下来要做的就是找$\Vert R\Vert$的上界，
$$\begin{gathered} R={\Sigma }^{-1/2}\hat{\Sigma }{\Sigma }^{-1/2}-I_n={\Sigma }^{-1/2}(\frac{1}{m}\sum _{i=1}^m{X}_i{X}_i^T){\Sigma }^{-1/2}-I_n \\ =\frac{1}{m}\sum _{i=1}^m{Z}_i{Z}_i^T-I_n=\frac{1}{m}{A}^{T}A-I_n \end{gathered}$$

其中$A$的行向量是$Z_i^T$，使用未证明的结论(Vershynin Exercise 4.6.2)，$\exists C>0$
$$E\Vert \frac{1}{m}{A}^{T}A-I_n\Vert \le C{K}^2(\sqrt{\frac{n}{m}}+\frac{n}{m})$$

综上，定理得证。