UA MATH567 高维统计III 随机矩阵9 具有亚高斯行向量的亚高斯矩阵
UA MATH567 高维统计III 随机矩阵9 具有亚高斯行向量的亚高斯矩阵
第六讲我们讨论了亚高斯矩阵，但在第六讲中讨论的亚高斯矩阵具有非常强的假设，即每一个元素与其他所有元素都是独立的、每一个元素都是零均值亚高斯的；这一讲我们放松一点假设，考虑 m × n m \times n m×n的矩阵 A A A， m > n m>n m>n，假设它的行向量 A i A_i Ai互相独立，且是零均值、各向同性的亚高斯向量，它有如下性质：
定理 ∀ t ≥ 0 , ∃ C > 0 \forall t \ge 0,\exists C>0 ∀t≥0,∃C>0，
m − C K 2 ( n + t ) ≤ s n ( A ) ≤ s 1 ( A ) ≤ m + C K 2 ( n + t ) \sqrt{m}-CK^2(\sqrt{n}+t) \le s_n(A) \le s_1(A) \le \sqrt{m}+CK^2(\sqrt{n}+t) m−CK2(n+t)≤sn(A)≤s1(A)≤m+CK2(n+t)
成立的概率至少是 1 − 2 e − 2 t 2 1-2e^{-2t^2} 1−2e−2t2，其中 K = max i ∥ A i ∥ ψ 2 K=\max_i \left\| A_i \right\|_{\psi_2} K=maxi∥Ai∥ψ2。
证明思路
考虑 ∀ x ∈ S n − 1 \forall x \in S^{n-1} ∀x∈Sn−1， A x = ( A i x ) m × 1 = ( X i ) m × 1 Ax = (A_ix)_{m \times 1} = (X_i)_{m \times 1} Ax=(Aix)m×1=(Xi)m×1
则
∥ A x ∥ 2 2 = ∑ i = 1 m X i 2 = ∥ X ∥ 2 2 \left\| Ax\right\|_2^2 = \sum_{i=1}^m X_i^2= \left\| X \right\|_{2}^2 ∥Ax∥22=i=1∑mXi2=∥X∥22
其中 X i X_i Xi是独立、零均值、方差为1的亚高斯变量，并且
∥ X i ∥ ψ 2 ≤ ∥ A i ∥ ψ 2 ≤ K \left\| X_i \right\|_{\psi_2} \le \left\| A_i \right\|_{\psi_2} \le K ∥Xi∥ψ2≤∥Ai∥ψ2≤K
根据L2-Norm的Concentration， ∃ C > 0 \exist C>0 ∃C>0
∥ ∥ A x ∥ 2 − m ∥ ψ 2 = ∥ ∥ X ∥ 2 − m ∥ ψ 2 ≤ C K 2 \left\| \left\| Ax \right\|_{2} - \sqrt{m} \right\|_{\psi_2} =\left\| \left\| X \right\|_{2} - \sqrt{m} \right\|_{\psi_2} \le CK^2 ∥∥∥Ax∥2−m∥∥ψ2=∥∥∥X∥2−m∥∥ψ2≤CK2
下面使用一个结论（未证明的结论，Vershynin Exercise 4.4.4）, ∃ C ′ > 0 \exists C'>0 ∃C′>0
sup x ∈ S n − 1 ∣ ∥ A x ∥ 2 − m ∣ ≤ C ′ 1 − 2 ϵ sup x ∈ N ∣ ∥ A x ∥ 2 − m ∣ \sup_{x \in S^{n-1}}|\left\| Ax \right\|_{2} - \sqrt{m}| \le \frac{C'}{1-2\epsilon}\sup_{x \in \mathcal{N}}|\left\| Ax \right\|_{2} - \sqrt{m}| x∈Sn−1sup∣∥Ax∥2−m∣≤1−2ϵC′x∈Nsup∣∥Ax∥2−m∣
取 ϵ = 1 / 4 \epsilon=1/4 ϵ=1/4，我们可以构造 ϵ \epsilon ϵ-net N \mathcal{N} N使得 ∣ N ∣ < 9 n |\mathcal{N}|<9^n ∣N∣<9n，于是
sup x ∈ S n − 1 ∣ ∥ A x ∥ 2 − m ∣ ≤ 2 C ′ sup x ∈ N ∣ ∥ A x ∥ 2 − m ∣ \sup_{x \in S^{n-1}}|\left\| Ax \right\|_{2} - \sqrt{m}| \le 2C'\sup_{x \in \mathcal{N}}|\left\| Ax \right\|_{2} - \sqrt{m}| x∈Sn−1sup∣∥Ax∥2−m∣≤2C′x∈Nsup∣∥Ax∥2−m∣
接下来用亚高斯性， ∃ c > 0 \exists c>0 ∃c>0
P ( sup x ∈ S n − 1 ∣ ∥ A x ∥ 2 − m ∣ ≥ ϵ ) ≤ P ( 2 C ′ sup x ∈ N ∣ ∥ A x ∥ 2 − m ∣ ≥ ϵ ) ≤ ∑ x ∈ N P ( 2 C ′ ∣ ∥ A x ∥ 2 − m ∣ ≥ ϵ ) ≤ 9 n 2 e − c ϵ 2 / 4 C ′ 2 C 2 K 4 = 2 e n log 9 − c ϵ 2 / 4 C ′ 2 C 2 K 4 P(\sup_{x \in S^{n-1}}|\left\| Ax \right\|_{2} - \sqrt{m}| \ge \epsilon) \le P(2C'\sup_{x \in \mathcal{N}}|\left\| Ax \right\|_{2} - \sqrt{m}| \ge \epsilon) \\ \le \sum_{x \in \mathcal{N}}P(2C'|\left\| Ax \right\|_{2} - \sqrt{m}| \ge \epsilon) \le 9^n2e^{-c\epsilon^2/4C'^2C^2K^4} \\ = 2e^{n\log 9-c \epsilon^2/4C'^2C^2K^4} P(x∈Sn−1sup∣∥Ax∥2−m∣≥ϵ)≤P(2C′x∈Nsup∣∥Ax∥2−m∣≥ϵ)≤x∈N∑P(2C′∣∥Ax∥2−m∣≥ϵ)≤9n2e−cϵ2/4C′2C2K4=2enlog9−cϵ2/4C′2C2K4
我们希望指数分布尽可能小，于是不妨取
ϵ = C 1 K 2 ( n + t ) , ϵ 2 K 4 ≥ C 1 2 ( n + t 2 ) \epsilon = C_1K^2(\sqrt{n}+t),\frac{\epsilon^2}{K^4} \ge C_1^2(n+t^2) ϵ=C1K2(n+t),K4ϵ2≥C12(n+t2)
于是
2 e n log 9 − c ϵ 2 / 4 C ′ 2 C 2 K 4 ≤ 2 e n log 9 − ( n + t 2 ) c C 1 2 / 4 C ′ 2 C 2 2e^{n\log 9-c \epsilon^2/4C'^2C^2K^4} \le 2e^{n\log 9-(n+t^2)cC_1^2/4C'^2C^2} 2enlog9−cϵ2/4C′2C2K4≤2enlog9−(n+t2)cC12/4C′2C2
限制上面出现的常数满足：
log 9 − c C 1 2 / 4 C ′ 2 C 2 ≤ 0 , c C 1 2 / 4 C ′ 2 C 2 ≥ 1 \log 9-cC_1^2/4C'^2C^2 \le 0,cC_1^2/4C'^2C^2 \ge 1 log9−cC12/4C′2C2≤0,cC12/4C′2C2≥1
则
P ( sup x ∈ S n − 1 ∣ ∥ A x ∥ 2 − m ∣ ≥ C 1 K 2 ( n + t ) ) ≤ 2 e − t 2 P(\sup_{x \in S^{n-1}}|\left\| Ax \right\|_{2} - \sqrt{m}| \ge C_1K^2(\sqrt{n}+t)) \le 2e^{-t^2} P(x∈Sn−1sup∣∥Ax∥2−m∣≥C1K2(n+t))≤2e−t2
根据 sup x ∈ S n − 1 ∣ ∥ A x ∥ 2 − m ∣ ≤ C 1 K 2 ( n + t ) \sup_{x \in S^{n-1}}|\left\| Ax \right\|_{2} - \sqrt{m}| \le C_1K^2(\sqrt{n}+t) supx∈Sn−1∣∥Ax∥2−m∣≤C1K2(n+t)可以得到我们要证的不等式。