矩阵杂记——最大最小特征值

证明：$$\frac{x^{T}Ax}{x^{T}x}\le {\lambda }_{max}(\frac{A+A^T}{2})$$
$\forall A\in {\mathbb{R}}^{n\times n}$

原问题等价于:$$\underset{||x|{|}_2=1}{\sup }{x}^{T}Ax\le {\lambda }_{max}(\frac{A+A^T}{2})$$事实上取等号，即：
$$\begin{gathered} \underset{||x||=1}{\sup }{x}^{T}Ax \\ =\underset{||x||=1}{\sup }{x}^T(\frac{A+A^T}{2})x+x^T(\frac{A-A^T}{2})x \\ =\underset{||x||=1}{\sup }{x}^T(\frac{A+A^T}{2})x \\ ={\lambda }_{max}(\frac{A+A^T}{2}) \end{gathered}$$
证明也简单，考虑优化问题：
$$\begin{gathered} maximize{x}^{T}Sx \\ s.t.x^{T}x=1 \end{gathered}$$
其中 S 为对称阵，拘束条件表示欧式长度为1。由于 S 对称，可对角化。$$S=P^T\Lambda P$$其中 $P$ 为单位正交阵，$\Lambda =diag\{{\lambda }_1,{\lambda }_2,...{\lambda }_n\}$。令 $y=Px$，则原问题等价于：
$$\begin{gathered} maximize{y}^T\Lambda y=\sum _{i=1}^n{\lambda }_i{y}_i^2 \\ s.t.y^{T}y=\sum _i{y}_i^2=1 \end{gathered}$$显然，$$\sum _{i=1}^n{\lambda }_i{y}_i^2\le max\{{\lambda }_i\}\sum _i{y}_i^2=max\{{\lambda }_i\}$$当且仅当 $|y_i|$ 在 ${\lambda }_i$ 最大的那个分量上等于1时取等号。

---

由上述证明可知：$${\lambda }_{min}(\frac{A+A^T}{2})\le \frac{x^{T}Ax}{x^{T}x}\le {\lambda }_{max}(\frac{A+A^T}{2})$$
更准确地来说，$\forall A\in {\mathbb{R}}^{n\times n}$
$$\begin{gathered} \underset{x̸=0}{\sup }\frac{x^{T}Ax}{x^{T}x}={\lambda }_{max}(\frac{A+A^T}{2}) \\ \underset{x̸=0}{\inf }\frac{x^{T}Ax}{x^{T}x}={\lambda }_{min}(\frac{A+A^T}{2}) \end{gathered}$$
特别地，当A对称时，
$$\begin{gathered} \underset{x̸=0}{\sup }\frac{x^{T}Ax}{x^{T}x}={\lambda }_{max}(A) \\ \underset{x̸=0}{\inf }\frac{x^{T}Ax}{x^{T}x}={\lambda }_{min}(A) \end{gathered}$$