机器学习极值问题

给出二次函数$$f(x)=\frac{1}{2}{x}^{T}Px+q^{T}x+r$$的极小值点。(P是对称矩阵)

解：

1. 对f(x)求导数：

$$\begin{gathered} f(x+\Delta x)-f(x)=1/2(x+\Delta x{)}^{T}P(x+\Delta x)+q^T(x+\Delta x)+r-1/2x^{T}Px-q^{T}x-r= \\ 1/2(x^T+\Delta x^T)P(x+\Delta x)+q^T(x+\Delta x)+r-1/2x^{T}Px-q^{T}x-r= \\ 1/2(x^{T}P+\Delta x^{T}P)(x+\Delta x)+q^T(x+\Delta x)+r-1/2x^{T}Px-q^{T}x-r= \\ 1/2(x^{T}Px+x^{T}P\Delta x+\Delta x^{T}Px+\Delta x^{T}P\Delta x)+q^T(x+\Delta x)+r-1/2x^{T}Px-q^{T}x-r= \\ 1/2(x^{T}P\Delta x+\Delta x^{T}Px+\Delta x^{T}P\Delta x)+q^T\Delta x= \\ {x}^{T}P\Delta x+q^T\Delta x+1/2\Delta x^{T}P\Delta x\text{\hspace{1em}(1.1)} \end{gathered}$$
注意到，若P是对称矩阵，则上式（1.1）中是一个二次型，其中第一项和第二项是一样的，可以合并。

$$\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x}=x^{T}P+q^T+1/2\Delta x^{T}P$$

将计算出的矩阵转置一下，可得：

$$Df(x)=Px+q$$

2. 根据极值的性质，将导数置为0，可得：

$$x=-P^{-1}q$$

需要注意，在求导时，列向量的每个分量、包括矩阵每个元素的自增量$\Delta x$是相同的。

比如如下二次型：

$$\begin{gathered} \left(\begin{array}{cc}{x}_1& x_2\end{array}\right)\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}\Delta x_1\\ \Delta x_2\end{array}\right)= \\ \left(\begin{array}{cc}a{x}_1+c{x}_2& b{x}_1+d{x}_2\end{array}\right)\left(\begin{array}{c}\Delta x_1\\ \Delta x_2\end{array}\right)= \\ a{x}_1\Delta x_1+c{x}_2\Delta x_1+b{x}_1\Delta x_2+d{x}_2\Delta x_2= \\ a{x}_1\Delta x+c{x}_2\Delta x+b{x}_1\Delta x+d{x}_2\Delta x(注意：\Delta x_1=\Delta x_2) \end{gathered}$$

$$\begin{gathered} \left(\begin{array}{cc}\Delta x_1& \Delta x_2\end{array}\right)\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)= \\ \left(\begin{array}{cc}a\Delta x_1+c\Delta x_2& b\Delta x_1+d\Delta x_2\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)= \\ a\Delta x_1{x}_1+c\Delta x_2{x}_1+b\Delta x_1{x}_2+d\Delta x_2{x}_2= \\ a\Delta x{x}_1+c\Delta x{x}_1+b\Delta x{x}_2+d\Delta x{x}_2 \end{gathered}$$

还需要注意的是，矩阵求导是对每个列向量x求导，而不是对矩阵的每个元素求导。