线性回归2-正交回归(使用点到直线的距离公式)

另一种推导方法-点到直线的距离公式

从几何意义上理解正交回归，就是找一条直线，使得点到直线的距离平方之和最小。所以如果用点到直线的距离公式当做目标函数，最后拟合的结果应该与正交回归得出的结果相同。下面继续推导，做一下验证。

目标函数

同样假设直线方程为$y=ax+b$，则点$(x_i,y_i)$到直线的距离为：
$$d_i=\frac{|a{x}_i-y+b|}{\sqrt{a^2+1}}$$
这时，目标函数可以写成：
$${\mathbf{J}}_2=\sum d_i^2=\sum \frac{(a{x}_i-y+b{)}^2}{a^2+1}$$

推导过程

目标函数${\mathbf{J}}_2$对$b$求导：

$$\frac{\partial {\mathbf{J}}_2}{\partial b}=\frac{1}{a^2+1}\sum (2b+2a{x}_i-2y_i)$$
令$\frac{\partial {\mathbf{J}}_2}{\partial b}=0$，解得：
$$b=\bar{y}-a\bar{x}$$

目标函数${\mathbf{J}}_2$对$a$求导：

$$\frac{\partial {\mathbf{J}}_2}{\partial a}=\sum \frac{-2a}{(a^2+1{)}^2}(a{x}_i-y_i+b{)}^2+\sum \frac{2x_i}{a^2+1}(a{x}_i-y_i+b)$$
令$\frac{\partial {\mathbf{J}}_2}{\partial a}=0$，并化简得：
$$\sum -a(a{x}_i-y_i+b{)}^2+\sum x_i(a{x}_i-y_i+b)(a^2+1)=0$$
将$b=\bar{y}-a\bar{x}$带入，并化简得：
$$\begin{array}{rl}0=& a^3\sum (-{\bar{x}}^2+x_i\bar{x})\\ +& a^2\sum (2x_i{y}_i-2x_i\bar{y}+2\bar{x}\bar{y}-2y_i\bar{x}-x_i{y}_i+x_i\bar{y})\\ +& a\sum (-y_i^2-{\bar{y}}^2+2y_i\bar{y}-x_i\bar{x}+x_i^2)\\ +& \sum (x_i\bar{y}-x_i{y}_i)\end{array}$$
最后化简得：
$$a^2({\mathbf{s}}_{xy})+a(-{\mathbf{s}}_{yy}+{\mathbf{s}}_{xx})-{\mathbf{s}}_{xy}=0$$
这与上一节得出的结果一致。