#线性回归 多项式拟合和正规方程（最小二乘法）

多项式拟合和正规方程

特征点的创建和合并

对于一个特定的问题，可以产生不同的特征点，通过对问题参数的重新定义和对原有特征点的数学处理合并拆分，能够得到更加优秀的特征点。

多项式回归

对于更多更加常见的数学模型，其拟合往往是非线性关系的，这时候就需要考虑引用多项式来进行拟合，如：$h(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3$

正规方程算法

（最小二乘法）

在微积分中，对于函数$f(x,y)$，其局部最值往往是在$f_x=0$ 且$f_y=0$处取得。
因此，对于代价函数$J(\theta )$，求$J(\theta )$对每一个${\theta }_i$的偏导数，令它们都为0，即：
$$\frac{\partial J(\theta )}{\partial {\theta }_i}=0fori=0,1,2,\dots ,n$$
称为正规方程(Regular expression)。正规方程提供了一种直接求出最小值的方法，而不需要依赖迭代进行一步一步地运算。

正规方程的矩阵形式

对于数据集$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\}$, 其中每一个$x^{(i)}$都是一个向量： x ( i ) = [ x 0 ( i ) x 1 ( i ) . . . x n ( i ) ] x^{(i)}=\begin{bmatrix}x_0^{(i)}\\x_1^{(i)}\\...\\x_n^{(i)}\end{bmatrix} x(i)= ​x0(i)​x1(i)​...xn(i)​​ ​
构建设计矩阵（Design matrix） X = [ ( x ( 1 ) ) T ( x ( 2 ) T . . . ( x ( m ) ) T ] X=\begin{bmatrix}(x^{(1)})^T\\(x^{(2})^T\\...\\(x^{(m)})^T\end{bmatrix} X= ​(x(1))T(x(2)T...(x(m))T​ ​和值向量 y = [ y ( 1 ) y ( 2 ) . . . y ( m ) ] y=\begin{bmatrix} y^{(1)}\\y^{(2)}\\...\\y^{(m)} \end{bmatrix} y= ​y(1)y(2)...y(m)​ ​
将代价函数转化为矩阵方程的形式，再对其求导，令其等于0，得到代价函数取得最小值时的$\theta$：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
对比梯度下降算法：
正规方程算法不需要学习率和迭代，但对大规模数量（万数量级以上）的特征点（n），工作效率十分低下。对于一些如分类算法等等更加复杂的算法，正规方程法并不适用于求它们在极值处的θ值。

正规方程的不可逆性

在使用正规方程时，要注意的问题是，如果设计矩阵X不可逆（为奇异矩阵），正规方程会无法使用。

设计矩阵为奇异矩阵的常见情况：

1. x-I 不满足线性关系
2. 正在运行的学习算法中，特征点的数量大于样本点的数量（使得$m\le n$）

当设计矩阵X不可逆时，应当尝试删除一些特征点，或者考虑正规化（Regularation）。
但是总体而言，矩阵X不可逆的情况是极少数的。