matlab中实现en回归,Linear Regression & Ridge Regression的matlab实现

背景与原理:

给定一些离散点,利用线性回归过程获取多项式逼近拟合回归曲线。

Polynomial Curve Fitting

0818b9ca8b590ca3270a3433284dd417.png

其中

0818b9ca8b590ca3270a3433284dd417.png

a是需要求的位置系数。

于是根据mean-squared error,我们需要最小化

0818b9ca8b590ca3270a3433284dd417.png

即minimize

0818b9ca8b590ca3270a3433284dd417.png

其中RSS意为Residual sum of squares.

我们为方便起见,将参数与变量归整化为矩阵形式

0818b9ca8b590ca3270a3433284dd417.png

需要做的就是求Js(a)的最小值。

根据梯度下降法,我们有

0818b9ca8b590ca3270a3433284dd417.png

取deltaJs = 0,则有

0818b9ca8b590ca3270a3433284dd417.png

此处XX'根据矩阵相乘秩<=秩(X) and 秩(X'),当样本数大于特征数时,(XX')非奇异。

以上方法会有overfitting的问题,为了增加过拟合的penalty,加上一个累积参数

0818b9ca8b590ca3270a3433284dd417.png

于是有

你可能感兴趣的:(matlab中实现en回归)