线性回归全总结：《机器学习》第三章 + 《机器学习实战》第八章 + 理论补充

线性回归的模型是$f(x_i)=w^T{x}_i+bf(x_i)\sim y_i$，其中$x_i$是$n\times 1$的向量（即有$n$个特征），$w$是$n\times 1$的向量。若有$m$个数据，形成$X_{m\times n}$的数据集和$y_{m\times 1}$的目标，$X$的最后加一列全$1$，$w$把$b$吸收，就可以得到简化的$f(X)=X_{m\times (n+1)}{w}_{(n+1)\times 1}$。求$loss$均方误差是 $l=(y-Xw{)}^T(y-Xw)$，对$w$求偏导得到$2X^T(Xw-y)$，令$X^T(Xw-y)=0$得到 $w=(X^{T}X{)}^{-1}{X}^{T}y$

• 标量对向量或矩阵求偏导，得到的结果是分子布局，即对谁求偏导，结果的 shape 就和谁一样

• 向量对向量求偏导，$y_{m\times 1}$对$x_{n\times 1}$求偏导，$\frac{\partial y}{\partial x}$ 的结果维度是 $m\times n$

应用链式求导法则之前先看维度，转置调整到维度匹配再计算。此题例，$\frac{\partial l}{\partial w}$ 的结果是$(n+1)\times 1$，令$z=y-Xw$，$\frac{\partial z}{\partial w}$ 的结果是$m\times (n+1)$，$\frac{\partial l}{\partial z}$ 的结果是$m\times 1$，要使用$\frac{\partial l}{\partial w}=\frac{\partial l}{\partial z}\frac{\partial z}{\partial w}$的链式法则，先调整到合适的$\frac{\partial l}{\partial w}=(\frac{\partial z}{\partial w}{)}^T\frac{\partial l}{\partial z}$ 再计算。$z=y-Xw$对$w$求偏导，结果肯定是$-X$或$-X$的转置，根据布局要求应该是$-X$；$l=z^{T}z$对$z$求导是$2z$或它的转置，布局要求确定是$2z$。因此$l$对$w$求偏导结果是$-2X^{T}z=2X^T(Xw-y)$

实际数据大多数情况下$X^{T}X$都不可逆，会产生多种多个$w$的最优解，常见的做法是引入正则化项解决

xMat = mat(xArr); yMat = mat(yArr).T
xTx = xMat.T*xMat
if linalg.det(xTx) == 0.0:
    print "This matrix is singular, cannot do inverse"
    return
ws = xTx.I * (xMat.T*yMat)
return ws

随机变量$X$和$Y$的相关系数$\rho$（皮尔逊相关系数）是$\rho =\frac{cov(X,Y)}{\sqrt{(}var(X)(var(Y)))}=\frac{cov(X,Y)}{{\sigma }_X{\sigma }_Y}$，只衡量线性关系，它是对协方差的标准化，可以用来衡量回归的优劣

期望的线性：$E(a{g}_1(X)+b{g}_2(X)+c)=aE{g}_1(X)+bE{g}_2(X)+c$，且$E[X+Y]=E[X]+E[Y]$，不要求$X$和$Y$独立

方差是$X$的二次中心矩，$Var(X)=E[(X-{\mu }_X{)}^2]=E[X^2]-(E[X]{)}^2$，$Var(aX+b)=a^{2}Var(X)$

$COV(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]=E[XY-{\mu }_{Y}X-{\mu }_{X}Y+{\mu }_X{\mu }_Y]=E[XY]-{\mu }_{Y}E[X]-{\mu }_{X}E[Y]+{\mu }_X{\mu }_Y=E[XY]-{\mu }_X{\mu }_Y$

corrcoef(yHat.T,yMat)

岭回归在$X^{T}X$的基础上加$\lambda I$使矩阵矩阵非奇异，进而能对$X^{T}X+\lambda I$求逆（第八点），它也是一种正则化方法，从贝叶斯优化角度看，相当于加入了高斯先验，用最大后验估计来估计参数，lasso回归加入了不可导项，需要使用特殊方法优化，比如前向逐步回归尝试对权重加加减减，如果$loss$减少，就应用这种变化，也可以用其他方式优化（也介绍了岭回归的梯度下降优化，很值得一看）

    for i in range(numIt):
        print ws.T
        lowestError = inf; 
        for j in range(n):
            for sign in [-1,1]:
                wsTest = ws.copy()
                wsTest[j] += eps*sign
                yTest = xMat*wsTest
                rssE = rssError(yMat.A,yTest.A)
                if rssE < lowestError:
                    lowestError = rssE
                    wsMax = wsTest
        ws = wsMax.copy()

实际引入岭回归和lasso回归，是以偏差的代价换取低方差，欠拟合时偏差主导误差，过拟合时方差主导误差，被称为偏差-方差窘境