台大机器学习笔记(9-10)——Linear Regression&Logistic Regression

9 Linear Regression

　　本节的线性回归用的是最小二乘法直接求最优解而不是通过梯度下降求解。公式如下：

L(w)=||wX−Y||2=||wTXTXw−2wTXTY−YY2||

　　对 w 进行求导并使求导结果为0：

XTXw−2XTY=0

w=(XTX)−1XTY

　　该解即为线性回归模型的最小二乘解。需要注意的是，该解要保证 XTX 可逆，但是线性代数中也存在其他方法能在 XTX 不可逆的情况下求 (XTX)−1XT 。

10 Logistic Regression

　　本节解决对数回归模型的方法是构造生成数据的似然函数，并通过最大化似然函数对参数进行求解。
设数据分布服从 P(x) ，待求模型为 h(x) ，sigmoid函数为 θ(x) ，则似然函数为：

L(h)=∏mn=1P(xn)h(ynxn)∝∏mn=1h(ynxn)

　　将 h(x) 替换为sigmoid函数：

L(w)=∏mn=1θ(ynwTxn)

　　对似然函数求对数，并求其最大值：

argmaxw(L)=∑mn=1ln(1+exp(ynwTxn))

　　在公式前加负号，将最大化问题转化为最小化问题，对w求导，并在公式前加入系数 1m ：

∇L(w)=1m∑mn=1θ(−ynwTxn)(−ynxn)

　　之后利用梯度下降法求解。