逻辑斯特回归(logistic regression)学习笔记

logistic regression

1. 线性回归

线性回归可表示为： 

         假设模型预测误差为, 服从高斯分布；

         那么x与y的条件概率为：

进行最大似然估计，求对数后可得最终的优化目标为最小化

这就是为何选用平方和作为误差函数的原因，对上式求解一般采用梯度下降法和最小二乘法。

•  梯度下降法,对上式求导可得，参数更新的方法如下

可采用梯度下降法和随机梯度下降法。

•  最小二乘法

最小二乘法就是对矩阵求逆运算，解为X的广义逆矩阵与Y的乘积，但是此解法要求X有广义逆矩阵，即X是满只秩的。

线性回归的被广泛应用于回归模型，典型的应用是用来进行票房预估。谷歌票房预估模型

2. 逻辑回归

2.1 Logistic Regression

Logistic Regression是将线性回归中的线性函数换为非线性变换，利用sigmoid函数作为决策函数。

         其曲线为S型曲线，接近分类界面的地方较为陡峭，两端平滑。如下图

关于sigmoid函数作为决策函数的由来，一般假设分布P(x|y)服从高斯分布，那么

         假设方差相同，那么二次项系数为0，因此

         因此得到逻辑回归判别函数。逻辑回归采用最大思然估计方法估计参数模型，似然函数为

         

         对数似然函数为

        

损失函数为似然函数的相反数，所以参数沿着梯度变化的方向

 

2.2 带正则化的Logistic Regression

         当模型的参数过多时，很容易遇到过拟合的问题。这时就需要在优化目标中加入正则项，通过惩罚过大的参数来防止过拟合，常用的正则有L1正则和L2正则。

•  L1正则在原始的代价函数后面加上一个L1正则化项，即所有权重w的绝对值的和。那么新的代价函数

                 沿梯度的变化为

多出的一项，使得参数更加趋近于0，也就相当于减小了网络复杂度，防止过拟合。

 

• L2正则在原始的代价函数后面加上一个L2正则化项，即所有权重w的平方和。那么新的代价函数

沿梯度的变化为

使得权重衰减，让所有的权重值变小，因此能防止过拟合。因为当函数过拟合的时候往往曲线波动较大，因此导数值偏高，权重值偏大，因此降低了权重值能有效地防止过拟合。