小白机器学习进阶之路(三)——逻辑回归和正则化

之前已经学过了线性回归并完成了相关作业。
这周的主要内容是逻辑回归与正则化

**

分类问题:逻辑回归

**
简单讲逻辑回归是一种分类问题
因变量的值可以是0或1(复杂的问题可能还有2,3,4 等)
目的是用逻辑回归来得到分类区间,对已有数据进行分类同时对新数据进行预测。

逻辑回归使用sigmoid function来估计y = 1(2,3,4……)的概率。
以y仅能等于0或1的情形为例:
g(z) 为sigmoid 函数
h(x)为逻辑回归

h(x) = g(θTx)>=0.5则认为y是1的概率较大,故逻辑回归的结果为1
该条件等价于θTx>=0,因此θTx=0即为决定边界。θTx>=0的范围即为逻辑回归值为1的区间。

如何计算参数θ?
依旧可以使用梯度下降算法正规方程解法
但是这里要注意定义的cost function 不再是差的平方和的形式。因为这种形式里h(x)不再是一个凸函数。

采用
cost function J(θ) = ∑-ylog(h(θ))+(1-y)log(1-h(x)) (未正则化)
来描述误差
使用梯度下降算法让cost function 最小化即可得到θ

出现问题:过拟合

过拟合是当θ维度过高时产生的问题。过拟合特点是误差很小但是函数很复杂。对训练集能做非常好的拟合但是明显不符合实际,在预测新数据时会出现问题。
如图左中右三种情况分别是“低度拟合,合适,过拟合”三种情况。
小白机器学习进阶之路(三)——逻辑回归和正则化_第1张图片

解决过拟合问题:正则化

正则化思想:最小化所有的θ,使高阶项的系数θ趋近于零,则图像趋近于更低阶的图像

方法
cost function 改为
∑-ylog(h(θ))+(1-y)log(1-h(x)) +λ∑1/2θ^2
λ为正则化系数,用于平衡左右两项,需要自己设定来找到合适的系数。

正则化之后的梯度下降算法:
θj := θj (1-αλ/m) - α/m∑(h(x) - y)xj

正则化之后的正规方程:
θ = (XTX+λM)^-1XTy
M为(n+1)x(n+1)型矩阵,对角线上除左上角为0外,其余为1。不在对角线上的元素都为0。

#学习资源:
吴恩达机器学习

你可能感兴趣的:(逻辑回归,机器学习)