第十一篇:机器学习基础:logistic逻辑斯蒂回归算法(输出是0或1的二分类算法!!!)

1 逻辑斯谛回归介绍

	- 逻辑斯谛回归(Logistic Regression)是机器学习中的一种分类模型,逻辑斯谛回归是一种分类算法,虽然名字中带有回归。由于算法的简单和高效,在实际中应用非常广泛。
	- 应用场景:两个类别之间的判断。逻辑回归就是解决二分类问题的利器:
        	* 广告点击率、是否为垃圾邮件、是否患病、金融诈骗、虚假账号

2 逻辑斯谛回归的原理

- 输入:h(w) = w1x1 + w2x2 + w3x3 + ... + b = wTx  
    * 逻辑回归的输入就是一个线性回归的结果
- 输出:
    * 激活函数:g(wT, x) = 1 / (1 + e^(-h(w))) = 1/  (1 + e^(-wTx))
    * 判断标准:回归的结果输入到sigmoid函数当中。输出结果:[0, 1]区间中的一个概率值,默认为0.5为阈值
    * 逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别,并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。(方便损失计算)
    * 关于逻辑回归的阈值是可以进行改变的,比如上面举例中,如果你把阈值设置为0.6,那么输出的结果0.55,就属于B类。

3 损失函数以及优化:

- 逻辑回归的损失,称之为对数似然损失
####
    cost(hw(x), y) = { -log(hw(x)),     if y = 1
                     { -log(1 - hw(x)), if y = 0
    其中y为真实值,hw(x)为预测值
- 无论何时,我们都希望损失函数值,越小越好: 当y=1时,我们希望 hw(x) 值越大越好;当y=0时,我们希望 hw(x) 值越小越好
- 综合完整损失函数: cost(hw(x), y) = 西格玛i到m求和[-yilog(hw(x)) - (1 - yi)log(1 - hw(x))]
####     
   

你可能感兴趣的:(机器学习算法入门及应用实战)