机器学习 6节 用logistic回归解决二分类

机器学习

6-1 分类

预测离散值y的分类问题可以使用logistic回归算法

正类：1，通常表示肯定，有某样东西
负类：0，通常表示否定，没有某样东西

设置阈值0.5进行离散的0、1分类

将线性回归用于分类问题通常不能很好地解决问题
如何解决下图中预测函数h输出值>1或者<0的问题呢？
引入了logistic回归函数用于分类问题

6-2 假设陈述

假设展示
当有一个分类问题时，应该使用什么方程来表示假设？
这里用到了sigmoid函数和logistic函数

假设函数hx的输出是对给定输入x的分类 y=1的概率预测。

6-3 决策界限

决策边界是什么？

假设已经拟定好了参数向量为[3、1、1]，观察其预测情况，如下图所示

决策边界即图中这条洋红色的线，即x+y=3。
决策边界是假设函数的一个属性，将整个区域划分为两部分，分别是y=1和y=0的区域，由假设函数及其参数决定，而不是由训练集决定的。
怎么使用logistic来拟合如图的数据？

可以在特征中添加额外的高阶多项式项

假设已经选择好了参数向量[-1,0,0,1,1]

决策边界为圆形洋红色的线。通过在特征中添加更复杂的高阶多项式可以得到更复杂的决定边界。

6-4 代价函数

如何拟合logistic回归模型的参数？
用来拟合参数的优化目标叫代价函数。
一个logistic回归模型：

如果继续使用之前的代价函数：
会发现使用sigmoid生成的代价函数是一个非凸函数：有很多局部最优解，很难使用梯度下降法找到最优解。
我们希望代价函数是一个凸函数，单弓形函数，这样式样梯度下降法才能收敛到该函数的全局最小值。

换个代价函数！


y=1:
如果正确预测了y=1，代价为0；
如果错误预测了y=0，代价激增，趋近于无穷；

y=0:
如果正确预测了y=0，代价为0；
如果错误预测了y=1，代价激增，趋近于无穷；

6-5 简化代价函数与梯度下降

由于y只能取0或者1，我们可以把代价函数简化为

这个式子是从极大似然法得来的，它是统计学中为不同模型快速寻找参数的方法 且 它是凸的。
根据这个代价函数，为了拟合参数，要找到让代价函数取得最小值的参数。

6-6 高级优化

高级优化算法
高级优化概念

可以使用共轭梯度法 BFGS和L-BFGS等更高级的优化算法来代替梯度下降法

优点：不需要手动选择学习率，智能内循环，线搜索算法，自动尝试不同的学习率，选择一个好的学习率，为每次迭代选择不同的学习速率，收敛地比梯度下降法快
缺点：复杂

6-7 多分类：一对多

针对多类别分类问题：

将这个训练集转化为三个独立的二分类问题