吴恩达机器学习笔记【课时六】

课时6-1 分类

解决一些输出y时离散值的问题：
比如输出0、1是否是垃圾邮件
先讨论二分类问题：
如果用线性回归的方式设置分类阈值为0.5：

可以看出用线性回归解决分类问题并不合适。
所以我们现在要介绍Logistic Regression，它的输出一直介于0和1之间。
这是一种分类算法，不要因为名字疑惑。

课时6-2 假设陈述

Logistic Regression的假设函数：

也就是将输出通过sigmoid函数映射到了0和1之间，然后还是通过数据集来拟合参数。
输出y可以用概率表示，就是在给的参数和输入x的形况下y=1的概率：

同理可得y=0的概率。

课时6-3 决策界限

我们定，假设函数≥0.5时，y=1；反之y=0。
看图可以知道其实就是sigmoid函数的输入＞或者＜0的情况，如下图：

举个例子：

可以看到，刚才对Sigmund函数自变量的限制就画出了一条决策界限。
再看个例子：

课时6-4 代价函数

本课时介绍如何拟合logistic回归，优化目标就是代价函数，老生常谈了
如果用线性回归的代价函数的话，容易得到非凸函数，如图中左下所示，因为假设函数比较复杂，我们更希望得到图中右下的函数，然后可以再使用梯度下降。

所以Logistic Regression的损失函数如下定义，（这个损失函数计算完每个样本之后还得加和，就是上一张图写的那样）它有很多好的性质：
应该可以理解的，对于每一个样本，假如y=1，预测的也是1，则误差为零。

课时6-5 简化代价函数与梯度下降

蓝色的式子其实就是上面的代价函数，换了种写法，显得更加简洁：

于是，最终整个模型的代价函数为：

用梯度下降法更新参数的模板：

课时6-6 高级优化

高级优化方法，相比梯度下降能更快逻辑回归：

课时6-7 多元分类：一对多

多类别分类，不再是二分类了：
数据集是这样：

方法，使用三次二分类：