吴恩达机器学习（Logistic回归）

Logistic回归

Logistic是用来分类的，是一种线性分类器，需要注意的地方有：

Logistic回归算法输出值或者是预测值介于0–1之间。
为了满足输出值介于0–1之间，因此提出的假设函数与线性回归的函数不同，
假设函数
　　1. logistic函数表达式为：

g(z)函数的图像如下图所示

决策边界的概念让我们更好地理解假设函数在计算什么。决策边界不是训练集的属性，而是假设本身及其参数的属性，只要给定参数向量θ，边界就确定了，不是用训练集确定的决策边界，一旦有了参数向量θ，就确定了决策边界。

如何拟合Logistic回归模型中的参数向量θ
因为确定了参数向量θ，就能确定决策边界。
定义用来拟合参数向量θ的优化目标或者叫代价函数

代价函数

找出让J（θ）取得最小值的参数θ

老套路！使用梯度下降法找出让J（θ）取得最小值时，θ的值。

公式：

代入J（θ）得：
这里的h(x)与线性回归中的h(x)不是一回事

多元分类：一对多
类仿二分类

其中：
　　
在给定x的条件下y=1的概率为θ

Logistic回归优点：

1、实现简单；

2、分类时计算量非常小，速度很快，存储资源低；

缺点：

1、容易欠拟合，一般准确度不太高

2、只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；