吴恩达机器学习笔记（4）——逻辑回归（logistic regression）

**

一、分类问题（classification）

**首先来看一个例子，用肿瘤的大小来预测肿瘤是良性或者恶性。这个问题的输出只有两个值——良性（1）和恶性（0），通常称之为分类问题。

如果在此处我们使用线性回归来处理这个问题。那么如果加入最右的那个点，那么直线拟合就从红色斜线变成了蓝色斜线，也就出现了预测的误差。因此线性回归不适合于分类问题。
另外，使用线性回归处理分类问题中常见的问题还有：分类问题的输出值y=0 or 1.但是线性回归的假设的输出值会小于0或者大于1.

因此，我们会使用logistic回归（逻辑回归）算法处理分类问题。该方法被视为一种分类算法，并不是回归算法哦。

---

---

---

二、假设陈述（hypothseis representation）

1、目的：当遇到分类问题时，我们使用哪个方程来表示我们的假设。
2、假设函数（Sigmoid Function/Logistic Function）：

3、函数图形：

4、函数解释：该函数输出值的意义是“y=1的概率”，即：

---

---

---

三、决策边界（decision boundary）

1、定义：一般的，数据集被一条线划分成了两类，这条线就是决策边界。决策边界不是训练集的属性，而是假设本身及其参数的属性。只要给定了参数θ，边界就可以确定。
2、首先我们假设：

而根据函数图像的特征，我们可写成：

---

---

---

四、代价函数（cost function）

1、逻辑回归的代价函数：

ps：J表示整体代价，cost表示单个样本的代价
2、简化形式：

ps：根据统计学中极大似然法得来的
3、梯度下降法：
为了求得最优的θ。这里使用梯度下降法。

偏导计算过程已自行推导，将结果代入后可得：

---

---

---

五、高级优化（Advanced Optimization）

1、其他优化算法以及优缺点
2、octave实现方法
PS：在octave中实现代码的时候，fminunc只能处理二维以上的优化，如果是一维使用fminuc函数。

---

---

---

六、多元分类（multi——class classification）

实际应用中，会存在多个类型。这里使用One-vs-all的方法来处理：


即训练出多个分类器，输入x值后，找出h最大值的那个分类器，就为x所属的类别。