吴恩达老师机器学习课程个人笔记（第六课）

逻辑回归
1.一个常用的逻辑函数为S型函数：


2.逻辑回归模型（logistic regression model）需要 0<=h_theta(x)<=1。令
即可

3.令h_$\theta$(x)小于等于0.5时，y=1，那么只需要$\theta$^Tx>=0,即有y=1

4.决策边界(decision boundary)，比如：

1. 线性决策边界：
   
2. 非线性决策边界：
   

5 .训练集正是用来拟合参数向量的。

6 .如果样本数据是非常不规则的，那么我们可以通过利用各种高阶方程来确定我们的决策边界，比如$\theta$₀+$\theta$₁x₁+$\theta$₂x₂ +$\theta$₃x₁²+…+$\theta$_kx₁^mx₂ⁿ+…

7 .逻辑回归的代价函数为：
这个代价函数是一个非凸函数，并且能用一些算法得到最优参数，这是符合我们要求的。我们可以用y=1的情况来说明一下为什么可以用这个函数：这是h$\theta$(x)的函数图像：
通过这个图像我们可以发现，若y=1,而h$\theta$(x)=0，也就是预测结果与实际值不符，那么这个算法的惩罚代价就会很大，y=0的情况同理

8 .non-convex:非凸的

9 .其它的优化算法还有共轭梯度下降法(conjugate descent)、变尺度法(BFGS)、限制变尺度法(L-BFGS)

10 .sophisticated [səˈfɪstɪkeɪtɪd]复杂的

11 .octave语法：@+函数名：指向函数的指针

12 .exitFlag=1表示该算法已收敛

13 .一对多的逻辑分类器的选择：（比如一对三）把三个样本分成三个二元组，每个组分别选出h_$\theta$⁽¹⁾(x)，h_$\theta$⁽²⁾(x)，h_$\theta$⁽³⁾(x)，然后分别取最大，即分别为y=i的最大概率

14 .黄海广教授的完整课程笔记在pdf的第102~114页。

.