吴恩达老师机器学习课程个人笔记(第六课)

逻辑回归
1.一个常用的逻辑函数为S型函数:
吴恩达老师机器学习课程个人笔记(第六课)_第1张图片
函数原型为
2.逻辑回归模型(logistic regression model)需要 0<=htheta(x)<=1。令吴恩达老师机器学习课程个人笔记(第六课)_第2张图片
即可

3.令h θ \theta θ(x)小于等于0.5时,y=1,那么只需要 θ \theta θTx>=0,即有y=1

4.决策边界(decision boundary),比如:

  1. 线性决策边界:
    吴恩达老师机器学习课程个人笔记(第六课)_第3张图片
  2. 非线性决策边界:
    吴恩达老师机器学习课程个人笔记(第六课)_第4张图片

5 .训练集正是用来拟合参数向量的。

6 .如果样本数据是非常不规则的,那么我们可以通过利用各种高阶方程来确定我们的决策边界,比如 θ \theta θ0+ θ \theta θ1x1+ θ \theta θ2x2 + θ \theta θ3x12+…+ θ \theta θkx1mx2n+…

7 .逻辑回归的代价函数为:吴恩达老师机器学习课程个人笔记(第六课)_第5张图片
这个代价函数是一个非凸函数,并且能用一些算法得到最优参数,这是符合我们要求的。我们可以用y=1的情况来说明一下为什么可以用这个函数:这是h θ \theta θ(x)的函数图像:吴恩达老师机器学习课程个人笔记(第六课)_第6张图片
通过这个图像我们可以发现,若y=1,而h θ \theta θ(x)=0,也就是预测结果与实际值不符,那么这个算法的惩罚代价就会很大,y=0的情况同理

8 .non-convex:非凸的

9 .其它的优化算法还有共轭梯度下降法(conjugate descent)、变尺度法(BFGS)、限制变尺度法(L-BFGS)

10 .sophisticated [səˈfɪstɪkeɪtɪd]复杂的

11 .octave语法:@+函数名:指向函数的指针

12 .exitFlag=1表示该算法已收敛

13 .一对多的逻辑分类器的选择:(比如一对三)把三个样本分成三个二元组,每个组分别选出h θ \theta θ(1)(x),h θ \theta θ(2)(x),h θ \theta θ(3)(x),然后分别取最大,即分别为y=i的最大概率

14 .黄海广教授的完整课程笔记在pdf的第102~114页。

.

你可能感兴趣的:(吴恩达老师机器学习课程个人笔记(第六课))