吴恩达机器学习学习笔记 --- 逻辑回归 + 正则化

逻辑回归

【分类问题 || y为离散值】

（1）使用线性回归解决分类问题

【使用线性回归解决逻辑回归不是一个很好的办法】

（2）假设函数

【通过sigmoid函数，使得h(x)的值在 0 ~ 1 之间】

（3）假设函数输出的含义

【h(x)：当输入为x时，输出为y的概率】

（4）逻辑回归的决策边界

【选择一个值作为决策边界的判断值，例如下图选的是0.5】

【h(x)对应的线就是决策边界，与参数有关，不是训练集的属性】

 （5）非线性回归边界 

（6）代价函数

【假设函数 定义】

 【如果直接使用线性回归的损失函数，得到的将会是一个非凹函数，但是我们想要的是凹函数，所以不能直接使用】

【逻辑回归的代价函数】

（7）简化代价函数

（8）更新参数

 （9）高级优化

 【举例】

【注意：Ocatve中的下标是从 1 开始的】 

 （10）逻辑回归解决多类别分类问题（1对多）

【训练多个分类器】

【选择 h 值最大的类别】

正则化

（1）过拟合的例子

 

 （2）解决方法

 （3）修改代价函数

 【加入正则化项】

 

【lamda过大可能会出现欠拟合】

 

（4）线性回归 正则化

【梯度下降】

 

 【正规方程解】

【加入正则化项后，解决了 X^T * X 不可逆的问题】

 

（5）逻辑回归  正则化

【梯度下降】

 

【更高级的优化 ： 改变代价函数、导数】