吴恩达机器学习笔记week6——逻辑回归 Logistics Regression）

6-1.分类 Classification

二分类:Negative Class && Positive Class
多分类
threshold 门槛，阈，界
线性回归算法不适用于分类问题
逻辑回归算法特点：输出或者预测值的范围界于0–1之间

6-2.假设陈述 Hypothesis Representation

classifier 分类器
sigmoid函数==logistic函数

此处假设函数的含义为y=1的概率

6-3.决策界限 decision boundary

决策边界是假设函数及其参数的一个属性，而不是数据集的属性，即与数据集无关（训练集用来拟合参数theta）

对于sigmoid函数，若y==1，则theta transpose x>=0,在theta已知的情况下，形成决策边界
决策边界可能是直线，可能是圆，可能是椭圆…

6-4.代价函数 Cost function——拟合逻辑回归，得出模型参数theta

optimization objective优化目标==cost function代价函数
分类问题不能使用线性回归的代价函数，会形成关于theta的非凸函数non-convex，不能找到最小值

用以下代价函数：（来源于统计学中的极大似然法）

6-5.简化代价函数与梯度下降 Simplified cost function and gradient descent

由于y=0或者y=1将上面代价函数整合成一个式子


虽然这里梯度下降表达式与线性回归梯度下降表达式看起来一样，但此处的假设函数定义已经不一样，所以是两种完全不一样的算法。
特征缩放同样可以应用在逻辑回归算法，使梯度下降收敛更快

6-6.高级优化 Advanced optimization——优于梯度下降算法

• Optimization algorithms:
  Gradient descent
  Conjugate gradient共轭梯度算法
  BFGS
  L-BFGS
  这些算法有一个智能内循环，线搜索算法：自动尝试不同的学习率并自动选择一个好的学习率
  

6-7.多元分类：一对多 Multi-class classification:One-vs-all

转化为3个独立的二元分类问题
多个分类器

6-8.补：特征映射 feature mapping

如果样本量多，逻辑回归问题很复杂，而原始特征只有x1,x2可以用多项式创建更多的特征x1、x2、x1x2、x1^2 、 x1^2、… X1^n 、X2^n。因为更多的特征进行逻辑回归时，得到的分割线可以是任意高阶函数的形状。
feature mapping（特征映射）
polynomial expansion
for i in 0…power
for p in 0…i:
output x1^(i-p) * x2^p