吴恩达机器学习粗略随笔——逻辑回归

逻辑回归：

• 含义：在线性回归的基础上，给出输出的置信度。举例来说：线性回归P(1|x;θ)=0.7，该数据分类为1的可信度为0.7。
• 核心：在线性回归的输出基础上，通过sigmoid函数（也称logistic函数），将输出规范到0~1范围。
             即设线性回归的输出为f(x)，逻辑回归则为g(f(x))，g(z)=1/(1+e^z)。
• 现实意义：决策边界。给定置信标准（如当可信度>0.5）时，即当g(z)>0.5时，自变量 z 的取值范围是 z>0。由于z=f(x)，所以
                     f(x)>0。由于f(x)=θ^TX，所以θ^TX>0，由此绘制出边界曲线。
• 损失函数：
  使用，其中h_θ(x)是1/(1+e^θx)
  表现形式：
  
  然后发现更牛逼的，cost=-y*(h(x)-y)-(1-y)*(1-(h(x)-y))，你细品
  
  不用线性回归中的(h(x)-y)^2的原因：由于h(x)是非线性，且复杂的。此时的损失函数是非凸的（可能有很多个局部最优）。
• 高级优化，提到了正呃方程和函数库的使用，没有展开讲。
• 一对多分类。训练多个分类器，将需要的类别设为1，其他类别全看做0.