吴恩达机器学习粗略随笔——逻辑回归

逻辑回归:

  • 含义:在线性回归的基础上,给出输出的置信度。举例来说:线性回归P(1|x;θ)=0.7,该数据分类为1的可信度为0.7。
  • 核心:在线性回归的输出基础上,通过sigmoid函数(也称logistic函数),将输出规范到0~1范围。
               即设线性回归的输出为f(x),逻辑回归则为g(f(x)),g(z)=1/(1+e^z)。
  • 现实意义:决策边界。给定置信标准(如当可信度>0.5)时,即当g(z)>0.5时,自变量 z 的取值范围是 z>0。由于z=f(x),所以
                       f(x)>0。由于f(x)=θ^TX,所以θ^TX>0,由此绘制出边界曲线。
  • 损失函数:
    使用\left\{\begin{matrix} -log(h(x)) if y = 1& \\ 1-log(h(x)) if y = 0& \end{matrix}\right.,其中h_θ(x)是1/(1+e^θx)
    表现形式:
    吴恩达机器学习粗略随笔——逻辑回归_第1张图片
    然后发现更牛逼的,cost=-y*(h(x)-y)-(1-y)*(1-(h(x)-y)),你细品

    不用线性回归中的(h(x)-y)^2的原因:由于h(x)是非线性,且复杂的。此时的损失函数是非凸的(可能有很多个局部最优)。
  • 高级优化,提到了正呃方程和函数库的使用,没有展开讲。
  • 一对多分类。训练多个分类器,将需要的类别设为1,其他类别全看做0.

 

你可能感兴趣的:(机器学习基础)