机器学习分类算法之逻辑回归

1、基础知识：

• 逻辑回归：logistic regression
• 二分类：binary classification

类别一	类别二
no	yse
false	true
0	1
negative class	positive class

• 线性回归模型用于分类，效果一般；
• 逻辑回归是最广泛使用的分类算法；

---

2、逻辑回归算法：输入特征x，输出介于0和1之间的数字。

• 逻辑回归模型：通过sigmoid函数推演而来
  
• 逻辑回归模型的损失函数
  • 损失函数的作用：通过使损失函数达到最小值，来选择更好的逻辑回归参数训练数据（拟合数据）
    
    
  • 适合逻辑回归的损失函数
    
    
  • 适合逻辑回归模型的更简单的损失函数【其实就是把上面的损失函数整合到一个损失函数当中】
    
    
• 逻辑回归模型的梯度下降算法：找到能使损失函数J最小的对应参数w和b
  
• 决策边界：通过threshold【阈值】获取预测值，为什么说z=0是决策边界，见下图分析：
  
  • 在参数w和b条件下的决策边界：依然是z=0，前提是给定参数w和b。下图中假设参数w1和w2都为1，b为-3的条件下，z=0得到决策边界的函数图像。
    
  • 非线性决策边界：包含高阶多项式的逻辑回归模型，可以拟合复杂的数据，若只使用x1···xn，那么逻辑回归决策边界始终是线性的。
    
    

总结：

• 对于 逻辑回归模型 ，他的作用就是实现二分类，输入特征x（可以是多个特征）之后，输出介于0和1之间的数字，通过 决策边界 获得其预测值。至于其决策边界的获取，一定是要有已知的参数w（可以是多个）和b，而最优参数的获取就需要通过 损失函数J 来进行评价，只有损失函数J最小时，对应的参数w和b才是最优参数。而通过J与参数w和b之间的关系，更迭获取最小损失函数J的过程就是通过 梯度下降算法 实现的。