机器学习篇(5)——逻辑回归

前言：这里是分类问题，之所以放到线性回归的下面介绍，是因为逻辑回归的步骤几乎是和前面一样的，写出目标函数，找到损失函数，求最小值，求解参数，建立模型，模型评估。分类算法，概率模型，返回的是属于这类模型的概率多大，交叉对数损失函数，其微分方程和梯度下降一样
softmax分类，解决数据多分类的问题，提高准确率

Logistic回归

• sogmid函数

  
  
  image.png
  
  
  image.png

• 损失函数
  作用是构建出模型，然后输出属于该目标值的概率，以解决二分类问题。

  
  
  image.png
  
  
  image.png
  
  

  损失函数越小，使得概率最大，则可以对损失函数先求对数，如下：

  
  
  image.png

• 然后用求导的方式解得损失函数最小的时候参数的解

  
  
  image.png
  
  
  image.png

softmax回归

解决多分类问题

• 写出概率函数：

  
  
  image.png
  
  

  注：为什么用指数函数，为了表示数据的微小变动引起的概率的指数级增大，

• 写出损失函数

  
  
  image.png
  
  

  第一求和符号是指m个样本，第二个k是指，一个样本中y=j时所有的样本概率和，为什么用对数函数？因为0-1范围对数变化率大，

• 求导

  
  
  image.png

• 梯度下降求解参数

  
  
  image.png