logistic回归 Softmax回归

  • logistic回归解决二分类问题
  • softmax回归解决多分类问题
    Softmax回归模型是logistic回归模型在多分类问题上的推广
    REF:http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

首先研究下 逻辑回归

https://www.cnblogs.com/Belter/p/6128644.html

sigmoid函数 (激活函数)

逻辑回归一般使用交叉熵作为代价函数

看来想明白逻辑回归,需要再学习两个概念:交叉熵和代价函数。
好吧,耐下心来。

代价函数/损失函数(Loss Function):

http://www.cnblogs.com/Belter/p/6653773.html
在机器学习中的每一种算法中都很重要,因为:

  • 训练模型的过程 就是 优化代价函数的过程
  • 代价函数对每个参数的偏导数 就是 梯度下降中提到的梯度
  • 防止过拟合时添加的正则化项也是加在代价函数后面的。
代价函数的常见形式:
  • 均方误差(Mean squared error) 常用于线性回归
  • 交叉熵(Cross Entropy) 常用于逻辑回归和神经网络
    逻辑回归是神经网络的一种特例(没有隐藏层的神经网络)

交叉熵

https://blog.csdn.net/rtygbwwwerr/article/details/50778098
https://www.zhihu.com/question/41252833/answer/108777563

logistic回归 Softmax回归_第1张图片
TF.jpg

你可能感兴趣的:(logistic回归 Softmax回归)