logistic回归 Softmax回归

• logistic回归解决二分类问题
• softmax回归解决多分类问题
  Softmax回归模型是logistic回归模型在多分类问题上的推广
  REF:http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

首先研究下 逻辑回归

https://www.cnblogs.com/Belter/p/6128644.html

sigmoid函数 （激活函数）

逻辑回归一般使用交叉熵作为代价函数。

看来想明白逻辑回归，需要再学习两个概念:交叉熵和代价函数。
好吧，耐下心来。

代价函数/损失函数（Loss Function）:

http://www.cnblogs.com/Belter/p/6653773.html
在机器学习中的每一种算法中都很重要，因为:

• 训练模型的过程 就是 优化代价函数的过程
• 代价函数对每个参数的偏导数 就是 梯度下降中提到的梯度
• 防止过拟合时添加的正则化项也是加在代价函数后面的。

代价函数的常见形式：

• 均方误差(Mean squared error) 常用于线性回归
• 交叉熵(Cross Entropy) 常用于逻辑回归和神经网络
  逻辑回归是神经网络的一种特例（没有隐藏层的神经网络）

交叉熵

https://blog.csdn.net/rtygbwwwerr/article/details/50778098
https://www.zhihu.com/question/41252833/answer/108777563

TF.jpg