逻辑回归（LR）

知乎专栏：https://zhuanlan.zhihu.com/p/24967776
博客园：http://www.cnblogs.com/dreamvibe/category/653426.html

思考：为什么 LR 模型要用 sigmoid 函数，背后的数学原理是什么？
广义线性模型，为线性模型增加了非线性的性质。

1. 广义线性模型

指数分布族-包含(http://memoiry.me/2017/02/22/cs229/)

• 伯努利分布, 0-1分布.
• 多项式分布, 多个投币问题.
• 泊松分布 相当于多项式分布连续后分布, 网站访问量的计数
• gamma和exponential, 公交车到站
• beta分布, 小数建模
• dirichlet分布, 概率分布建模
• wishart分布, 协方差矩阵的分布
• 高斯分布
  logistic分布的由来就是, 对0-1分类问题, 前置概率为伯努利分布, 写成指数分布族的形式, 就可以得到指数分布的自然参数和伯努利分布的参数的关系, 就是logistic函数, 也就是说我们只要求出了这个自然参数就可以求出我们需要的分类概率, 这个自然参数就是用因变量的线性变换表示的, 就可以转换成线性回归问题了.

2. 高斯分布的另一种看法

3. 伯努利分布--Logistic回归的含义

4. Softmax 迭代推导

!](http://upload-images.jianshu.io/upload_images/3003339-09878f6c8da8ee28.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

总结

softmax 算法在机器学习里占有很重要的地位，虽然很多机器学习的学习包已经高度的集成了softmax 算法，但从推到的过程中，可以看到很多的知识点，好像看到了算法的机器学习算法推到的大统一。广义线性模型，解释了机器学习算法的很多问题，最小二乘法的理论依据，Logistic 回归 Sigmoid 函数的由来，softmax 的推到，进一步解释了 Logistic 回归和 softmax 的关系，理论的依据终于贯通了，可以放心了。