2017.11.09

今日学习逻辑回归这一章的知识，要点总结如下：

1. 回归即直线对点的拟合，Sigmoid函数的值在0到1内，目标函数为Sigmoid函数的输入值，当输入为0时，函数值为0.5，这样可以以此作为分类，即求使目标函数为0的最佳参数，这时的线性组合为类别边界。

2.而在求最佳参数时用到了最优化理论，常用的就是梯度上升法，求函数的最大值；梯度下降法求函数的最小值。

3.由于梯度上升法有迭代次数较大，参数收敛慢，且有周期性震荡，无法局部收敛的问题，在此基础上发展了随机梯度上升法，一此仅用一个样本点更新回归参数，这样可以保证收敛速度较快；随后又在回归参数中引入常数项，这样可以避免参数严格下降，使得新加入的样本同样对训练结果有影响。

4.另外机器学习中经常面临着处理缺失值的情况，针对不同的学习目的，应该采取不同的方法处理缺失值。