ml-简化的成本函数和梯度下降

目标：

1. 更简化的方法得到代价函数
2. 运用梯度下降法拟合出逻辑回归的参数。

逻辑回归的代价函数

化简合并之后：

明确目标：
代价函数为：

求出参数使得:

如果有n个特征，那么

最小化代价函数的方法：
使用梯度下降法(gradient descent)

反复更新每个参数

注意：

1. 同步更新
2. 虽然逻辑回归和线性回归梯度下降的更新参数的规则基本相同，公式也几乎一致，但是二者的不同，因而逻辑函数的梯度下降和线性回归的梯度下降完全不同。
3. 特征缩放的方法同样适用于逻辑回归，可以提高梯度下降的收敛速度。
4. 具体代码实现时，推荐使用向量化方法和库函数。
5. 需要手动设置学习率，因此需要一些测试是否收敛的方法，例如将代价函数的变化值与某个阈值(e.g. 0.001)进行比较；还可以绘制图表，根据图表来判断梯度下降是否收敛(大规模训练集时并不现实)。