批量梯度下降和随机梯度下降matlab 实现

文章出处：

【Machine Learning实验1】batch gradient descent（批量梯度下降） 和 stochastic gradient descent（随机梯度下降）

http://blog.csdn.net/pennyliang/article/details/6998517

上面是作者的blog，代码采用的是C的，我这里采用了比较简便的matlab方式。

批量梯度下降是一种对参数的update进行累积，然后批量更新的一种方式。用于在已知整个训练集时的一种训练方式，但对于大规模数据并不合适。

随机梯度下降是一种对参数随着样本训练，一个一个的及时update的方式。常用于大规模训练集，当往往容易收敛到局部最优解。

详细参见：Andrew Ng 的Machine Learning的课件（见参考1）

可能存在的改进

1）样本可靠度，特征完备性的验证

      例如可能存在一些outlier，这种outlier可能是测量误差，也有可能是未考虑样本特征，例如有一件衣服色彩评分1分，料子1分，确可以卖到10000万元，原来是上面有一个姚明的签名，这个特征没有考虑，所以出现了训练的误差，识别样本中outlier产生的原因。

2）批量