2016.05.12回顾

昨天开始尝试自己写logistic regression,参考别人的写了一个demo,主要是为了理解算法,果断发现了不少问题。

1、梯度下降法,有批量梯度下降,有随机梯度下降,批量梯度下降就是按着梯度负方向在走,就是偏导,X矩阵是样本总体,但是我奇怪的是随机梯度下降法,是把X一条一条的使用,为什么这样也能收敛?后来看书上的图像,参数收敛是一种波动式的收敛,但是最终还是会收敛,至于证明应该很复杂,我就不管了,但是这种的好处是时间复杂度很低,特别是数据量大了的情况,批量梯度下降消耗太高,但是原理我仍然没理解透彻

2、写的demo居然发现个神奇的问题,就是sigmoid函数我令成1/(1+exp(z))居然会overflow,但是1/(1+exp(-z))就不会出错,我现在还没发现问题,但至少说这个点有意思!

总结:效率要提高,要专注,思维要清晰,这些东西都很抽象,有难度,然后就是要按时睡觉,昨天又没按时睡觉,11点半前睡觉!养成好习惯!执行力!!!!


你可能感兴趣的:(2016.05.12回顾)