【机器学习】梯度下降、牛顿法、拟牛顿法

梯度下降的数学原理：

https://mp.weixin.qq.com/s?__biz=MzIwOTc2MTUyMg==&mid=2247484072&idx=1&sn=ada7113781fa20a61e1b3d84df98f7bb&chksm=976fa735a0182e238443c35584bb7f5c2dd21100c7bce79711f3802b679256efd389643965fb&scene=21#wechat_redirect

 

牛顿法：

牛顿法原理及与梯度下降法的比较：https://www.jianshu.com/p/e426c3eca226

https://blog.csdn.net/zhulf0804/article/details/52311594 用牛顿法求解最小二乘（优化一步即能得到偏导等于0的结果！！）

 

拟牛顿法：

https://blog.csdn.net/itplus/article/details/21896619