基于不动点迭代的梯度下降法

一、梯度下降法：

假设函数为：

我们的目标为：

给定初始值 ，利用 进行迭代

其中 为学习率；

对其直观理解为，每一次迭代后， 不断向最优值移动；

然而对于为什么通过这样形式可以解决优化问题，还有 在直观上代表着什么，这些并不能很好的进行解释；

但是对于优化问题，我们可以考虑为求解以下问题的零点：

对于零点求解，我们考虑利用不动点迭代进行求解；

---

二、不动点迭代

不动点定义：

        如果 ，那么 是函数 的不动点；

不动点迭代：

        给定初始值，

若数列 收敛于 ，那么 ， 为函数的不动点；

基于以上原因，我们可以利用不动点迭代进行零点求解：

        设我们目标为求解 ，构造为以下格式：

进行不动点迭代进行求解，求出不动点 ， 为 的零点；

---

三、基于不动点解释梯度下降

因此对于梯度下降我们也可以利用以上思想进行解释：

将 变换成以下形式：

其中对于为什么梯度前取负数这些原因，需要更多的关于不动点知识，这里就不多说了；