机器学习优化算法

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、梯度是什么？

假设有一个N元函数f(x)，一个点m位于N元空间中，符合f(x)，则对f(x)在m的各个维度上求导得到的导数组成的向量叫做f(x)在点m的梯度（也就是对各个变量求偏导，组成向量）。梯度的方向是函数变化最快的方向

二、梯度优化算法

梯度下降

对于目标函数f（x），取初始值X0，计算f（X0）
计算梯度g=g（Xi），当|g|<ε时，停止迭代，得到x的最优解，否则另P=-g，求λ（k），
使得
f(x(k)+λ*P)=minf(x(k)+λP）
让x(k+1)=x（k）+λP

随机梯度下降(SGD)

批量梯度下降法在全部训练集上计算准确的梯度
公式：

其中f表示在每个样本的损失函数，第二项为正则项。
随机梯度下降法则采样单个样本来估计当前的梯度，每次随机采样或采取一个小批量，对于每一个样本求梯度，再将批量中所有梯度相加。