强化学习复现笔记(3)Robbins-Monro算法证明

摘要： 都没证完，感觉都有问题。
  有个不知道具体表达式（也就是黑箱）的单调递增函数 $M(x)$ 满足 $0<c_1\le M^{\prime }(x)\le c_2$，每输入 $x$ 可以得到一个观测值 $Y(x)=M(x)+w$，其中 $w$ 是噪声，不一定是高斯噪声也不一定是白噪声，但满足 $\mathbb{E}(w)=0,\mathbb{E}(w^2)\le C<\infty$。
  现在需要求解方程 $M(x)=0$，解记作 $x^{\ast }=\theta$，方法是输入若干个点然后观察它的输出，使用迭代方法，给定任意一个初始点 $x_0$，按照如下的方法迭代：
$$x_{n+1}=x_n-a_{n}Y(x_n)$$
当 $a_n$ 满足
$$a_i>0,\sum _{n=1}^{\infty }{a}_n=\infty ,\sum _{n=1}^{\infty }{a}_n^2<\infty$$
时，$x_n$ 就可以收敛到 $x^{\ast }$。

第一种证明方法

  这基本上是原文证法。估计误差的变化情况为
$$\begin{array}{rl}{J}_{n+1}=& (x_{n+1}-\theta {)}^2\\ =& (x_n-a_{n}Y(x_n)-\theta {)}^2\\ =& (x_n-\theta {)}^2-2a_{n}Y(x_n)(x_n-\theta )+a_n^2{Y}^2(x_n)\end{array}$$
先指出所有变量中哪些是随机变量，因为 $w$ 是随机变量，所以 $x,Y(x),J,M(x)$ 都是随机变量，只有 $\theta ,M(\theta )$ 不是。对估计误差求期望
$$\begin{gathered} \mathbb{E}{J}_{n+1}=\mathbb{E}{J}_n-2a_n\mathbb{E}[Y(x_n)(x_n-\theta )]+a_n^2\mathbb{E}[Y^2(x_n)] \\ \mathbb{E}{J}_{n+1}-\mathbb{E}{J}_n=a_n^2\mathbb{E}[Y^2(x_n)]-2a_n\mathbb{E}[Y(x_n)(x_n-\theta )] \end{gathered}$$
目标是寻找合适的 $a_n$ 序列使 $\mathbb{E}{J}_n$ 趋于0。设
$$\begin{array}{rl}{b}_n=& \mathbb{E}{J}_n\\ d_n=& \mathbb{E}[Y(x_n)(x_n-\theta )]\\ e_n=& \mathbb{E}[Y^2(x_n)]\end{array}$$
由于 $M(x)$ 单调递增且 $M(\theta )=0$，所以
$$\begin{array}{rl}{d}_n=& \mathbb{E}[(M(x_n)+w)(x_n-\theta )]\\ =& \mathbb{E}[M(x_n)(x_n-\theta )]+\mathbb{E}[w(x_n-\theta )]\\ =& M(x_n)(x_n-\theta )+(x_n-\theta )\mathbb{E}[w]\\ =& M(x_n)(x_n-\theta )\\ \ge & 0\end{array}$$
由于 $\mathbb{E}(w^2)<\infty$，所以
$$\begin{array}{rl}{e}_n=& \mathbb{E}[(M(x_n)+w{)}^2]\\ =& \mathbb{E}[M^2(x_n)+w^2+2wM(x_n)]\\ \le & C\end{array}$$
将 $b_{n+1}-b_n$ 求和得到
$$\begin{array}{rl}& \sum _{j=1}^n(b_{j+1}-b_j)=b_{n+1}-b_1=\sum _{j=1}^n{a}_j^2{e}_j-2\sum _{j=1}^n{a}_j{d}_j\end{array}$$
因为 $b_{n+1}\ge 0$，所以
$$\begin{array}{rl}\sum _{j=1}^n{a}_j{d}_j=& \frac{1}{2}\left(\sum _{j=1}^n{a}_j^2{e}_j+b_1-b_{n+1}\right)\\ \le & \frac{1}{2}\left(\sum _{j=1}^n{a}_j^2{e}_j+b_1\right)\\ \le & \frac{C}{2}\sum _{j=1}^n{a}_j^2+\frac{b_1}{2}\\ <& \infty \end{array}$$
所以级数 $a_n{d}_n$ 收敛，进一步地
$$b_{n+1}=b_1+\sum _{j=1}^n{a}_j^2{e}_j-2\sum _{j=1}^n{a}_j{d}_j$$
也收敛。现在假设存在一个非负常数级数 $\{k_n\}$ 满足
$$d_n\ge k_n{b}_n,\sum _1^{\infty }{a}_n{k}_n=\infty$$
于是级数 $a_n{k}_n{b}_n$ 收敛，又因为级数 $a_n{k}_n$ 发散，所以 $b_n$ 一定收敛。

参考 随机梯度下降（SGD）算法的收敛性分析 -知乎

第二种证明方法

  记两次迭代之间的误差为
$$\begin{array}{rl}{J}_{n+1}=& x_{n+1}-\theta \\ =& x_n-\theta -a_{n}Y(x_n)\\ =& x_n-\theta -a_n[M(x_n)+w]\\ =& x_n-\theta -a_n[M(\theta )+M^{\prime }(\xi )(x_n-\theta )+w]\\ =& (1-a_n{M}^{\prime }(\xi ))(x_n-\theta )-a_n[M(\theta )+w]\\ =& (1-a_n{M}^{\prime }(\xi ))J_n-a_{n}w\end{array}$$
其中 $\xi \in (x_n,\theta )$，即微分中值定理，$M^{\prime }(\xi )$ 在下面简单记作 $M^{\prime }$。现在目标是证明当 $n\to \infty$ 时 $J_n\to 0$。
$$\begin{array}{rl}{J}_{n+1}^2-J_n^2=& (J_{n+1}+J_n)(J_{n+1}-J_n)\\ =& [(2-M^{\prime }{a}_n)J_n-a_{n}w][-M^{\prime }{a}_n{J}_n-a_{n}w]\\ =& -M^{\prime }{a}_n(2-M^{\prime }{a}_n)J_n^2+a_n^2{w}^2+M^{\prime }{a}_n^{2}w{J}_n-(2-M^{\prime }{a}_n)a_{n}w{J}_n\\ =& -M^{\prime }{a}_n(2-M^{\prime }{a}_n)J_n^2+a_n^2{w}^2+2(M^{\prime }{a}_n-1)a_{n}w{J}_n\end{array}$$
当 $0<a_n<1$ 时，第一项小于0；由已知条件 $\mathbb{E}(w^2)<\infty ,a_n^2<\infty$，第二项大于0且有界。设 $b_n$ 为前两项的和
$$b_n=-M^{\prime }{a}_n(2-M^{\prime }{a}_n)J_n^2+a_n^2{w}^2$$
则 $b_n<\infty$。因为 $J_0^2\ge 0$ 且有界，所以 $b_n>-\infty$。
第三项中利用条件概率性质 $\mathbb{E}[xg(y)|y]=g(y)E[x|y]$ 可以求出期望为0。
$$\begin{array}{rl}\mathbb{E}[J_{n+1}^2-J_n^2]=& \mathbb{E}[-M^{\prime }{a}_n(2-M^{\prime }{a}_n)J_n^2+a_n^2{w}^2]+2\mathbb{E}[(M^{\prime }{a}_n-1)a_{n}w{J}_n]\\ =& \mathbb{E}[-M^{\prime }{a}_n(2-M^{\prime }{a}_n)J_n^2+a_n^2{w}^2]+2(M^{\prime }{a}_n-1)a_n{J}_n\mathbb{E}[w]\\ =& -\mathbb{E}[M^{\prime }{a}_n(2-M^{\prime }{a}_n)J_n^2]+a_n^2\mathbb{E}[w^2]\end{array}$$
$$\begin{array}{rl}\sum _{n=1}^{\infty }\mathbb{E}(J_{n+1}^2-J_n^2)=& \end{array}$$

举例

  求 $x^3=5$ 的解。

import random
x = 0
M = lambda x: x**3 - 5
for n in range(100):
    x = x - 1/(n+10) * (M(x) + random.gauss(0, 0.1))
    print(x)