【神经网络】梯度检测

在神经网络中，使用前向或者反向传播计算后，再使用梯度下降去寻找代价函数最小时$\theta$的取值是一个可行的方法，但是它很容易出错：因为在这个算法中含有海量的细节，容易产生微小而又难以察觉的bug。即便是存在bug，梯度下降计算出来的$J(\theta )$还是会照常迭代下降，但是得出来的结果的误差将会比正确的情况高出一个量级。因此我们需要使用梯度检验的方法赖解决这种问题，只要需要使用类似梯度下降或者反向传播的算法都可以使用这种方法，这种方法能够确保你的前向\反向传播完全正确。

首先我们以下图为例子，其中有一个点$\theta$，而$ϵ$是一个很小的数，类似于微积分中的微小增量，一般可以将$ϵ$取作$10^{-4}$

而另外两个点分别为$(\theta -ϵ,J(\theta -ϵ))$和$(\theta +ϵ,J(\theta +ϵ))$，这和导数十分像不是吗？那当然我们可以得出如下的式子$$\frac{\delta }{\delta \theta }J(\theta )\approx gradApprox=\frac{J(\theta +ϵ)-J(\theta -ϵ)}{2ϵ}$$

接下来我们呢考虑更加广泛的情况比如假设$\theta$是一个n维向量，也就是$\theta \in R^n，\theta =[{\theta }_1,{\theta }_2,{\theta }_3,...,{\theta }_n]$，那么我们可以使用相同的办法得出对应偏导数的大约值

接下来我们需要使用到反向传播所计算出来的导数向量$DVec=[D^{(1)},D^{(2)},D^{(3)}...D^{(n)}]$，检查$gradApprox\approx DVec$，如果成立的话，则可以认为反向传播是正确的，把DVex用于梯度下降则可以得出较好的结果

主要的步骤如下：