神经网络基础-神经网络补充概念-41-梯度的数值逼近

概念

梯度的数值逼近是一种用于验证梯度计算正确性的方法，它通过近似计算梯度来与解析计算的梯度进行比较。虽然数值逼近在实际训练中不常用，但它可以用来检查手动或自动求导的实现是否正确。

代码实现

import numpy as np

# 定义函数 f(x) = x^2
def function(x):
    return x**2

# 计算梯度的数值逼近
def numerical_gradient(f, x):
    h = 1e-5
    grad = np.zeros_like(x)
    
    for i in range(x.shape[0]):
        tmp_val = x[i]
        
        # f(x + h)
        x[i] = tmp_val + h
        fxh1 = f(x)
        
        # f(x - h)
        x[i] = tmp_val - h
        fxh2 = f(x)
        
        grad[i] = (fxh1 - fxh2) / (2 * h)
        x[i] = tmp_val
    
    return grad

# 计算 x = 3 处的梯度
x = np.array([3.0, 4.0])
gradient = numerical_gradient(function, x)
print("Numerical Gradient:", gradient)