【机器学习】如何用Python书写计算任一函数任一点的导数？

摘要： 本文首先回顾了导数的基本概念，然后初步书写了计算函数导数的程序函数，并根据计算机特点对函数进行了改进以达到工程实现。

关键词： 导数、工程实现

本文默认你对导数有一定了解，所介绍的函数默认是可导的。

前言

在人工智能领域，深度学习相关研究一直在如火如荼地进行着。基本上所有的深度学习算法的都使用了反向传播（Backpropagation， BP）算法。在反向传播中更新参数的过程中少不了的一步就是计算梯度值，计算梯度值少不了对函数进行求导计算某点的导数。用了那么多高大上算法框架，如何用Python书写计算任一函数任一点的导数？可能就没有多少人知道了，如果让你去解决这个问题你该怎么办？

1 导数回顾

简单地说导数就是某个瞬间的变化量。例如汽车的加速度就是速度对时间的导数。即：
$$a=\frac{dv}{dt}$$
如果这个你都忘了，就去搜一搜吧。导数的数学定义式如下：
$$\frac{f(x)}{dx}=\underset{h\to 0}{\lim }\frac{f\left(x+h\right)-f\left(x\right)}{h}$$
即函数f(x)关于x的导数。

2 程序初实现

有了上面的公式，你会感觉用Python实现就很简单了，我们先使用以下方式实现，这种方式称为数值微分（numerical differentiation近似求解函数的导数）

def numerical_diff_or(f, x):
    """
    对函数f在点x处求导
    f:一个函数
    x:函数定义域内一个点
    """
    h = 1e-50
    return (f(x + h) - f(x))/h

看起来是不是很简单。参数说明：第一个参数f即：需要求导的函数，第二个参数x为：需要x点上计算导数。但是上面的书写存在几个需要改进的地方。

1. 在实际工程实现中，计算机保留浮点数是有精度限制的，并且存在舍入误差，如下：

   print(np.float32(1e-50))
   print(np.float64(1e-50))
   

   输出的结果分别为：0.0，1e-50，当选择使用np.float64存储数据的话会占用较大的内存，而使用np.float32保存数据时最终会使用0.0计算，显然不是我们想要的。其实我们选用一个相对比较小的数字即可然后使用另一种方式计算也会得到一个近似的结果，这里我们先选择1e-10

2. 如下图，因为计算不能保存无限接近于0的数字，也必然存在误差。为了减少这个误差，一种改进的计算方式是计算f在(x + h)和(x-h)之间的差分。由于这种方法计算式以x为中心，计算它左右两边的差分，所以也称为中心差分。

改进后的代码如下：

def numerical_diff(f, x):
    """
    对函数f在点x处求导
    f:一个函数
    x:函数定义域内一个点
    """
    h = 1e-10
    return (f(x + h) - f(x-h))/(2*h)

3 一个数值微分案例

现在我们创建一个函数如下：
$$f(x)=0.1x+0.01x^2+0.001x^3$$
本实验所需Python包如下：

import numpy as np
import matplotlib.pyplot as plt

对应的Python代码如下：

def function_1(x):
    """
    一个测试函数
    x:自变量
    """
    return 0.1*x + 0.01*x**2 + 0.001*x**3

来看看原函数是什么样子的：(已导入相关matplotlib.pyplot 和 numpy包)

x = np.arange(0, 20, 0.1)
y = function_1(x)


def plot_func1():
    """
    绘制函数function_1()图形
    """
    plt.xlabel('x')
    plt.ylabel('$f(X)$')
    plt.plot(x, y)
    plt.show()

plot_func1()

现在我们分别计算x=5, x=10处的导数如下：

print(numerical_diff(function_1, 5))
print(numerical_diff(function_1, 10))

结果分别为：0.275000022753602、0.6000000496442226
f(x)的导数如下严格来说是这样的：
$$\frac{\text{d}f\left(x\right)}{\text{d}x}=0.1+0.02x+0.003x^2$$
我们再将x=5,x=10带入上式计算

def func1_diff(x):
    """
    func1函数严格导数
    """
    print(0.1+0.02*x+0.003*x**2)


func1_diff(5)
func1_diff(10)

结果分别为： 0.275、0.6000000000000001。虽然严格来说还是有一定不同，但是两者相比误差已经非常非常小了，基本上可以认为是相等的了。在对应点绘制的切线如下图：

对应源码如下：

def plot_tangent(ax, x, y, x0):
    """
    使用numerical_diff()计算得到的导数值绘制切线
    """
    # 绘制原数据
    ax.set_xlabel('x')
    ax.set_ylabel('$f(X)$')
    ax.plot(x, y)
    y0 = function_1(x0)                 # 计算切点坐标
    k = numerical_diff(function_1, x0)  # 得到斜率，即导数值
    # 设置坐标轴范围
    ax.set_ylim(0, function_1(12))
    ax.set_xlim(0, 12)
    # 绘制切线所需的点
    y_diff = k*(x-x0) + y0
    # 绘制图形
    ax.plot(x, y_diff)
    # 绘制切点垂线
    ax.vlines(x0, 0, y0, linestyle="--")
    ax.hlines(y0, 0, x0, linestyle="--")
    # 设置图标题
    ax.set_title("the  tangent of $x_0$={}".format(x0))


fig, axes = plt.subplots(1, 2, figsize=(12, 6))
for x0, ax in zip([5, 10], axes):
    plot_tangent(ax, x, y, x0)

plt.show()

4 总结

综上感觉不难，但是需要注意细节。