AutoCV第三课：Python和ML基础

Python和ML基础

前言

手写AI推出的全新保姆级从零手写自动驾驶CV课程，链接。记录下个人学习笔记，仅供自己参考。
本次课程主要学习闭包(即返回函数的函数)、导数的相关概念以及利用导数求解sqrt(2)
课程大纲可看下面的思维导图。

1.闭包

1.1 基本概念

闭包是指函数中定义另一个函数，并且内部函数可以访问外部函数的局部变量，即使外部函数已经执行完毕，内部函数仍然可以使用外部函数的变量，这种函数就称为闭包函数。(from chatGPT)

闭包函数通常有两个特点：

• 内部函数可以访问外部函数的局部变量
• 外部函数返回内部函数

以下是一个简单的闭包函数的示例：

def outer_function(x):
    def inner_function(y):
        return x + y
    return inner_function

add_5 = out_function(5)

print(add_5(3))	#输出 8

在上述代码中，outer_function返回了一个内部函数inner_function，而且inner_function可以访问outer_function中的变量x。最后，我们将outer_function的返回值赋给了变量add_5，这个变量表示加5的函数，当我们调用它们时，它们都会返回相应的结果。

1.2 作业

作业6：自定义一个计算函数compution，定义一个返回函数的函数timer，使用timer来修改compution，并通过timer统计compution的执行耗时

示例代码如下：

import time

# 定义计算函数
def compution(count, a, b):
    sum = 0
    for i in range(count):
        sum += a + b
    return sum

# 统计耗时
def timer(func):
    def wrapper(*args, **kwargs):
        start_time = time.time()
        sum = func(*args, **kwargs)
        end_time = time.time()
        print(f"函数 {func.__name__} 执行耗时： {end_time - start_time:.3f} 秒")
        return sum
    return wrapper

compution = timer(compution)

# 调用计算函数，并输出结果
compution(1000000, 5, 100)
compution(2000000, 3, 200)

输出结果如下：

2.sqrt(2)

作业[ML-1]：求解$\sqrt{2}$

2.1 传统方法

跟着杜老师提供的思路进行实现。

思路：

• 找一个初始值 $t$

• 评估 $t$ 与 $\sqrt{x}$ 之间的diff

• 问题转换为 $t^2$ 与 $x$ 之间的diff

• 循环，直到diff的误差在允许的范围类

  • 如果 diff > 0 说明此时的 $t$ 大了，应该将 $t$ 减小，但是又不能减太小
  • 如果 diff < 0 说明此时的 $t$ 小了，应该将 $t$ 增大，但是又不能增太多

• 最后将满足条件的 $t$ 返回即可

示例代码如下：

def difference(t, x):   # t与sqrt(x)相差趋近0 ==> t^2 - x -> 0
    return t ** 2 - x

def sqrt(x):
    t = x / 2   # 初始值需要选好
    diff = difference(t, x)
    lr = 0.01
    while abs(diff) > 1e-5:
        if(diff > 0):   # 说明 t 大了
            t = t - lr * t
        if(diff < 0):   # 说明 t 小了
            t = t + lr * t
        diff = difference(t, x)
    return t

sqrt_2 = sqrt(2)
print(f"sqrt(2) = {sqrt_2}")

运行效果如下：

2.2 梯度下降法

思考：

• 在之前的方法中，如何寻找更合适的 $t$ 进行优化呢？
• 优化的方向其实没有明确，斜率其实确定了正确的方向，而某点的斜率就是函数在该点处的导数值
• 加斜率值为变化量时，函数值会逐渐变大，梯度上升法；减去斜率值为变化量时，函数值会逐渐变小，梯度下降法

那么通过梯度下降法求解 $\sqrt{x}$ 的步骤如下：(from algoc++)

• 第一步：转化问题，将 $\sqrt{x}$ 转化为求取函数 $L(t)=(t^2-x{)}^2$ 的零点
• 第二步：寻找合适的解，找 $t$ 使得满足函数 $L(t)=0$
• 第三步：找到的 $t$，就是问题的解

那么如何去寻找 $t$ 使得 $L(t)=0$ 就是我们需要考虑的，具体如下：

• 第一步：随机给定一个初始值 $t_0$
• 第二步：观察，$t$ 应该如何调整使得函数值减小，即$L(t_1)<L(t_0)$
• 第三步：不断根据第二步调整，直到 $L(t_n)$ 足够接近于0

具体如何调整呢？我们可以在 $t$ 的领域内对比 $L(t-\Delta t)$与$L(t+\Delta t)$的值，考虑的 $t$ 的领域内因此 $\Delta t$ 是大于0的无穷小数。

若$L(t-\Delta t)<L(t)$，则$t1=t-\Delta t$；若$L(t+\Delta t)<L(t)$，则$t1=t+\Delta t$，可改写为

若$L(t)-L(t-\Delta t)>0$，则$t_1=t-\Delta t$；若$L(t+\Delta t)-L(t)<0$，则$t_1=t+\Delta t$

将其进行合并如下式：
$$t_1=t-\frac{L(t+\Delta t)-L(t)}{|L(t+\Delta t)-L(t)|}\Delta t\text{\hspace{1em}(1)}$$
对式子进行变换：
t 1 = t − L ( ( t + Δ t ) − L ( t ) Δ t ∣ L ( t + Δ t ) − L ( t ) Δ t ∣ Δ t = t − L ( t + Δ t ) − L ( t ) Δ t Δ t ∣ L ( t + Δ t ) − L ( t ) Δ t ∣ (2) t_{1}=t-\frac{\frac{L((t+\Delta t)-L(t)}{\Delta t}}{\left|\frac{L(t+\Delta t)-L(t)}{\Delta t}\right|} \Delta t=t-\frac{L(t+\Delta t)-L(t)}{\Delta t} \frac{\Delta t}{\left|\frac{L(t+\Delta t)-L(t)}{\Delta t}\right|} \tag2 t1​=t− ​ΔtL(t+Δt)−L(t)​ ​ΔtL((t+Δt)−L(t)​​Δt=t−ΔtL(t+Δt)−L(t)​ ​ΔtL(t+Δt)−L(t)​ ​Δt​(2)

$$t_1=t-\alpha \frac{L(t+\Delta t)-L(t)}{\Delta t}\left(\alpha \to 0^{+}\right)\text{\hspace{1em}(3)}$$

$$t_1=t-\alpha L^{\prime }(t)\left(\alpha \to 0^{+}\right)\text{\hspace{1em}(4)}$$

得出结论，新的 $t$ 只要等于 $t-\alpha L^{\prime }(t)$ 就能确保 $L$ 逐渐下降，直到逼近0为止，$\alpha$ 被称为学习率或步长。

关于学习率 $\alpha$ 有以下几点说明：

• 当 $\alpha$ 取无穷小时，虽然一定保证下降，但效率太慢
• 日常设计的很多函数，可以使用相对大一些的学习率，比如 $\alpha =0.01$ ，原因在于虽然步长大了可能跳过合适位置，但是在下一时刻，依旧可能跳回来
• 大的学习率不能保证一定收敛，但是大部分时候是可以很好的工作

示例代码如下：

def sqrt(x):
    t = x / 2   # 初始值
    L = (t**2 - x)**2  # 问题转换求函数L的零点即求极小值
    alpha = 0.01    # 学习率

    while(L > 1e-5):
        delta = 2 * (t**2 - x) * 2 * t   # L函数在t处的导数
        t = t - alpha * delta   # 新的t
        L = (t**2 - x)**2
    
    return t

sqrt_2 = sqrt(2)
print(f"sqrt(2) = {sqrt_2}")

运行效果如下：

2.3 牛顿法

牛顿法是一种迭代法，通过不断逼近函数的零点来求解方程的根。

具体实现：

• 先转换问题，将 $\sqrt{x}$ 转化为求解函数 $L(t)=(t^2-x)$ 的零点

• 考虑 $L(t)$ 在 $t_0$ 处的切线与x轴交点作为 $t_1$，从而不断逼近函数的零点

• 如下图所示，考虑以 $o2(t_0,L(t_0))$ 为原点，则切线可表示为 $k=L^{\prime }\left(t_0\right),b=0$，而与x轴交点可表示为：

$$k=\frac{d\left(o2,t_0\right)}{d\left(t_1,t_0\right)}=\frac{L\left(t_0\right)}{t_0-t_1}=L^{\prime }\left(t_0\right)\text{\hspace{1em}(1)}$$

$$\begin{gathered} t_0-t_1=\frac{L\left(t_0\right)}{L^{\prime }\left(t_0\right)} \\ {t}_1=t_0-\frac{L\left(t_0\right)}{L^{\prime }\left(t_0\right)}\text{\hspace{1em}(2)} \end{gathered}$$

示例代码如下：

def sqrt(x):
    t = x / 2         # 初始值
    L = t ** 2 - x    # 问题转化求L的零点

    while(abs(L) > 1e-5):
        dL = 2 * t         # L的导数
        t  = t - L / dL    # 新的t
        L  = t ** 2 - x
    
    return t

sqrt_2 = sqrt(2)
print(f"sqrt(2) = {sqrt_2}")

运行效果如下：

3.拓展

3.1 常用函数的导数

$$\begin{array}{cc}1.& (c{)}^{\prime }=0;\\ & \\ 2.& (x^{\alpha }{)}^{\prime }=\alpha x^{\alpha -1}(\alpha \in R);\\ & \\ 3.& (\sin x{)}^{\prime }=\cos x,(\cos x{)}^{\prime }=-\sin x;\\ & \\ 4.& (\tan {)}^{\prime }={\sec }^{2}x,(\cot {)}^{\prime }=-{\csc }^{2}x;\\ & \\ 5.& (a^x{)}^{\prime }=a^x\ln a,(e^x{)}^{\prime }=e^x;\\ & \\ 6.& ({\log }_{a}x{)}^{\prime }=\frac{1}{x\ln a},(\ln x{)}^{\prime }=\frac{1}{x};\\ & \\ 7.& \text{(arcsin}x{)}^{\prime }=\frac{1}{\sqrt{1-x^2}},\text{(arccos}x{)}^{\prime }=-\frac{1}{{\sqrt{1-x}}^2};\end{array}$$

3.2 链式法则

链式法则(chain rule)是微积分中的一个重要概念，它用于求一个复合函数的导数。对于一个由多个函数组合而成的函数，它的导数可以通过链式法则来计算。具体来说，若函数$h(x)=f(u)$和$u=g(x)$都可导，则复合函数$f(g(x))$也可导，通过链式法则有(拉格朗日符号)：(from wiki)
$$h^{\prime }(x)=f^{\prime }(g(x))g^{\prime }(x).$$
链式法则也可以用莱布尼茨的符号来表达。如果一个变量 $z$ 取决于变量 $y$，而 $y$ 本身又依赖于变量 $x$ (也就是说，$y$ 和 $z$ 是因变量)，那么 $z$ 也会通过中间变量 $y$ 依赖于 $x$。在这种情形下，链式法则可表达为：
$$\frac{dz}{dx}=\frac{dz}{dy}\cdot \frac{dy}{dx}$$
换句话说，链式法则指出，复合函数的导数等于外层函数在内层函数的导数的基础上再乘以内层函数的导数。

链式法则在微积分中有着广泛的应用，尤其是在求解一些复杂函数的导数时，可以通过链式法则将复杂函数分解为若干个简单函数的组合，从而更加便于求解。

3.3 作业

作业(补充)：求解$y=(3x^2-5{)}^2$的导数

通过链式法则进行求解

• 第一步：令$u=3x^2-5$，那么$y=u^2$

• 第二步：计算$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$

• 第三步：通过常用函数的导数计算$\frac{dy}{du}=2u$，$\frac{du}{dx}=6x$

• 第四步：得出结果$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}=2u\cdot 6x=2(3x^2-5)\cdot 6x=36x^3-60x$

总结

本次课程学习了python中闭包的概念，以及通过求解 $\sqrt{2}$ 了解了梯度下降法对后续的学习打下基础，同时复习了导数的相关概念，重温了一遍常用函数的求导以及链式法则。