PyTorch中特殊函数梯度的计算

PyTorch中特殊函数梯度的计算

普通函数

对于简单的多元函数，对自变量求梯度很容易，例如：
$$f(x,y)=x^2+y^2$$
则有：
$$\{\begin{array}{rl}{\nabla }_{x}f(x,y)& =2x\\ {\nabla }_{y}f(x,y)& =2y\end{array}$$

import torch
x = torch.tensor([1, 1, 1.0], requires_grad=True)
y = torch.tensor([2, 2, 2.0], requires_grad=True)
z = torch.pow(x, 2) + torch.pow(y, 2)
z.sum().backward()
x.grad, y.grad

(tensor([2., 2., 2.]), tensor([4., 4., 4.]))

特殊函数

1. Max函数

一般是求几个输入元素的最大值，如何计算梯度呢？
$$f(x_0,x_1,\dots ,x_n)=\max (x_0,x_1,\dots ,x_n)$$

1. 在数值上求出最大值$a$

2. 对函数进行变换
   $$f(x_0,x_1,\dots ,x_n,a)=\max (x_0,x_1,\dots ,x_n,a)=\{\begin{array}{r}aifx<a\\ xifx=a\end{array}$$

3. 变换后就可以求梯度了
   $${\nabla }_{x}f(x,a)=\{\begin{array}{r}0ifx<a\\ 1ifx=a\end{array}$$

在PyTorch中，如果存在多个相等的最大值，那么它们均分"1"：

import torch

x = torch.tensor([1, 2, 3, 4, 4, 0.], requires_grad=True)
y = torch.max(x)
y.backward()
x.grad

tensor([0.0000, 0.0000, 0.0000, 0.5000, 0.5000, 0.0000])

2. Clip函数

在数据落在一定范围外时，与输入无关
$$f(x)=\{\begin{array}{rl}& xifa<x<b\\ & aifx<a\\ & bifx>b\end{array}$$

import torch

x = torch.tensor([1, 2, 3, 4, 5, 6, 7.0], requires_grad=True)
y = torch.clip(x, 1.5, 5.5)
y.sum().backward()
x.grad

tensor([0., 1., 1., 1., 1., 0., 0.])