Htanh

PyTorch自定义梯度

正向sign：y=sign(x)={−1x0y=\text{sign}(x)=\begin{cases}&-1&x0\end{cases}y=sign(x)=⎩⎪⎨⎪⎧−101x0反向Htanh：∂y∂
HackerTom·2022-11-19 08:31

tensorflow 实现自定义梯度反向传播代码

以sign函数为例：sign函数可以对数值进行二值化，但在梯度反向传播是不好处理，一般采用一个近似函数的梯度作为代替，如上图的Htanh。在[-1,1]直接梯度为1，其他为0。
青盏·2020-02-10 08:37

tensorflow 实现自定义梯度反向传播

以sign函数为例：sign函数可以对数值进行二值化，但在梯度反向传播是不好处理，一般采用一个近似函数的梯度作为代替，如上图的Htanh。在[-1,1]直接梯度为1，其他为0。
青盏·2018-10-04 15:23
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他