高维张量运算应用—卷积层的反向求导

高维张量运算应用—卷积层的反向求导

---

一般形式的张量

所谓张量，不考虑物理意义，仅在形式上来看，是一个n阶的量$a_{i_1{i}_2{i}_3...i_n}$，张量积有以下特殊形式:
　　n=0时是标量。
　　n=1时是向量(矢量)。
　　n=2时是矩阵。
　　n更高时是高维张量。
　　
　　在tensorflow中可以用tensor定义张量。

---

一般形式的张量积

以下用I，J，K表示下标集合(可以为空)，$i$，$j$，$k$ 为下标。
　　关于张量积，$c_{IK}=a_{IJ}{b}_{JK}$，表示$c_{IK}={\Sigma }_J{a}_{IJ}{b}_{JK}$，张量积有以下特殊形式:
　　$c=a_i{b}_i$，对应向量点积$c=a^{T}b$
　　$c_I=a_I{b}_I$，对应张量的按元素积$c=a\odot b$
　　$c_{IJ}=a_I{b}_J$，对应张量的张量积$c=a\otimes b$
　　$c_{ik}=a_{ij}{b}_{jk}$，对应矩阵乘法$c=ab$
　　
　　在tensorflow中可以用einsum('ij,jk->ik', a, b)定义张量乘法，前一个字符串指定了求和方式。

---

利用张量积运算推导张量导数

用张量积运算推导高维量的推导相比矩阵运算推导，处理维度更加方便清晰，下面以矩阵，向量运算，统一用张量进行推导:
　　
　　$\frac{d(AB)}{dt}=\frac{d(A_{ij}{B}_{jk})}{dt}=\frac{A_{ij}d{B}_{jk}+B_{jk}d{A}_{ij}}{dt}=A\frac{dB}{dt}+\frac{dA}{dt}B$
　　$\frac{d(a^{T}x)}{dx}=\frac{d(a_i{x}_i)}{d{x}_k}=\frac{d(a_i{x}_i)}{d{x}_i}=a_i=a$
　　$\frac{d(Wx)}{dx}=\frac{d(W_{ij}{x}_j)}{d{x}_k}=\frac{d(W_{ij}{x}_j)}{d{x}_j}=W_{ij}=W$

---

利用张量积运算推导卷积层的反向求导

用张量积运算推导高维量的推导相比矩阵运算，更加清晰，不易错。
　　
　　下面假设卷积层 $y=x\ast w$，即 $y_{ij}={\Sigma }_{kl}{x}_{i+k,j+l}{w}_{kl}$
　　下面用张量运算推导卷积层的反向求导:
　　那么$\frac{\partial y_{ij}}{\partial x_{kl}}=w_{i-k,j-l}$，进而$\frac{\partial L}{\partial x_{kl}}=\frac{\partial L}{\partial y_{ij}}\frac{\partial y_{ij}}{\partial x_{kl}}=w_{i-k,j-l}\frac{\partial L}{\partial y_{ij}}=\frac{\partial L}{\partial y_{ij}}\ast w^{-}$，其中$w_{ij}^{-}=w_{-i,-j}$。

更多

关于张量积更多请看我的另一篇博客 https://blog.csdn.net/PKU_ZZY/article/details/88058838