深度学习领域专有名词的理解与释义

  很早之前就想把深度学习领域中一些专有名词的意思整理记录下来，但是迟迟没有动手。今天，下定决心做这件事，不打算填坑了，遇到什么就记录什么吧。

1. 知识蒸馏（Knowledge Distillation）
     知识蒸馏就是想利用一个复杂的，精度高的网络（教师网络），来训练一个简单的网络（学生网络），使得学生网络用比较简单的网络结构，同样能够达到教师网络的效果，相当于对知识进行了提取和蒸馏过程。训练过程中，损失函数通常包括软约束和硬约束，软约束就是教师网络的输出与学生网络输出之间的差异，硬约束就是groundtruth和学生网络输出之间的差异，最后对这两个损失做加权求和。
   相关论文：《Distilling the Knowledge in a Neural Network》
   参考博客：https://blog.csdn.net/nature553863/article/details/80568658
2. 深度分离卷积（Depthwise Separable Convolutions）
     对于普通的卷积操作，假设输入图像为3通道，输出通道为5，卷积核大小为3 * 3，则在卷积过程中，会有5个不同的卷积核，每个卷积核都包含三个通道，对应输入图像的三通道，对于每个卷积核，三个通道卷积的结果求和得到通道数为一的输出，五个卷积核共得到五个通道数为一的输出，组合成通道数为五的输出。其中涉及的参数数量为3 * 3 * 3 * 5 = 135。对于深度分离卷积，则是先用3个3 * 3的卷积核对输入图像进行卷积，每一个卷积核对应一个通道，输出的结果并不累加起来。这一步是在通道维度上进行卷积，下一步则使用1 * 1的卷积核在像素维度上进行卷积。具体来说，是用5个卷积核，每个卷积核同样包含三个通道，但卷积核的大小为1 * 1，对刚刚通道维度卷积得到的三通道特征图进行普通卷积操作，得到五个通道的输出。这种方法涉及的参数数量为 3 * 3 *3 + 3 * 1 * 1 *5 = 52，大大缩小了参数数量。
   相关论文：《Xception: Deep Learning with Depthwise Separable Convolutions》
   参考博客：https://blog.csdn.net/tintinetmilou/article/details/81607721
3. 可变型卷积（Deformable Convolution）
     普通卷积核是一个紧密的N* N矩阵形式，只能对连续的，临近的部分像素进行卷积，而可变型卷积理论上能够对整幅图片上任意位置上的像素进行卷积。与普通的卷积相比，可变型卷积增加了一个“偏移”（offset）分支，这个分支的输出通道是输入通道的两倍，分别表示每个像素点在X，Y方向上的偏移量，假设$X_{ij}^c$表示通道$c$上的坐标为$（i，j）$点处的特征值，经过偏移分支得到的X，Y方向上的偏移量分别是1和2，则原本坐标$（i，j）$处的特征值就要替换为$（i+1，j+2）$处的特征值。也就是说虽然在空间位置上两个像素是相邻的，但是由于每个点处的偏移都不同，经过偏移后，相邻像素点上的特征值就不再是之前的特征值了。当然由于偏移量通常是一个浮点数，因此要借助双线性插值来计算偏移后的特征值。假设偏移量为（0.5,1.2），则需要根据$(floor(i-0.5),floor(j-1.2)),(floor(i-0.5),ceil(j-1.2)),(ceil(i-0.5),floor(j-1.2)),(ceil(i-0.5),ceil(j-1.2))$四个点上的特征值进行双线性插值计算$X_{i+0.5,j+1.2}^c$处的特征值。
   相关论文：《Deformable Convolutional Networks》
   参考博客：https://blog.csdn.net/yeler082/article/details/78370795