pytorch中一维卷积conv1d，参数含义，为何转置

pytorch中一维卷积conv1d，参数含义，为何转置

在Pytorch中，一维卷积是一种非常常用的运算，但是对于刚刚入门的新手，了解此函数的用法仍是一个比较费力的挑战。本文简单介绍一下此函数的常用参数的意义以及此函数的用法。
链接: cov1d函数的官方网站
本文以一个简单的例子作为介绍，现在应用的背景是二维平面上的点，每个batch的size为256，每一个训练数据包含20个点的二维坐标，那么原始输入的shape即为（256，20，2），现在的目的是对二维坐标做一个embedding，使每个点的维度从2维扩展成128维。官网上的部分截图如下所示：

因此这里重点关注$N$，$C$，$L$的含义即可。$N$表示batch的size，在本例中，也就是256；C代表通道数，因此本例中$C_{in}=2$，$C_{out}=128$；$L$代表输入序列的长度，这里$L_{in}=20$，因为本例中，只想将2维升到128维，因此可以控制卷积核的大小，保持$L_{out}$不变。
综上，最后完成要求的代码如下所示：

embeddings = self.conv1d(inputs.permute(0, 2, 1)).permute(0, 2, 1)

这里inputs是一个$256\ast 20\ast 2$的tensor，所以原始输入是$N\ast L\ast C$的形式，因此要做转置运算。最后如果想输出的格式为$256\ast 20\ast 128$，那还得做一次转置运算。这里的转置在很多深度学习代码中很常见，代码中经常转置来，转置去，初学者很容易绕进去，只需记住核心的一点就是，此函数是在哪个维度上进行操作，所以需要对维度进行相应的变换即可。一开始让笔者感到疑惑的也是这些转置运算，搞懂之后，便万变不离其宗了。