论文笔记：Spherical Regression: Learning Viewpoints, Surface Normals and 3D Rotations on n-Spheres

摘要

Many computer vision challenges require continuous outputs, but tend to be solved by discrete classification. The reason is classification’s natural containment within a probability n-simplex, as defined by the popular softmax activation function. Regular regression lacks such a closed geometry, leading to unstable training and convergence to suboptimal local minima. Starting from this insight we revisit regression in convolutional neural networks. We observe many continuous output problems in computer vision are naturally contained in closed geometrical manifolds, like the Euler angles in viewpoint estimation or the normals in surface normal estimation. A natural framework for posing such continuous output problems are n-spheres, which are naturally closed geometric manifolds defined in the ℝ(n+1) space. By introducing a spherical exponential mapping on n-spheres at the regression output, we obtain well-behaved gradients, leading to stable training. We show how our spherical regression can be utilized for several computer vision challenges, specifically viewpoint estimation, surface normal estimation and 3D rotation estimation. For all these problems our experiments demonstrate the benefit of spherical regression. All paper resources are available at https://github.com/leoshine/Spherical_Regression。

很多计算机视觉任务要求连续的输出，但是通常被离散分类解决。原因是分类问题本质上在一个概率n单纯形内。常规的回归缺少一个这样的闭合几何结构，导致训练不稳定并收敛到局部极值。从这点出发，我们重新考察了CNN中的回归问题。我们观察到计算机视觉领域中的连续输出问题本质上在一个闭合的几何流形内，例如在视角估计中的欧拉角，表面法向量估计中的法向量。引起这种连续输出问题的本质框架是n-球，通常是定义在${\mathbb{R}}^{n+1}$空间下的闭合几何流形。通过在回归输出中引入在n球上的球形映射，我可以得到表现良好的梯度，有利于稳定训练。我们展示了我们的球形回归可以用于多种计算机视觉问题，例如视角估计、表面法向量估计和3D旋转估计。对于这些问题，我们的实验说明了球形回归的优势。文章中的所有资源可在https://github.com/leoshine/Spherical_Regression中获得。

we observe many continuous output problems in computer vision are naturally contained in closed geometrical manifolds defined by the problem at hand.
这篇文章观察到了计算机视觉中很多连续输出问题本质上在一个由特定问题定义的闭合集合流形中。例如，视角估计中，角度在$[-\pi ,\pi ]$之间，表面法向量估计中法向量的$l_2$模为1。这表明引起这种连续输出问题的本质框架在n-球 $S^n$内， 由在${\mathbb{R}}^{n+1}$空间的闭合几何流形定义。

这篇文章的主要贡献有三点：

1. 将n-球应用到计算机视觉中的连续输出问题，利用n-球的性质，做球形回归；
2. 提出了一种新型的、球形映射激活函数，为在$S^n$球上回归特别定义。
3. 展示了一般的球形回归框架可以用于几种计算机视觉任务，例如视角估计、表面法向量估计、3D旋转估计等。

动机

深度分类与回归网络

将CNN分为两个子网络，为base network和prediction head。

基础网络包括从输入x到中间隐藏embedding层$\mathbf{O}=[o_0,o_1,\dots ,o_n{]}^T=H(x)$。给定一个输入$x$，隐藏表示层$O$是无约束的。

预测头包括了在损失函数之前的最后一个$n+1$维的层$P$，通常称为网络的输出。该层由激活函数$g(\cdot )$得到，$\mathbf{P}:p_k=g(o_k;\mathbf{O})$.

训练

在训练过程中，第k层的参数由随机梯度下降更新：${\theta }_k\leftarrow {\theta }_k-\gamma \frac{\partial \mathcal{L}}{\partial {\theta }_k}$。展开链式法则：

$$\frac{\partial \mathcal{L}}{\partial {\theta }_k}=\frac{\partial \mathcal{L}}{\partial \mathbf{P}}\frac{\partial \mathbf{P}}{\partial \mathbf{O}}(\frac{\partial \mathbf{O}}{\partial h_{l-1}}\cdots \frac{\partial h_{k+1}}{\partial h_k})\frac{\partial h_k}{{\theta }_k}$$

当梯度受约束时，训练是稳定、收敛的。否则，梯度更新会导致优化的边界效应。

分类

在分类中，常用的激活函数和损失函数为softmax和cross entropy：$g(o_k;\mathbf{O})=\{p_i=e^{o_i}/{\sum }_j{e}^{o_j},i=0,1,2,\cdots ,n\}$，$\mathcal{L}(\mathbf{O},\mathbf{Y})=-{\sum }_i{y}_i\log p_i$。注意到softmax将原始的embedding$\mathbf{O}\in {\mathbb{R}}^{n+1}$映射到了结构化的输出$\mathbf{P}$，称为n-单纯形，其维度大于0，元素和为1。

输出概率关于隐藏激活单元的偏导数为：

$$\frac{\partial p_j}{\partial o_i}=\{\begin{array}{ll}{p}_j(1-p_j)& \mathrm{w}\mathrm{h}\mathrm{e}\mathrm{n}\mathrm{j}=\mathrm{i}\\ -p_j{p}_i& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{s}\end{array}$$

我们注意到偏导数$\frac{\partial p_j}{\partial o_i}$并不直接依赖于$\mathbf{O}$，这导致损失函数关于$o_j$的偏导数为：

$$\frac{\partial \mathcal{L}}{\partial o_i}=-\sum _k\frac{y_k}{p_k}\cdot \frac{\partial p_k}{\partial o_i}=p_i-y_i$$

与$\mathbf{O}$无关。由于$\mathbf{P}$对应于位于n维单纯形上的概率分布，本质上收到$l_1$模的约束，$p_j\le 1$。因此偏导数$\frac{\partial \mathcal{L}}{\partial \mathbf{O}}$仅依赖于一个受约束的量。

回归

在回归问题中，在最后一层没有明确的激活函数保证流形结构。原始的embedding层直接与真值进行比较。以smooth-L1损失为例子：
$$\mathcal{L}=\{\begin{array}{ll}0.5|y_i-o_i{|}^2& \mathrm{i}\mathrm{f}|{\mathrm{y}}_{\mathrm{i}}-{\mathrm{o}}_{\mathrm{i}}|\le 1\\ |y_i-o_i|-0.5& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$

损失函数关于$o_i$的偏导数为：
$$\frac{\partial \mathcal{L}}{\partial o_i}=\{\begin{array}{ll}-(y_i-o_i)& \mathrm{i}\mathrm{f}|{\mathrm{y}}_{\mathrm{i}}-{\mathrm{o}}_{\mathrm{i}}|\le 1\\ -sign(y_i-o_i)& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$
可以观察到，偏导数$\frac{\partial \mathcal{L}}{\partial o_i}$直接依赖于原始输出项$\mathbf{O}$。因此，如果$\mathbf{O}$具有很高的方差，无约束的梯度也会相应地具有较高的方差。因此训练将会不稳定。

结论

使用CNN进行分类可以获得稳定的梯度并收敛。原因是偏导数$\frac{\partial \mathcal{L}}{\partial \mathbf{P}}\cdot \frac{\partial \mathbf{P}}{\partial \mathbf{O}}$是受约束的，因此梯度$\frac{\mathcal{L}}{{\theta }_k}$也是受约束的。
而使用CNN进行回归可能会有不稳定和局部次优解，因为在训练过程中梯度是无约束的。

文章接下来的内容集中在标签$Y$在受限的n-球流形中的回归问题。

球回归

n-球定义为$S^n$，是欧式空间中n+1维球的表面。

n球上受约束回归

为了增强深度回归网络在n球上的训练稳定性，一个目标是保证梯度也是受限的。为了约束梯度，本文提出一个在$\mathbf{O}$之后的激活层。该激活层有两个性质：

1. 激活函数的输出$\mathbf{P}=p_k$应在n-球上，即${\sum }_k{p}_k^2=1$。
2. 类似于分类，梯度$\frac{\partial \mathcal{L}}{\partial \mathbf{O}}$不能依赖于输入信号，即$\frac{\partial \mathcal{L}}{\partial \mathbf{O}}$不能直接依赖于原始的隐藏层embedding $\mathbf{O}\in {\mathbb{R}}^{n+1}$。

为了满足以上两点要求，提出了Spherical Exponential Function(球形指数映射函数)：

$$p_j=S_{exp}(o_j;\mathbf{O})=\frac{e^{o_j}}{\sqrt{{\sum }_k{e}^{2o_k}}}$$

由于球形指数映射函数将输出限制为正整数，因此还需要一个分支预测输出的符号以保证输出值在整个n-球上。
梯度为：
$$\frac{\partial p_j}{\partial o_i}=\{\begin{array}{ll}{p}_i\cdot (1-p_i^2)& \mathrm{w}\mathrm{h}\mathrm{e}\mathrm{n}\mathrm{i}=\mathrm{j}\\ -p_i^2\cdot p_j& \mathrm{w}\mathrm{h}\mathrm{e}\mathrm{n}\mathrm{i}̸=\mathrm{j}\end{array}$$

结论

给定了球形映射函数$g(\cdot )$，梯度$\frac{\partial \mathbf{P}}{\partial \mathbf{O}}$与$\mathbf{O}$是分离的，$\mathbf{P}$受n-球约束。给定真值$\mathbf{Y}$，可以计算损失函数$\mathcal{L}=-⟨\mathbf{P},\mathbf{Y}⟩$，由于$\mathbf{P}$和$\mathbf{Y}$的模都是1，该损失函数与余弦距离损失、L2损失函数相似。因此，梯度$\frac{\partial \mathcal{L}}{\partial p_i}=-sign(p_i)|y_i|$只和$\mathbf{P}$有关。我们同样可以将单个的输出$\{p_1^2,p_2^2,\cdots \}$视为连续的概率，对连续的标签$y_i^2$使用cross-entropy损失，$H({\mathbf{Y}}^2,{\mathbf{P}}^2)=-2{\sum }_i{y}_i^2\log p_i$。

总结：使用球形映射函数的球形回归保证了参数受约束地更新，期望其有助于稳定地训练与收敛。在三种应用和数据集中验证了该想法。

$S^1$，$S^2$, $S^3$上的特殊情况

$S^1$：欧拉角估计

两个组成部分：

1. 带有球面指数映射的对两个绝对值的回归分支：$|P|=[|\cos \varphi |,|\sin \varphi |]$, 2
2. 预测符号组合的分类分支：$sign(\cos \varphi )$和$sign(\sin \varphi )$, 4

$S^2$：表面法向量估计

表面法向量$\mathbf{v}=[N_x,N_y,N_z{]}^T$，其中$N_x^2+N_y^2+N_z^2=1$。由于对于相机而言，这些表面是可见的，因此从二位图像中计算得到的表面法向量都是指向平面外的，也就是$N_z>0$。因此表面法向量位于一个三维单位半球上。
因此两个组成部分是：

1. 回归：$[N_x,N_y,N_z]$, 3
2. 分类：$|N_x|$和$|N_y|$的符号组合，4

$S^3$：3D旋转估计

三维的旋转可以用单位四元数表示，$q=a+b\mathbf{i}+c\mathbf{j}+d\mathbf{k}$，其中$a^2+b^2+c^2+d^2=1$。由于$q$和$-q$表示相同的旋转量，可以设定$a>0$。因此，三维旋转量在四维半球上。给定旋转向量表示的3D旋转$q=(\theta ,\mathbf{v})$，其单位四元数表示为$(\cos \frac{\theta }{2},\sin \frac{\theta }{2}\mathbf{v})$。
两个组成部分为：

1. 回归： $[|a|,|b|,|c|,|d|]$,4
2. 分类：$\{|b|,|c|,|d|\}$的符号组合,8

实验

文章分别对$S^1$、$S^2$和$S^3$进行了实验，验证了方法的有效性。

结论

We conclude that spherical regression is a good alternative for tasks where continuous output prediction are needed.