【论文阅读】Does Learning Specific Features for Related Parts Help Human Pose Estimation?

一、CVPR2019

二、主要思想

      目前几乎所有的pose 网络,针对“单人姿态估计网络”，几乎都是共享全部feature 的。这个的意思从代码上来理解就是，在最后一层 1*1的那个卷积层 一次性输出所有需要预测的 joint，他们的输入都是相同的。

       这篇文章的作者，这里这样做是不合理的，并不是所有的关键点都是需要共享 high-level representation的，这样做反而会降低预测结果！

       这样就需要去思考哪些 joint 可以成为一个group，总共又需要几个组！

       下面两个图就可以做很好的结构上的对比：前面这个图是传统方案，后面的图是作者的方案

                                   、

 

                                        

三、细节探索

       1、如何去找到 不同 joint之间的relation，寻找初related parts把这些形成group。作者定义了如下公式：

                         

       这个公式理论来自于信息论，用来衡量，m n这两个关键的相关性！互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性 。

      p(x,y)是联合分布，p(x),p(y)是独立分布，I(x,y)是联合分布对于独立分布的相对熵。

      那么衡量的metric有了，接下来的事情就交给统计了！采用MPII作为大样本空间，进行统计：

                

       这样个统计结果，可以比较直观的反映出，不同joint之间的相关性！图(b)自然也就是分组。

     2、Part-based branching network (PBN)

       分好组了，每个组各自用自己的high-level representation。

                    

         这个网络结构还是比较清晰的，下图是mutli stage的版本，作为一种refine机制。

                             

    3、训练内容

     增广方案：尺度变换0.25，旋转30，剪裁0.5，水平翻转、颜色变化

      训练策略：RMSProp batchsize=25 epoch=250 lr=2.5e-4  step=[170,220]

   4、实验结果