Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network

Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network

论文题目Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network,  链接

该篇论文是IJCV 2014的, 文章的核心multi-tasks的joint traning. 

直接看图说话,  该论文的核心思想/步骤可以分为两个components:

  1对图像里面的person进行detection, 以便裁剪出图像里面的人.

        这个显然是必要的, 尤其是图像大而person小, 或者图像里面的人较多时(>= 2 people)

        由于这部分不是该论文里面的重点, 这点在此就不阐述了, 

         有兴趣的童鞋, 可以自行看一些person detection(或者行人检测)的论文之类的.

  2该论文的重头戏, pose estimation in still image. 下面将详细阐述该部分

Pose Estimation:

还是直接看图:

  1上图中输入是裁剪好的图像(根据由human body detector得到的bounding box around the human来获取)

  2 显然输入除了cropped image还需要对应的labels. 这里的labels就是对应cropped image的joints'/parts'的coordinates.

      显然为了获得更好的perfomace, 往往需要对labels进行归一化. 论文里的归一化比较简单:

          x = x / width, y = y / height. 这里的(width和height)是cropped image的高宽.

  3 在继续讲解之前, 需要声明一点: 

        论文里面的joint是指人体关节点, 

         而part则是多个joints形成的一个更大的joint, 

         论文里面的part指相邻两个joints形成的stickmen, (简称火柴人), 如下图红色的线段(segment line).

        

  4 重头戏来了:

     训练过程:

        提到训练, 就必须提到训练的输入是啥了:

           image: 根据person detection结果crop出来的image

           label:    这里有两个:

              joint regressor: 归一化后的joint的坐标(x1 y1 x2 y2 ...)

              part detector:    part heat map

           主要说下ground-truth part heat map的产生:

             论文里面假定heat map的大小为7 * 7, 总共8个parts. 

               (至于network怎么产生heat map的, 可以参考FCN这篇网络)

             heat map的每个pixel都可以通过network来找到对应的input image的感受野, 

             每个感受野都可以作为一个sliding window. 

             如果该感受野包括了该part的segment line的r%, 这里的r设为50.

             这该pixel的值就设为1, 否则设为0.

                 

              对于每个part都这样做, 就可以产生其对应的ground-truth的heat maps.

           那么对应的loss怎么确定?

                 joint regressor: 

                 

                 part detector:

                       

                 multi-tasks的loss为:

                    

         一旦输入(image & labels)弄好和loss fucntion定义好, 剩下的就是network的forward & backward了.

     测试过程:

        给定训练好的model和裁剪好的image, 其中在测试时, part detector是不要的.

           将image作为model的输入, forward获取joint regressor的结果, 并进行反归一化, 

            得到image坐标系下的坐标, 作为最后的预测结果. 

整体来说, 该论文的contribution: multi-tasks learning.

貌似这个已经给用烂了, 也没有什么好说的.

从效果上看, 还可以吧.

不足之处, 显然是通过网络将输入图像映射到pose空间上, 即通过全连接层直接回归pose的坐标.

至于为什么, 可以去看看google的"deeppose"论文, 

以及lecun的"Efficient Object Localization Using Convolutional Networks"论文.

(请各位客官自行google这些论文, 后续会对它们进行详细的介绍的, 敬请下次更精彩...)