Lightweight OpenPose

                            Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose

1、优势

1)  迷你PCIntel®NUC上的28 fps(它消耗的功率很少,并具有45瓦CPU TDP)

2)在常规CPU上为26 fps,而无需图形处理器

3)AP精度下降不超过1%(大小仅4.1M ,是two-stages openpose的15%)

 

2、常规openpose总结:

1、关键点热图及其成对关系(部分相似性字段,pafs)。 该输出被下采样8次。

2、按人员实例对关键点进行分组。 它包括对原始图像的升采样张量大小,热图峰值处的关键点提取及其按实例分组。

Lightweight OpenPose_第1张图片

网络首先提取特征,然后对热图和pafs进行初始估计,之后进行5个优化阶段。 它能够找到18种类型的关键点。 然后从预定义的关键点对列表中搜索每个关键点的最佳对(按亲和力),例如左肘和左手腕右臀部和右膝盖,左眼和左耳等,总共19对。


在推理期间,调整输入图像的大小以匹配网络输入。按高度大小调整宽度,以保留图像的宽高比,然后填充为8的倍数 

 

3、openpose的网络结果和计算量

Lightweight OpenPose_第2张图片

可以看出,后期阶段对每个GFLOP的改进较少,因此对于优化版本,我们将仅保留前两个阶段:初始阶段和单个优化阶段。

 

4、优化方法

1、通道数不变,但使用膨胀卷积节省空间分辨率。

2、共享大部分计算

原因:To produce new estimation of keypoint heatmaps and pafs the refinement stage takes features from backbone, concatenated with previous estimation of keypoint heatmaps and pafs.

Lightweight OpenPose_第3张图片

3、将每个具有7x7内核大小的卷积替换为具有相同接收场的卷积块,以捕获远程空间依赖性[15]。 我们使用此区块设计进行了一系列实验,观察到足以进行三个连续的卷积,分别具有1x1、3x3和3x3内核大小,后者的膨胀参数等于2,以保留初始接收场。 由于网络越来越深,我们为每个这样的块添加了剩余连接[5]。

                                                    Lightweight OpenPose_第4张图片

4、后处理加速

我们决定跳过调整大小的步骤,直接对网络输出进行分组,但是准确性显着下降。 

因此,利用upsample factor 8 去调整图片大小

6、结果

Lightweight OpenPose_第5张图片

 

你可能感兴趣的:(Lightweight OpenPose)