点云压缩基础

目录

点云的概念、来源及应用

压缩点云主流平台

压缩方法分类

直观压缩效果

处理常用的工具

参考链接

---

点云的概念、来源及应用

点云就是一堆点，可以用坐标表示物体形状，通常由三维坐标（XYZ）、激光反射强度（reflectance）和颜色信息（RGB）中的一种或多种组成。

常见来源：雷达扫描的、CAD生成的、RGB-D（带深度信息的RGB图片；RGBD设备是获取点云的设备，比如PrimeSense公司的PrimeSensor、微软的Kinect、华硕的XTionPRO。）；可用于定位、物体检测分类、重建物体（游戏etc.）、面部检测重建、手势识别、姿态检测等。现在所说的点云几乎全是3D的点云.

重建一个3D物体的几种方法：面、体素网格和八叉树（上图从左至右）

点云在数学本质上是一个矩阵；

优点：简单明了易处理

缺点：稀疏；不规则（难以搜索邻居）；缺少纹理信息；无序（深度学习难处理，不同顺序的输入矩阵能得到完全不同的结果）；旋转不变性（点云数据表三维物体，所有整体数据的旋转不会改变数据特征，但数学上难以识别旋转后矩阵）

按维度可分为二维（从3D信息映射至2 D）和三维（采用稳定结构对点云所在的空间进行分解，再对该结构进行预测与变换以减少冗余【热点】）

压缩点云主流平台

点云数据很大要压缩。压缩点云的平台国际上有MPEG的基于几何的点云压缩(Geometry Point Cloud Compression，G-PCC) 和基于视频的点云压缩 (Video Point Cloud Compression, V-PCC) 两个平台；国内有AVS的AVS-PCC平台。V-PCC旨在为需要实时解码的应用提供低复杂度的解码能力，如虚拟/增强现实、沉浸式通信等。G-PCC可为自主驾驶、3D地图和其他利用激光雷达生成的点云（或类似内容）的应用程序的部署提供高效的无损和有损压缩。

V-PCC的整体框架如下图所示，类似于传统的三维视频，整体编码过程可分为四个步骤：补丁生成、几何/纹理图像生成、附加数据压缩和视频压缩。视频压缩过程可以采用已发布的视频编码标准H.265/HEVC、H.266/VVC进行压缩。

G-PCC的流程如图4。首先体素化，即对输入的三维位置进行积分来得到位置表示，通过创建一个边界框来计算对象在所有xyz方向上的最大尺寸，然后将最大尺寸用作给定比特范围的最大值（即10位表示中的1023）。其次创建八叉树。八叉树非常适合于稀疏采样的点云，八叉树构建过程如图5所示。当完成了体素化，每个3D点（或位置）可以表示为八叉树中的叶节点。在这种情况下可以实现无损表示。对于有损压缩，叶节点可以是包含一个或多个点的大体素。图6是“斯坦福兔子”的体素化结果。八叉树形成后，每个含有一个或多个点的体素通过预测、变换和量化等常规压缩过程进行编码。最后，编码后的数据经过熵编码过程。

图4

图5

图6

G-PCC的框架如下图所示

具体的一个八叉树与数据结构之间的对应关系如下图。当前八叉树深度为2，包围框左上角划分三个红色被占点。即这一级别有三个子立方体被占用。占用码为0110 0001

LOD生成：假设P0为起始点，计算各点的欧氏距离，遍历所有点之间的距离，根据点与点之间的距离，划分层级。如图所示，LOD1层级，P0,P2,P8,P9为同一层级，因为它们之间的距离相较于其他点之间的距离要＞某个阈值。LOD2层级中的点又包含LOD1层级的点，往后以此类推。

在实际的PCC中，LOD生成+邻居查找是最费时的模块，占总耗时60~70%，其次是预测和变换，分别各占约3%编码时间。

lifting transform

基于插值的预测(Predict Transform)：按照LoD生成过程定义的顺序进行差分编码，然后预测颜色信息。注意，只有已经编码/解码的点才能作为预测的参考点。对于第i个点，可以通过其k个最近邻的线性组合来预测其属性值:提升变换（LT）：为了进一步提高编码效率，[41]中提出了LT。该方法的基础是使下层LOD中的点更有影响力（因为它们经常用于进行预测）。

压缩方法分类

传统方法：先去除一部分冗余，再使用变换与量化将空间域的点云变换到频域并压缩变换系数，再经过熵编码进一步压缩比特流。优点：简单直观易理解、可控易debug；缺点：语义难建模，用户不友好

深度方法：通过卷积神经网络将点云数据编码为隐藏表示，再量化隐藏特征，基于学习熵模型和熵编码将上下文输入的情况下每个符号出现的概率压缩并产生比特流。优点：简单高效、数据驱动；缺点：不可解释、黑盒不可控、需要硬件支持（GPU/FPGA etc.）、因为门槛低所以难找工作..

直观压缩效果

处理常用的工具

低层次处理方法:

①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。②关键点：ISS3D、Harris3D、NARF，SIFT3D

中层次处理方法：

①特征描述：法线和曲率的计算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image

②分割与分类：

分割：区域生长、Ransac线面提取、全局优化平面提取

　　　K-Means、Normalize Cut（Context based）

　　　3D Hough Transform(线、面提取)、连通分析

分类：基于点的分类，基于分割的分类，基于深度学习的分类（PointNet，OctNet）

高层次处理方法：

①配准：点云配准分为粗配准（Coarse Registration）和精配准（Fine Registration）两个阶段。

精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种（稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。

粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。

基于穷举搜索的配准算法：遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如RANSAC配准算法、四点一致集配准算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等……

基于特征匹配的配准算法：通过被测物体本身所具备的形态特性构建点云间的匹配对应，然后采用相关算法对变换关系进行估计。如基于点FPFH特征的SAC-IA、FGR等算法、基于点SHOT特征的AO算法以及基于线特征的ICL等…

②SLAM图优化

Ceres（Google的最小二乘优化库，很强大）， g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、NDT

③三维重建

泊松重建、 Delaunay triangulations、表面重建，人体重建，建筑物重建，树木重建。结构化重建：不是简单的构建一个Mesh网格，而是为场景进行分割，为场景结构赋予语义信息。场景结构有层次之分，在几何层次就是点线面。实时重建：重建植被或者农作物的4D（3D+时间）生长态势；人体姿势识别；表情识别；

④点云数据管理：点云压缩，点云索引（KD、Octree），点云LOD（金字塔），海量点云的渲染

参考链接

【点云阅读笔记】点云压缩综述_Jonathan_Paul 10的博客-CSDN博客

点云压缩——点云压缩相关知识介绍_Surplus°的博客-CSDN博客_点云压缩

点云压缩现状及发展趋势_洌泉_就这样吧的博客-CSDN博客_点云压缩

点云概念与点云处理_Daisey_tang的博客-CSDN博客_点云

三维点云PPT.rar_点云PCA方向中轴线-互联网文档类资源-CSDN下载

GPCC入门说明_凡心_07的博客-CSDN博客

G-PCC点云压缩实验结果_喳喳虾子的博客-CSDN博客