点云深度学习——PCDet 代码复现及问题梳理
PCDet (PointCloudDet3D) 代码复现
几个小时前刚开源的3D目标识别代码，本人也一直在关注PointNet PointRCNN等识别方法，等到了这个代码的开源。
本博客仅记录代码复现过程，以自己个人经历帮助更多菜鸟尽快熟悉
代码链接: https://github.com/sshaoshuai/PointCloudDet3D
论文原文链接: https://arxiv.org/abs/1907.03670
环境配置
我的电脑环境: CUDA10.0＋CUDNN 7.5＋Python 3.6.8（Anaconda）＋Ubuntu16.08＋Pytorch1.1＋torchvision0.4.0
git clone代码
git clone https://github.com/sshaoshuai/PointCloudDet3D.git
接下来按照requirement.txt 安装相应包
别的都可以用pip3 或者 conda解决，中间spconv安装时有点小问题
git clone https://github.com/traveller59/spconv --recursive
不要直接下载，会导致Cmakelist 找不到的情况出现
接下来安装Cmake
wget http://www.cmake.org/files/v.3.13/cmake-3.13.2.tar.gz
tar xvf cmake-3.13.2.tar.gz
cd cmake-3.13.2
./configure
make && make install
要记得将Cmake 放置到环境下，防止出现Cmake的问题
sudo gedit ~/.bashrc
export PATH=$PATH:/your path/cmake-3.13.2/bin
source ~/.bashrc
之后安装boost
sudo apt-get install libboost-all-dev
进入下载好的代码文件夹spconv进行编译
python３ setup.py bdist_wheel
如果中间出现如下所示的问题，应当是Pytorch版本不匹配
error: expected primary-expression before ‘(’ token
return tv::TensorView<T>(tensor.data_ptr<std::remove_const_t<T>>(), shape);
我将原来的pytorch 1.0 更新成pytorch 1.1，同时更新相应的torchvision
链接:https://pytorch.org/get-started/previous-versions/
之后进入文件夹进行安装即可
cd ./dist
pip3 install spconv-xxx-xxx.whl
如果还是没办法编译成功的话， 可以直接安装我编译好的spconv 1.0版本
提取码：bs4z
接下来转到下载后的Det3D代码文件夹，安装pcdet
python3 setup.py develop
将KITTI数据集放入，并将文件列成如下格式
PointCloudDet3D
├── data
│ ├── kitti
│ │ │──ImageSets
│ │ │──training
│ │ │ ├──calib & velodyne & label_2 & image_2 & (optional: planes)
│ │ │──testing
│ │ │ ├──calib & velodyne & image_2
├── pcdet
├── tools
如果有需要的话博主网盘里有下载好的KITTI数据集
提取码：gjuy
里面的就是全部了
进入**‘pcdet/datasets/kitti’**运行
python3 kitti_dataset.py create_kitti_infos
这步如果出错一般是spconv版本不对，缺少相应的Python库等问题
得到如下文件们：
检验预训练模型（可以从github获取）使用如下语句
python3 test.py --cfg_file cfgs/pointpillar.yaml --batch_size 1 --ckpt cfgs/pointpillar.pth --save_to_file
基于预训练模型进行训练使用如下语句
python3 train.py --cfg_file cfgs/pointpillar.yaml --batch_size 1 --ckpt cfgs/pointpillar.pth
注意要将“./pcdet/datasets/dataset.py”部分替换成：
def prepare_data(self, input_dict, has_label=True):
"""
:param input_dict:
sample_idx: string
calib: object, calibration related
points: (N, 3 + C1)
gt_boxes_lidar: optional, (N, 7) [x, y, z, w, l, h, rz] in LiDAR coordinate, z is the bottom center
gt_names: optional, (N), string
:param has_label: bool
:return:
voxels: (N, max_points_of_each_voxel, 3 + C2), float
num_points: (N), int
coordinates: (N, 3), [idx_z, idx_y, idx_x]
num_voxels: (N)
voxel_centers: (N, 3)
calib: object
gt_boxes: (N, 8), [x, y, z, w, l, h, rz, gt_classes] in LiDAR coordinate, z is the bottom center
points: (M, 3 + C)
"""
sample_idx = input_dict['sample_idx']
points = input_dict['points']
calib = input_dict['calib']
if has_label:
gt_boxes = input_dict['gt_boxes_lidar'].copy()
gt_names = input_dict['gt_names'].copy()
if self.training:
selected = common_utils.drop_arrays_by_name(gt_names, ['DontCare', 'Sign'])
gt_boxes = gt_boxes[selected]
gt_names = gt_names[selected]
gt_boxes_mask = np.array([n in self.class_names for n in gt_names], dtype=np.bool_)
if self.db_sampler is not None:
# road_planes = self.get_road_plane(sample_idx) \
# if cfg.DATA_CONFIG.AUGMENTATION.DB_SAMPLER.USE_ROAD_PLANE else None
sampled_dict = self.db_sampler.sample_all(
self.root_path, gt_boxes, gt_names, #road_planes=road_planes,
num_point_features=cfg.DATA_CONFIG.NUM_POINT_FEATURES['total'], calib=calib
)
至此模型训练与检验结束，放张可视化的图：
至于检测速度方面，博主PC端检测是15Hz，Xaiver上10Hz左右。
欢迎同行小伙伴交流