本文是对苹果公司2017年VoxelNet论文的复现项目介绍。该网络基于点云实现3D物体检测，通过VFE层提取体素特征，经3D卷积和RPN网络完成检测。项目可训练评估，但单卡训练未达论文精度，存在内存泄漏问题。还介绍了数据集准备、库安装、训练评估步骤及部分结果指标。

VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection

VoxelNet：基于点云的三维空间信息逐层次学习网络

1、项目总览

①、简介

本项目主要是对来自2017年苹果公司基于点云的3D物体检测论文"VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection"进行复现。 VoxelNet只利用点云数据，在无人驾驶环境下实现了高精度的三维物体检测。

Note：项目目前可以训练、可以评估预测。但是（单卡训练，bs=2,epoch=100）未达到论文精度（论文bs=16,epoch=160）。有兴趣的同学可以自己尝试

另外重要的是：训练存在内存泄漏问题，之前定位到dataloader泄漏，不知道是数据预处理部分有问题还是paddle的问题，但是自己没闲功夫修改了，具体位置有兴趣的同学自己排查吧。 不然就得训练一段时间断掉再resume，其中train_fix_oom.py就是采用了读取内存，超过阈值resume的方案～

想要复现指标，一个是要调整参数（主要是yaml文件里的参数，但是参数改动可能造成出错），一个是要把项目里的bug fix掉噢！我认为调大batchsize应该会有大的提升！但是我并未尝试过多卡训练，所以可能会出问题。

ps：本项目主要是从second修改而来，所以稍加修改即可复现second和pointpillar。

之前训练(未训练完)的某次结果指标：

Car AP@0.70, 0.70, 0.70:bbox AP:53.40, 41.52, 35.37bev AP:52.85, 40.87, 34.853d AP:50.86, 36.90, 30.71aos AP:28.13, 23.91, 21.17Car AP@0.70, 0.50, 0.50:bbox AP:53.40, 41.52, 35.37bev AP:53.44, 42.09, 35.773d AP:53.42, 41.90, 35.65aos AP:28.13, 23.91, 21.17登录后复制 ? ?

2、网络简介

将三维点云划分为一定数量的Voxel，经过点的随机采样以及归一化后，对每一个非空Voxel使用若干个VFE(Voxel Feature Encoding)层进行局部特征提取，得到Voxel-wise Feature，然后经过3D Convolutional Middle Layers进一步抽象特征（增大感受野并学习几何空间表示），最后使用RPN(Region Proposal Network)对物体进行分类检测与位置回归。VoxelNet整个pipeline如下图所示。

①、网络结构

? ? ? ?

通过层叠的VFE层将体素编码，然后3D卷积进一步放大局部voxel特征，将点云转化成高维的体积的表达。最后通过RPN产生检测结果。

②、特征提取模块：VFE

? ? ? ?

3、RPN模块

? ? ? ?

论文中提到，RPN 中的 FCN网络分为 3 块，每一块都会实现 2x 效果的下采样率。然后，又实现了向上采样，将倒数 3 块上采样到固定的尺寸，然后拼接起来。最终，由上采样拼接后的卷积引出 2 个目标分支：概率图和回归图 注意它们的尺寸，概率图通道数是 2，代表正负 anchor 的概率，这个概率应该通过 softmax 处理过。 回归图的通道数是 7，代表的就是一个 anchor 的 3D 信息(x,y,z,l,w,h,theta)

②、损失函数

? ? ? ?

总体 Loss 由 2 部分组成：

• 分类 Loss
• 回归 Loss

3、网络训练

1、数据集的准备(十几分钟解压)

????VoxelNet网络在KITTI数据集中的3D Detection数据集上面进行训练，数据集中包含7481张训练图片以及7518张测试图片，一共有80256个标记物体，并且测试模式包含普通的视角以及鸟瞰视角。

In [?]

!rm -rf kitti/!mkdir -p kitti/training/velodyne_reduced!mkdir -p kitti/testing/velodyne_reduced登录后复制 ? ?In [?]

!unzip data/data50186/data_object_calib.zip -d kitti/登录后复制 ? ?In [?]

!unzip data/data50186/image_training.zip -d kitti/training/!unzip data/data50186/data_object_label_2.zip -d kitti/training/!unzip data/data50186/velodyne_training_1.zip -d kitti/training/!unzip data/data50186/velodyne_training_2.zip -d kitti//training/!unzip data/data50186/velodyne_training_3.zip -d kitti/training/登录后复制 ? ?In [?]

!unzip data/data50186/image_testing.zip -d kitti/testing/!unzip data/data50186/velodyne_testing_1.zip -d kitti/testing/!unzip data/data50186/velodyne_testing_2.zip -d kitti/testing/!unzip data/data50186/velodyne_testing_3.zip -d kitti/testing/登录后复制 ? ?In [?]

!mv kitti/training/training/* kitti/training/!rm -rf kitti/training/training/!mv kitti/testing/testing/* kitti/testing/!rm -rf kitti/testing/testing/登录后复制 ? ?In [?]

!mkdir kitti/training/velodyne!mv kitti/training/velodyne_training_1/* kitti/training/velodyne/!mv kitti/training/velodyne_training_2/* kitti/training/velodyne/!mv kitti/training/velodyne_training_3/* kitti/training/velodyne/!rm -rf kitti/training/velodyne_training_1!rm -rf kitti/training/velodyne_training_2!rm -rf kitti/training/velodyne_training_3!mkdir kitti/testing/velodyne!mv kitti/testing/velodyne_testing_1/* kitti/testing/velodyne!mv kitti/testing/velodyne_testing_2/* kitti/testing/velodyne!mv kitti/testing/velodyne_testing_3/* kitti/testing/velodyne!rm -rf kitti/testing/velodyne_testing_1!rm -rf kitti/testing/velodyne_testing_2!rm -rf kitti/testing/velodyne_testing_3登录后复制 ? ?

2、安装必要的库

In [?]

!pip install shapely pybind11 protobuf scikit-image pillow fire scikit-image memory_profiler psutil!pip install numpy==1.17!pip install numba==0.48.0登录后复制 ? ?

3、数据集处理与准备

????对KITTI数据集进行处理。 ? ? ? ?

数据集应有结构

kitti/├── training/├── ├── calib├── ├── image_2├── ├── label_2├── ├── velodyne├── └── velodyne_reduced├── testing/├── ├── calib├── ├── image_2├── ├── velodyne├── └── velodyne_reduced├── gt_database/├── 4264_Car_1.bin ...├── kitti_dbinfos_train.pkl├── kitti_infos_test.pkl├── kitti_infos_train.pkl├── kitti_infos_trainval.pkl├── kitti_infos_val.pkl├── test.txt├── train.txt├── trainval.txt└── val.txt登录后复制 ? ?In [?]

!tree -L 1 kitti/登录后复制 ? ?In [?]

%cp -r kittiinfo/* kitti/登录后复制 ? ?In [?]

%cd Voxelnet登录后复制 ? ?In [?]

!python create_data.py create_kitti_info_file --data_path=/home/aistudio/kitti ## 报错的话，可能需要修改create_data.py内的路径登录后复制 ? ?In [?]

!python create_data.py create_reduced_point_cloud --data_path=/home/aistudio/kitti登录后复制 ? ?In [?]

!python create_data.py create_groundtruth_database --data_path=/home/aistudio/kitti登录后复制 ? ?

4、训练

In [15]

# !python train.py train --cfg_file=configs/voxelnet_kitti_car.yaml --model_dir=./output#或者!python train_mgpu.py --config=configs/voxelnet_kitti_car.yaml --model_dir=./output --use_vdl=True登录后复制 ? ?

5、评估

In [?]

!python eval.py eval --cfg_file=configs/voxelnet_kitti_car.yaml --model_dir=./output登录后复制 ? ?