coordinate坐标fit:拟合图像我们提出了一种基于中心的框架来表示检测和追踪目标。以前的基于锚点的方法使用相对于自行车坐标系的轴对齐锚点。当车辆在直行道上行驶时基于锚点和我们的基于中心的方法能够准确地检测目标。然而当发生安全关键点左转时基于锚点的方法和难以将轴对齐的边界框拟合到旋转后的目标上。我们的基于中心的方法通过旋转不变的点准确地检测目标。最佳观看效果为彩色。Abstractbenchmark--基准State-of-the-Art当前最先进的nuScenes自动驾驶 / 智能网联汽车领域最经典的公开多模态数据集NDS检测→ 每一帧物体 3D 框准不准AMOTA跟踪→ 前后帧能不能把同一个目标串成稳定轨迹、不乱换 ID三维目标在点云中通常用 3D 框来表征。这种表征方式借鉴了研究成熟的图像二维边界框检测范式但也带来了额外的难题三维空间中的目标朝向是任意的基于框的检测器难以枚举全部朝向也难以对旋转的目标适配轴对齐包围盒。 本文提出改用点来表征、检测并跟踪三维目标。我们的框架 CenterPoint 首先利用关键点检测器识别目标中心点再回归得到其余属性包括三维尺寸、朝向以及速度。在第二阶段该网络借助目标上额外的点特征对上述预测结果做精修。 在 CenterPoint 中3D 目标跟踪简化为贪心最近点匹配。最终得到的检测跟踪算法简洁、高效且效果优异。单个 CenterPoint 模型在 nuScenes 基准数据集上在 3D 检测与跟踪任务上均取得了当前最优效果NDS 为 65.5AMOTA 为 63.8。在 Waymo 开放数据集上CenterPoint 大幅超越此前所有单模型方法在所有仅使用激光雷达的提交方案中排名第一。代码与预训练模型已开源 GitHub - tianweiy/CenterPoint · GitHub在nuScenes基准测试中CenterPoint在3D检测和追踪方面取得了先进的性能.单模型达到了65.5NDS和63.8AMOTA.在Waymo开发数据集上CenterPoint以较大的优势胜过了所有以前的单一模型方法并且在所有纯激光雷达提交中排名第一。代码和训练模型https://github.com/tianwei-yin/CenterPoint获取。整套流程里包含的函数模型函数网络本身卷积、MLP、voxel 卷积等激活函数非线性变换插在模型层中间损失函数Loss function用来打分、衡量好坏优化器里面的梯度函数求导更新参数模型函数负责猜激活函数让它能学会复杂东西损失函数告诉它猜得有多差梯度 优化器负责修改模型慢慢猜得越来越准。拿到原始数据集 → 划分数据集 → 数据预处理 → 构建网络、损失、优化器 → 循环迭代训练前向→算 loss→反向传播→更新权重→ 每轮验证 → 训练结束保存最好模型 → 测试评估1.Introduction:sparse稀疏的aligned:对齐的planar:平面强大的3D感知是许多最先进驾驶系统的核心要素。与已被广泛研究的2D检测问题相比点云上的3D检测提供了一系列更有趣的挑战首先点云是稀疏的3D空间的大部分区域没有测量值。第二最终的输出是一个三维边界框它通常无法与任何全局坐标系对齐。第三3D目标的尺寸形状和宽高比变化很大例如在交通领域中自行车近乎平面公交车长加长轿车更长行人高。2D和3D检测之间的这些显著差异使得在这两个领域之间进行思想迁移变得更加困难.crux:关键核心introduce引入提出argue:主张i.e. 等同也就是即激光雷达骨干LiDAR backbone专门从无序点云里提取三维几何特征的网络VoxelNet栅格式把空间切成一个个 3D 小方块voxel 体素每个体素内部用小型 PointNet 编码点再接 3D 卷积缺点是稠密 3D 卷积很慢PointPillars把激光雷达无序点云变成鸟瞰视角的伪图像再用普通 2D 卷积做 3D 检测主打速度快适合自动驾驶实时部署overhead map-view鸟瞰图---BEVregress:回归propertiy:属性intrinsic内在的offset:相对偏移frames:帧mAP:平均精度均值,范围越高越好范围0-1管 “有没有找对物体、位置对不对”mAPH不仅要找对位置车头朝向也要准end-to-end:端到端FPS:每秒帧数sidestep绕过SSD单发多框检测器其关键在于轴对齐的2D边界框不能很好的代表自由形态的3D目标。一种解决方案可能是为每个目标的方向分类不同的模板锚点但这会不必要地增加计算负担并可能引入大量潜在的误报检测。我们认为连接2D和3D领域的主要潜在挑战在于这种目标的表示方法。在本文中我们展示了如何将目标表示为点极大地简化了3D识别。我们的两阶段3D检测器CenterPoint使用关键点检测器找到物体的中心及其属性并通过第二阶段细化所有的估计值。具体而言CenterPoint使用标准的基于激光雷达的骨干网络。即VoxelNet 或 PointPillars,来构建输入点云的表示。之后将其展平为鸟瞰图并使用标准的基于图像的关键点检测器来寻找物体中心。对于每个检测到的中心它从中心位置的点特征回归出所有其他物体属性例如3D尺寸方向和速度。此外我们使用一个轻量级的第二阶段来细化物体位置。这个第二阶段在估计的3D边界框每个面的3D中心处提取点特征。它恢复了由于步长和有限感受视野而丢失的局部几何信息并以微小的代价带来了可观的性能提升。基于中心的表示具有几个关键优势首先与边界框不同点没有内在的方向。这极大地减少了目标检测器的搜索空间同时允许骨干网络学习物体的旋转不变性及其相对运动的旋转等变性。其次基于中心的表示简化了诸如跟踪等下游任务。如果无提示是点轨迹是空间空间和时间上的路径。CenterPoint 预测连续帧之间物体的相对偏移速度然后将其贪婪地连接起来。第三基于点的特征提取使我们能够设计一个有效的两阶段细化模块这比之前的方法快得多。我们在两个流行的大型数据集上测试了我们的模型Waymo 开放数据集和 nuScenes 数据集 。我们表明从边界框表示简单切换到基于中心的表示在不同的骨干网络 下3D 检测的 mAP 提高了 3-4。两阶段细化以计算开销很小进一步带来了额外2mAP的提升。我们最好的单一模型在 Waymo 上实现了车辆和行人检测的 71.8 和 66.4 二级 mAPH在 nuScenes 上实现了 58.0 mAP 和 65.5 NDS在两个数据集上都优于所有已发表的方法。值得注意的是在 NeurIPS 2020 nuScenes 3D 检测挑战赛中CenterPoint 被用于前 4 名获奖作品中的 3 个。对于 3D 跟踪我们的模型在 nuScenes 上达到了 63.8 AMOTA比之前的最先进技术高出 8.8 AMOTA。在 Waymo 3D 跟踪基准上我们的方法在车辆和行人跟踪方面分别实现了 59.4 和 56.6 的二级 MOTA比以前的方法高出高达 50%。我们的端到端 3D 检测和跟踪系统接近实时运行在 Waymo 上达到 11 FPS在 nuScenes 上达到 16 FPS。2.相关工作Vote3Deep:利用以特征为中心的投票feature-centric voting来高效处理等间距 3D 体素上的稀疏 3D 点云encoder编码2D 图像平面最小单元叫像素 pixel (x,y)3D 空间立体最小立方体小格子叫体素 voxel (x,y,z)Vote3Deep体素里的特征投票找中心框固定早期探索VoxelNet体素内部先学习点特征再卷积 anchor 回归现代体素检测起点SECOND3D 稀疏卷积先提取 voxel 的 3D 特征 → 压成 BEV精度更高但依然有 3D 稀疏卷积实现稍复杂PointPillars直接把 voxel 压成沿 Z 轴拉长的 pillar柱子跳过 3D 卷积直接得到 BEV 图全程只用 2D 卷积速度更快精度略低于 SECONDPIXOE:早期 BEV 单阶段、无候选框proposal-free、anchor-free 思路的激光 3D 检测直接在鸟瞰图上做像素级密集预测Anchor-basedMVF预先在每个位置放一堆固定模板框anchor网络只学 “和模板差多少”Anchor-freePillar-OD不预设模板每个 pillar 直接从自身特征回归物体参数。投票让一堆特征 / 点各自投一票票累加起来票数最高的位置就是预测的物体中心。Vote3Deep早期体素投票范式推理速度慢→ VoxelNet首个端到端体素 3D 检测器稠密 3D 卷积 VFE→ SECOND引入子流形稀疏卷积优化 VoxelNetanchor-based成为工业经典基线同期衍生 BEV 多视图方向PointPillars提出 pillar 编码移除 3D 卷积纯 2D 卷积实现极致加速anchor-based→ MVF在 PointPillars 基础上BEVRangeView 双视图融合、动态体素化依旧 anchor-based→ Pillar-OD保留 BEVRangeView 多视图 pillar 融合思路改为 anchor-free规避 anchor 枚举朝向的调参难题→ CenterPoint可复用 SECOND、PointPillars 骨干网络抛弃 anchor采用高斯热力图中心点回归的 anchor-free 范式single positive cell 单个正样本栅格RCNN先粗找候选框proposal再拿候选区域的特征做分类 框精修。RoIPool3D把这个 3D 立方体 RoI 均匀切分成k×k×k个小 bin三维格子每个 bin 里面所有体素特征做最大池化输出一个值。最后得到固定k×k×k的特征块。RoIAlign3D不取整用三维插值三线性插值采样特征消除量化误差特征对齐更精准效果更好代价计算稍微高一点。池化Pooling:下采样、压缩特征在一块区域里按规则选出一个代表值把一大片特征浓缩成一个减少数据量、保留关键信息。下采样Downsampling把特征图 / 点云的分辨率降低、数量变少用更少的数据代表原来区域的信息。readily易于、直接、方便地3D 卡尔曼滤波器给每个 3D 检测框3D bbox做时序状态估计融合历史轨迹 当前检测器观测输出更平滑、抗噪声的目标状态用来做跟踪。2D目标检测从图像输入预测轴对齐的边界框RCNN 家族发现类别无关的边界框候选然后对其进行分类和细化。YOLO、SSD和 RetinaNet直接找到特定类别的框候选绕过了后续的分类和细化。基于中心的检测器例如 CenterNet或 CenterTrack直接检测隐式物体中心点而不需要候选框。许多 3D 目标检测器是从这些 2D 目标检测器演变而来的。我们认为与轴对齐的边界框相比基于中心的表示在3D 应用中更合适。3D 目标检测旨在预测三维旋转边界框它们在输入编码器方面与 2D 检测器不同。VoxelDeep利用以特征为中心的投票来高效处理等间距 3D 体素上的稀疏 3D 点云。VoxelNet 在每个体素内使用 PointNet生成统一的特征表示然后由带有 3D 稀疏卷积 和 2D 卷积的检测头产生检测结果。SECOND简化了 VoxelNet 并加速了 3D 卷积。PIXOR将所有点投影到具有 3D 占用率和点强度信息的 2D 特征图上以消除昂贵的 3D 卷积。PointPillars用柱子pillar表示替换所有体素卷积即每个地图位置使用一个高而细长的体素从而提高骨干网络的效率。MVF和 Pillar-od结合多视图特征来学习更有效的柱子表示。我们的贡献集中在输出表示上并且与任何 3D 编码器兼容可以改善它们所有的性能。VoteNet通过使用点特征采样和分组的投票聚类来检测物体。相比之下我们直接通过中心点的特征回归 3D 边界框而不进行投票。Wong 等人和 Chen 等人在物体中心区域使用了类似的多点表示即点-锚点并回归其他属性。我们为每个物体使用一个正样本单元并使用关键点估计损失。两阶段 3D 目标检测。最近的研究考虑将 RCNN 风格的 2D 检测器直接应用于 3D 领域。它们中的大多数应用 RoIPool3D或 RoIAlign3D在 3D 空间中聚合特定于感兴趣区域RoI的特征使用基于点或体素的特征提取器。这些方法从 3D 激光雷达测量点和体素中提取区域特征由于点数量庞大导致运行时间令人望而却步。相反我们从中间特征图中提取 5 个表面中心点的稀疏特征。这使得我们的第二阶段非常高效且保持有效。3D 目标跟踪。许多 2D 跟踪算法可以直接开箱即用地跟踪 3D 物体。然而基于 3D 卡尔曼滤波器的专用 3D 跟踪器依然屹立不倒因为它们能更好地探索场景中的三维运动。在这里我们采用了一种更简单的方法我们使用速度估计结合基于点的检测在多帧中跟踪物体的中心。这种跟踪器比专用的 3D 跟踪器更快且更准确。3. 预备知识repurpose改造复用rendered渲染高斯核 Gaussian kernel高斯核生成高斯热力图class-agnostic类别无关retrieves检索2D CenterNet将目标检测重新定义为关键点估计。它以图像为输入并为 K 个类别中的每一个预测一个 W×H的热图。每个局部最大值即输出热图中像素值大于其 8 个相邻像素的像素对应于被检测物体的中心。为了恢复 2D 边界框CenterNet 回归一个在所有类别之间共享的尺寸图对于每个检测到的物体尺寸图在中心位置存储其宽度和高度。CenterNet 架构使用标准的全卷积图像骨干网络并在顶部添加一个密集预测头。在训练期间CenterNet 学习预测热图在对于每个类别ci∈{1…,K} 的每个标注物体中心qi处渲染高斯核并在标注边界框的中心回归物体尺寸 s。为了弥补骨干网络架构步长带来的量化误差CenterNet 还回归一个局部偏移量 o。在测试时检测器生成K热图和不区分类别的密集回归图。热图中的每个局部最大值等同于一个物体其置信度与峰值处的热图值成正比。对于每个检测到的物体检测器在相应的峰值位置从回归图中检索所有回归值。根据应用领域的不同可能需要进行非极大值抑制NMS。generality通用性3D 检测设 P{(x,y,z)}为包含三维位置 (x,y,z)和反射率/测量值的无序点云。3D 目标检测旨在从该点云中预测鸟瞰图视角下的一组 3D 物体边界框每个边界框 b(w,l,h,x,y,z,θ)包含一个中心位置 (x,y,z)相对于物体所在的地平面、3D 尺寸 (w,l,h)以及用偏航角θ表示的旋转。不失一般性我们使用以传感器为原点 (0,0,0)且偏航角为 0 的自车中心坐标系。现代 3D 目标检测器使用 3D 编码器将点云量化到规则的分箱bins中。然后基于点的网络提取分箱内所有点的特征。接着3D 编码器将这些特征池化为其主要的特征表示。大部分计算发生在骨干网络中该网络分别对这些量化并池化后的特征表示进行操作。骨干网络的输出是一个鸟瞰图特征图在鸟瞰图参考系中具有宽度 W、长度 L以及 F 个通道。宽度和高度直接与单个体素分箱的分辨率以及骨干网络的步长相关。常见的骨干网络包括 VoxelNet和 PointPillars 。利用鸟瞰图特征图 M检测头最常见的是单阶段 [32] 或两阶段 [43] 边界框检测器随后从锚定在这个俯视特征图上的一些预定义边界框中生成物体检测结果。因为3D 边界框具有各种尺寸和方向基于锚框的 3D 检测器很难将一个轴对齐的 2D 框拟合到一个 3D 物体上。此外在训练阶段以往基于锚框的三维检测器依靠二维框交并比2D Box IoU来完成目标分配这为针对不同类别、不同数据集选取正负样本阈值带来了不必要的负担。在下一节中我们将展示如何基于点表示法构建一个原则性的 3D 目标检测与跟踪模型。4. CenterPoint焦点损失Focal Loss改良版交叉熵专门解决稠密检测里「背景海量、目标极少」的正负样本极度不平衡问题render渲染得到的overview概述IoU预测框和真值框的交并比elevation高程、高度图2 我们CenterPoint框架的概述。我们依赖标准的3D骨干网络从激光雷达点云中提取鸟瞰图map-view特征表示。然后一个2D CNN架构的检测头找到物体中心并使用中心特征回归出完整的3D边界框。该边界框预测用于在估计的3D边界框每个面的3D中心处提取点特征这些特征被传入MLP多层感知机以预测IoU引导的置信度分数和边界框回归细化。建议在彩色下观看。图 2 展示了 CenterPoint 模型的整体框架。设为 3D 骨干网络的输出。CenterPoint 的第一阶段预测特定类别的热图、物体尺寸、亚体素位置细化、旋转和速度。所有输出均为密集预测。中心热图头。中心检测头的目标是在任何检测到的物体的中心位置产生一个热图峰值。该分支输出一个 K 通道的热力图K 个类别各自对应一个通道。在训练期间它以将标注边界框的 3D 中心投影到鸟瞰图所产生的 2D 高斯分布为目标。我们使用焦点损失focal loss。在俯视鸟瞰图中物体比在图像中更稀疏。在鸟瞰图中距离是绝对的而图像视图由于透视会扭曲它们。考虑一个道路场景在鸟瞰图中车辆占用的面积很小而在图像视图中少数几个大型物体可能会占据屏幕的大部分。此外透视投影中深度维度的压缩自然导致物体中心在图像视图中彼此靠得更近。遵循 CenterNet的标准监督会得到一个非常稀疏的监督信号其中大多数位置被认为是背景。为了抵消这一点我们通过扩大在每个真实值物体中心渲染的高斯峰值来增加目标热图 Y的正向监督。具体而言我们将高斯半径设置为其中 τ2是最小允许的高斯半径而 f是 CornerNet [29] 中定义的半径函数。通过这种方式CenterPoint 保持了基于中心的目标分配的简洁性模型从附近的像素获得了更密集的监督。回归头我们在物体的中心特征处存储几个物体属性亚体素位置细化离地高度、3D 尺寸以及偏航旋转角。亚体素位置细化 o减少了量化误差来自骨干网络的体素化和步长。离地高度有助于在3D中定位物体并补充了鸟瞰图投影所移除的高程信息。方向预测使用偏航角的正弦和余弦作为连续回归目标。结合边界框尺寸这些回归头提供了3D边界框的完整状态信息。每个输出使用其独立的头。在训练时仅对真实值中心使用L1回归损失进行监督。我们回归对数尺寸以更好地处理各种形状的边界框。在推理时我们通过在每个物体的峰值位置索引密集的回归头输出来提取所有属性。速度头与跟踪。为了随时间跟踪物体我们学习为每个检测到的物体预测一个二维速度估计作为额外的回归输出。速度估计比较特殊因为它需要两个输入的鸟瞰图当前时间步和上一时间步。它预测当前帧和过去帧之间物体位置的差异。与其他回归目标一样速度估计也在当前时间步的真实值物体位置使用L1损失进行监督。在推理时我们使用这个偏移量以贪婪的方式将当前的检测结果与过去的检测结果关联起来。具体而言我们通过应用负的速度估计将当前帧中的物体中心投影回前一帧然后通过最近距离匹配将它们与已跟踪的物体匹配。遵循SORT的方法我们将未匹配的轨迹保留最多 T 3帧之后将其删除。我们使用其最后已知的速度估计来更新每个未匹配的轨迹。详细的跟踪算法示意图见补充材料。CenterPoint 将所有热图损失和回归损失组合在一个共同的目标函数中并对它们进行联合优化。它简化并改进了以前基于锚框的3D检测器见实验部分。然而目前物体的所有属性都是从物体的中心特征推断出来的这可能不包含足够的信息来进行精确的物体定位。例如在自动驾驶中传感器通常只能看到物体的侧面而看不到其中心。接下来我们通过使用带有轻量级点特征提取器的第二个细化阶段来改进 CenterPoint。4.1. 两阶段 CenterPointbilinear interpolation双线性插值在 2D 平面上用周围4 个相邻点的值插值算出中间任意坐标的数值属于插值算法CV 里最常用。CV Computer Vision计算机视觉concatenate拼接proposal候选框MLP多层感知机输入层 → 若干隐藏层每层线性变换 激活函数→ 输出层 每一层里面神经元和上一层全部相连全连接没有卷积、没有注意力。IoU3D IoU直接在三维空间算两个长方体的重叠体积 / 并集体积取值范围0 ~ 1IoU1预测框和真值框完全重合IoU0完全不重叠损失就是一个 “打分器”用来衡量网络预测结果和真实答案差得有多远二元交叉熵BCEsigmoid 输出独立二分类多标签也能用CenterPoint K 个通道每一类单独一张热力图就是 BCEL1 Loss也叫 MAEMean Absolute Error 平均绝对误差RoIAlign感兴趣区域对齐从特征图里抠出 proposal候选框对应的一块区域输出固定大小的特征图消除 RoIPool 的取整量化误差。RolPool拿到一个候选框 proposalRoI从特征图上抠出它对应的区域不管这个框多大都输出固定尺寸的特征图比如 7×7方便后面接 MLP 做分类和框回归。我们将 CenterPoint 作为第一阶段保持不变。第二阶段从骨干网络的输出中提取额外的点特征。我们从预测边界框每个面的3D中心提取一个点特征。请注意边界框的中心、顶面和底面中心在鸟瞰图上的投影都位于同一个点。因此我们只考虑四个朝外的边界框面以及预测的物体中心。对于每个点我们使用双线性插值从骨干网络鸟瞰图输出M中提取特征。接下来我们将提取的点特征拼接起来并将它们传入一个 MLP。第二阶段在一阶段 CenterPoint 的预测结果之上预测一个不区分类别的置信度分数和边界框细化。对于不区分类别的置信度分数预测我们遵循的方法并使用一个由边界框与相应真实值边界框的3D IoU引导的分数目标 I其中是第t个候选框与真实值之间的IoU。训练时使用二元交叉熵损失进行监督其中是预测的置信度分数。在推理过程中我们直接使用一阶段CenterPoint的类别预测并将最终的置信度分数组合为这两个分数的几何平均值其中是对象t的最终预测置信度且而分别是对象t的第一阶段和第二阶段置信度。对于边界框回归模型在第一阶段候选框的基础上预测一个细化量我们使用L1损失来训练模型。我们的两阶段CenterPoint简化并加速了以前的两阶段3D检测器这些检测器使用了昂贵的基于PointNet的特征提取器和RoIAlign操作。4.2. 架构激活函数给网络增加非线性能力的函数套在卷积、LinearMLP的输出后面所有第一阶段的输出共享一个初始的 3 × 3 卷积层、批量归一化Batch Normalization)和 ReLU 激活函数。然后每个输出使用各自的分支该分支由两个 3 × 3 卷积组成中间由批量归一化和ReLU隔开。我们的第二阶段使用一个共享的两层MLP包含批量归一化、ReLU和Dropout (丢弃率为0.3随后是两个分支每个分支由三个全连接层组成一个用于置信度分数另一个用于边界框回归预测。5. 实验FPS每秒帧数metrics评价指标translation平移trajectory轨迹divergence发散偏离ground truth真值、真实标注我们在Waymo开放数据集和nuScenes数据集上评估CenterPoint。我们使用两种3D编码器实现CenterPointVoxelNet和PointPillars ,分别称为CenterPoint-Voxel和CenterPoint-Pillar。Waymo开放数据集。Waymo开放数据集包含798个训练序列和202个验证序列用于车辆和行人检测。点云由64线激光雷达捕获每0.1秒产生约18万个激光雷达点。官方的3D检测评估指标包括标准的3D边界框平均精度均值mAP和由航向准确率加权的mAPmAPH。mAP和mAPH是基于车辆0.7和行人0.5的IoU阈值计算的。对于3D跟踪官方指标是多重目标跟踪准确率MOTA和多重目标跟踪精度MOTP。官方基准测试评估两个难度级别LEVEL_1 适用于包含五个以上激光雷达点的边界框LEVEL_2 适用于包含至少一个激光雷达点的边界框。我们的Waymo模型在 X 轴和 Y 轴上的检测范围为 [-75.2m, 75.2m]在 Z 轴上为 [-2m, 4m]。CenterPoint-Voxel 遵循 PV-RCNN使用 (0.1m, 0.1m, 0.15m) 的体素大小而 CenterPoint-Pillar 使用 (0.32m, 0.32m) 的网格大小。nuScenes数据集。nuScenes包含1000个驾驶序列其中700、150、150个序列分别用于训练、验证和测试。每个序列大约20秒长激光雷达频率为20FPS。该数据集为每个激光雷达帧提供校准的车辆位姿信息但仅每十帧0.5秒提供边界框标注。nuScenes 使用32线激光雷达每帧产生约3万个点。总的来说训练、验证和测试帧分别有 28k、6k、6k 个标注。这些标注包含呈长尾分布的10个类别。官方评估指标是各类别之间的平均值。对于3D检测主要指标是平均精度均值mAP)和 nuScenes 检测分数NDS).mAP使用鸟瞰图中心距离 0.5m、1m、2m、4m而不是标准的边界框重叠度。在我们初次提交之后nuScenes更新了规划(PKL)的指标。因此我们对我们测试的所有方法也报告了PKL指标。对于3D跟踪nuScenes使用AMOTA [53]它惩罚ID切换、假阳性和假阴性并在各种召回率阈值下取平均值。对于nuScenes上的实验我们将检测范围设定为 X 轴和 Y 轴的 [-51.2m, 51.2m]以及 Z 轴的 [-5m, 3m]。CenterPoint-Voxel 使用 (0.1m, 0.1m, 0.2m) 的体素大小CenterPoint-Pillar 使用 (0.2m, 0.2m) 的网格大小。训练与推理。我们使用与之前工作相同的网络设计和训练计划。详细超参数请见补充材料。在两阶段CenterPoint的训练过程中我们从第一阶段的预测中随机采样128个边界框正负样本比例为1:1 。如果一个候选框与真实值标注的重叠度至少为0.55 IoU 则它被视为正样本。在推理过程中我们在非极大值抑制NMS之后的前500个预测上运行第二阶段。推理时间是在Intel Core i7 CPU和Titan RTX GPU上测量的。5.1. 主要结果State-of-the-artSOTA当前最优、业界前沿、最好效果的方法breakdown:分项统计、拆分结果、细分表traffic cone交通锥、路锥、雪糕筒3D检测我们首先展示我们在Waymo和nuScenes测试集上的3D检测结果。两项结果均使用单一的CenterPoint-Voxel模型。表1和表2总结了我们的结果。在 Waymo 测试集上我们的模型车辆检测的 Level 2 mAPH 达到 71.8行人检测的 Level 2 mAPH 达到 66.4相比之前的方法车辆的 mAPH 提升 7.1%行人的 mAPH 提升 10.6%。在nuScenes上表2我们的模型在mAP上超出5.2%在NDS上超出2.2%击败了去年使用多尺度输入和多模型集成获得挑战赛冠军的CBGS 。我们的模型也快得多如后文所示。按类别的细分包含在补充材料中。我们的模型在所有类别上表现出持续的性能提升并在小类别交通锥的mAP提高了5.6和极端长宽比类别自行车的mAP提高了6.4工程车的mAP提高了7.0上显示出更显著的提升。更重要的是我们的模型在神经规划器指标PKL下显著优于所有其他提交这是在我们提交排行榜后由组织者评估的隐藏指标。这突出了我们框架的泛化能力。表1在Waymo测试集上进行3D检测的最新方法对比。我们展示了Level 1和Level 2基准的mAP和mAPH。表2在nuScenes测试集上进行3D检测的最新方法对比。我们展示了nuScenes检测分数NDS和平均精度均值mAP。表3在Waymo测试集上进行3D跟踪的最新方法对比。我们展示了MOTA以及MOTP↑表示越高越好↓表示越低越好。表4在nuScenes测试集上进行3D跟踪的最新方法对比。我们展示了AMOTA、假阳性FP数量、假阴性FN数量、ID切换IDS数量以及各类别AMOTA。↑表示越高越好↓表示越低越好。表5基于锚框和基于中心的方法在Waymo验证集上进行3D检测的对比。表5基于锚框和基于中心的方法在Waymo验证集上进行3D检测的对比。表6基于锚框和基于中心的方法在nuScenes验证集上进行3D检测的对比。我们展示了平均精度均值mAP和nuScenes检测分数NDS。3D 跟踪 表3展示了CenterPoint在Waymo测试集上的跟踪性能。我们在第4节中描述的基于速度的最近距离匹配显著优于Waymo论文中的官方跟踪基线后者使用的是基于卡尔曼滤波的跟踪器 。我们观察到车辆和行人跟踪的MOTA分别提高了19.4和18.9。在nuScenes上表4我们的框架以8.8 AMOTA的优势超过了上一个挑战赛冠军Chiu等人。值得注意的是我们的跟踪不需要单独的运动模型并且运行时间可以忽略不计在检测之上仅需1毫秒。5.2. 消融研究基于中心 vs 基于锚框 我们首先将我们基于中心的单阶段检测器与基于锚框的对应方法进行比较。在Waymo上我们遵循最先进的PV-RCNN来设置锚框超参数我们在每个位置使用两个锚框角度分别为0°和90°。正/负样本阈值设定为车辆0.5/0.4行人0.5/0.35。我们遵循来自上一届挑战赛冠军 CBGS的锚框分配策略。所有其他参数与我们的CenterPoint模型相同。如表5所示在Waymo数据集上仅仅从锚框切换到我们的中心点VoxelNet和PointPillars编码器分别获得了4.3 mAP和4.5 mAPH的提升。在 nuScenes 数据集上表 6在不同骨干网络下CenterPoint 相比基于锚框的对照方法mAP 提升 3.8~4.1NDS 提升 1.1~1.8。为探明性能提升的来源我们进一步在 Waymo 验证集上按照目标尺寸、朝向角划分不同子集给出分项性能结果。我们首先根据航向角将真值实例划分为三组0°~15°、15°~30° 以及 30°~45°。该划分用于测试检测器对大旋转角度框的检测性能这对于自动驾驶的安全部署至关重要。我们同时将数据集划分为三个分组小目标、中等目标、大目标每个分组包含全部真值框的 1/3。表 7 和表 8 汇总了实验结果。当检测框存在旋转或是目标尺寸偏离平均尺寸时我们基于中心点的检测器性能远优于基于锚框的基线模型。这证明该模型在检测目标时具备捕捉旋转不变性与尺寸不变性的能力。这些结果有力说明了采用基于点的方式表征 3D 目标的优势。表7基于锚点和基于中心的方法在检测不同航向角物体时的对比。展示了旋转角的范围及其相应的mAP。我们展示了两种方法在Waymo验证集上的LEVEL_2 mAPH。表 8目标尺寸对基于锚框方法与基于中心点方法性能的影响。我们展示不同尺寸区间目标在 Level 2 下的逐类别 mAPH小目标占 33%、中等目标占 33%、大目标占 33%。表 9在 Waymo 验证集上对比 VoxelNet 和 PointPillars 两种编码器分别在以下几种设置下的 3D LEVEL 2 mAPH 指标单阶段、带有 3D 中心点特征的两阶段、同时带有 3D 中心点特征与表面中心特征的两阶段。表 10两阶段精修模块不同特征组件的消融实验。VSA 即体素集抽象Voxel Set Abstraction是 PV-RCNN中采用的特征聚合方式。RBF 使用径向基函数对 3 个最近邻点做插值。我们在 Waymo 验证集上基于 Level 2 mAPH 指标对比鸟瞰图特征与 3D 体素特征。单阶段与两阶段对比在表 9 中我们对比了在 Waymo 验证集上采用二维卷积特征的单阶段 CenterPoint 和两阶段 CenterPoint 模型。基于多中心特征的两阶段精修能够在额外开销很小6~7 毫秒的情况下大幅提升两种 3D 编码器的精度。我们同时和 RoIAlign 做对比RoIAlign 会在感兴趣区域内密集采样 6×6 个点我们这种基于中心点的特征聚合方案取得了相当的性能同时速度更快、结构更简洁。体素量化限制了采用 PointPillars 作为编码器的两阶段 CenterPoint 在行人检测上的性能提升原因是行人在模型输入中通常只占据一个像素。在我们的实验中两阶段精修并没有在 nuScenes 数据集上相比单阶段 CenterPoint 带来性能提升。我们认为原因在于nuScenes 数据集采用 32 线激光雷达每帧大约产生 3 万个激光点云点数大约只有 Waymo 数据集的 1/6这限制了两阶段精修能够带来的性能提升空间。在 PointRCNN 、PV-RCNN等先前的两阶段方法中也观察到了类似现象。不同特征组件的影响在我们的两阶段 CenterPoint 模型中我们仅使用二维 CNN 特征图上的特征。但已有前人方法提出在第二阶段精修过程中同时利用体素特征。在此我们对比两种体素特征提取基线方案体素集抽象Voxel-Set Abstraction。PV-RCNN提出了 VSA 模块该模块扩展了 PointNet的集合抽象层在固定半径的球形邻域内聚合体素特征。径向基函数RBF插值。 PointNet和 SA-SSD使用径向基函数从距离最近的三个非空 3D 特征体中聚合网格点特征。对于这两种基线方案我们采用它们官方的实现方式将鸟瞰图特征与体素特征融合。表 10 汇总了实验结果。结果表明仅使用鸟瞰图特征就足以取得不错的效果并且相比文献中使用的体素特征效率更高。为和那些没有在 Waymo 测试集上开展评估的已有工作对比我们同时在表 11 中给出模型在 Waymo 验证集上的结果。我们的模型大幅优于所有已发表方法尤其是在难度更高的 Level 2 数据集里的行人类别mAPH 提升 18.6这类检测框内甚至仅包含一个激光雷达点。3D 跟踪任务。表 12 展示了 nuScenes 验证集上 3D 跟踪的消融实验。我们对比去年竞赛冠军 Chiu 等人的方案该方案采用基于马氏距离的卡尔曼滤波器对 CBGS的检测结果做数据关联。我们将评估拆分为检测器和跟踪器两部分保证对比的公平严谨。 在输入相同检测结果的前提下使用本文提出的、基于速度的最近点距离匹配方案相比基于卡尔曼滤波的马氏距离匹配方案 AMOTA 提升 3.7第 1 行对比第 3 行、第 2 行对比第 4 行。性能提升来源于两点1我们利用学习得到的目标点速度来建模物体运动而非使用卡尔曼滤波对 3D 框的运动状态建模2我们依据中心点距离做目标匹配而不是采用框状态的马氏距离或是 3D 框 IoU。更重要的是我们的跟踪算法是简单的最近邻匹配不需要任何隐状这省去了 3D 卡尔曼滤波器带来的计算开销 耗时 73 毫秒对比 1 毫秒。图 3CenterPoint 在 Waymo 验证集上的定性结果示例。蓝色为原始点云绿色框是本文方法检测出的目标检测框内的激光雷达点云标记为红色。建议在屏幕上查看原图效果。表11在 Waymo 验证集上的 3D 检测任务与当前最优方法SOTA的对比表 12nuScenes 验证集上 3D 跟踪任务的消融实验。 我们展示不同检测器与跟踪器的组合效果。CenterPoint-* 代表本文提出的检测器Point 是本文提出的跟踪器。M-KF 是基于马氏距离的卡尔曼滤波器Mahalanobis distance-based Kalman filter的缩写该方案曾被上一届竞赛冠军 Chiu 等人 。代表跟踪耗代表检测加跟踪的总耗时。6结论我们提出了一种基于中心点的框架用于激光雷达点云的 3D 目标检测与跟踪一体化任务。本文方法采用标准的 3D 点云编码器检测头仅由少量卷积层构成输出 BEV 鸟瞰图热力图以及其他稠密回归结果。检测环节采用简单的局部峰值提取加精修跟踪环节采用最近距离匹配。CenterPoint 结构简洁、接近实时并且在 Waymo 和 nuScenes 基准数据集上取得了当前最优性能。 coordinate坐标fit:拟合图像我们提出了一种基于中心的框架来表示检测和追踪目标。以前的基于锚点的方法使用相对于自行车坐标系的轴对齐锚点。当车辆在直行道上行驶时基于锚点和我们的基于中心的方法能够准确地检测目标。然而当发生安全关键点左转时基于锚点的方法和难以将轴对齐的边界框拟合到旋转后的目标上。我们的基于中心的方法通过旋转不变的点准确地检测目标。最佳观看效果为彩色。Abstractbenchmark--基准State-of-the-Art当前最先进的nuScenes自动驾驶 / 智能网联汽车领域最经典的公开多模态数据集NDS检测→ 每一帧物体 3D 框准不准AMOTA跟踪→ 前后帧能不能把同一个目标串成稳定轨迹、不乱换 ID三维目标在点云中通常用 3D 框来表征。这种表征方式借鉴了研究成熟的图像二维边界框检测范式但也带来了额外的难题三维空间中的目标朝向是任意的基于框的检测器难以枚举全部朝向也难以对旋转的目标适配轴对齐包围盒。 本文提出改用点来表征、检测并跟踪三维目标。我们的框架 CenterPoint 首先利用关键点检测器识别目标中心点再回归得到其余属性包括三维尺寸、朝向以及速度。在第二阶段该网络借助目标上额外的点特征对上述预测结果做精修。 在 CenterPoint 中3D 目标跟踪简化为贪心最近点匹配。最终得到的检测跟踪算法简洁、高效且效果优异。单个 CenterPoint 模型在 nuScenes 基准数据集上在 3D 检测与跟踪任务上均取得了当前最优效果NDS 为 65.5AMOTA 为 63.8。在 Waymo 开放数据集上CenterPoint 大幅超越此前所有单模型方法在所有仅使用激光雷达的提交方案中排名第一。代码与预训练模型已开源 GitHub - tianweiy/CenterPoint · GitHub在nuScenes基准测试中CenterPoint在3D检测和追踪方面取得了先进的性能.单模型达到了65.5NDS和63.8AMOTA.在Waymo开发数据集上CenterPoint以较大的优势胜过了所有以前的单一模型方法并且在所有纯激光雷达提交中排名第一。代码和训练模型https://github.com/tianwei-yin/CenterPoint获取。整套流程里包含的函数模型函数网络本身卷积、MLP、voxel 卷积等激活函数非线性变换插在模型层中间损失函数Loss function用来打分、衡量好坏优化器里面的梯度函数求导更新参数模型函数负责猜激活函数让它能学会复杂东西损失函数告诉它猜得有多差梯度 优化器负责修改模型慢慢猜得越来越准。拿到原始数据集 → 划分数据集 → 数据预处理 → 构建网络、损失、优化器 → 循环迭代训练前向→算 loss→反向传播→更新权重→ 每轮验证 → 训练结束保存最好模型 → 测试评估1.Introduction:sparse稀疏的aligned:对齐的planar:平面强大的3D感知是许多最先进驾驶系统的核心要素。与已被广泛研究的2D检测问题相比点云上的3D检测提供了一系列更有趣的挑战首先点云是稀疏的3D空间的大部分区域没有测量值。第二最终的输出是一个三维边界框它通常无法与任何全局坐标系对齐。第三3D目标的尺寸形状和宽高比变化很大例如在交通领域中自行车近乎平面公交车长加长轿车更长行人高。2D和3D检测之间的这些显著差异使得在这两个领域之间进行思想迁移变得更加困难.crux:关键核心introduce引入提出argue:主张i.e. 等同也就是即激光雷达骨干LiDAR backbone专门从无序点云里提取三维几何特征的网络VoxelNet栅格式把空间切成一个个 3D 小方块voxel 体素每个体素内部用小型 PointNet 编码点再接 3D 卷积缺点是稠密 3D 卷积很慢PointPillars把激光雷达无序点云变成鸟瞰视角的伪图像再用普通 2D 卷积做 3D 检测主打速度快适合自动驾驶实时部署overhead map-view鸟瞰图---BEVregress:回归propertiy:属性intrinsic内在的offset:相对偏移frames:帧mAP:平均精度均值,范围越高越好范围0-1管 “有没有找对物体、位置对不对”mAPH不仅要找对位置车头朝向也要准end-to-end:端到端FPS:每秒帧数sidestep绕过SSD单发多框检测器其关键在于轴对齐的2D边界框不能很好的代表自由形态的3D目标。一种解决方案可能是为每个目标的方向分类不同的模板锚点但这会不必要地增加计算负担并可能引入大量潜在的误报检测。我们认为连接2D和3D领域的主要潜在挑战在于这种目标的表示方法。在本文中我们展示了如何将目标表示为点极大地简化了3D识别。我们的两阶段3D检测器CenterPoint使用关键点检测器找到物体的中心及其属性并通过第二阶段细化所有的估计值。具体而言CenterPoint使用标准的基于激光雷达的骨干网络。即VoxelNet 或 PointPillars,来构建输入点云的表示。之后将其展平为鸟瞰图并使用标准的基于图像的关键点检测器来寻找物体中心。对于每个检测到的中心它从中心位置的点特征回归出所有其他物体属性例如3D尺寸方向和速度。此外我们使用一个轻量级的第二阶段来细化物体位置。这个第二阶段在估计的3D边界框每个面的3D中心处提取点特征。它恢复了由于步长和有限感受视野而丢失的局部几何信息并以微小的代价带来了可观的性能提升。基于中心的表示具有几个关键优势首先与边界框不同点没有内在的方向。这极大地减少了目标检测器的搜索空间同时允许骨干网络学习物体的旋转不变性及其相对运动的旋转等变性。其次基于中心的表示简化了诸如跟踪等下游任务。如果无提示是点轨迹是空间空间和时间上的路径。CenterPoint 预测连续帧之间物体的相对偏移速度然后将其贪婪地连接起来。第三基于点的特征提取使我们能够设计一个有效的两阶段细化模块这比之前的方法快得多。我们在两个流行的大型数据集上测试了我们的模型Waymo 开放数据集和 nuScenes 数据集 。我们表明从边界框表示简单切换到基于中心的表示在不同的骨干网络 下3D 检测的 mAP 提高了 3-4。两阶段细化以计算开销很小进一步带来了额外2mAP的提升。我们最好的单一模型在 Waymo 上实现了车辆和行人检测的 71.8 和 66.4 二级 mAPH在 nuScenes 上实现了 58.0 mAP 和 65.5 NDS在两个数据集上都优于所有已发表的方法。值得注意的是在 NeurIPS 2020 nuScenes 3D 检测挑战赛中CenterPoint 被用于前 4 名获奖作品中的 3 个。对于 3D 跟踪我们的模型在 nuScenes 上达到了 63.8 AMOTA比之前的最先进技术高出 8.8 AMOTA。在 Waymo 3D 跟踪基准上我们的方法在车辆和行人跟踪方面分别实现了 59.4 和 56.6 的二级 MOTA比以前的方法高出高达 50%。我们的端到端 3D 检测和跟踪系统接近实时运行在 Waymo 上达到 11 FPS在 nuScenes 上达到 16 FPS。2.相关工作Vote3Deep:利用以特征为中心的投票feature-centric voting来高效处理等间距 3D 体素上的稀疏 3D 点云encoder编码2D 图像平面最小单元叫像素 pixel (x,y)3D 空间立体最小立方体小格子叫体素 voxel (x,y,z)Vote3Deep体素里的特征投票找中心框固定早期探索VoxelNet体素内部先学习点特征再卷积 anchor 回归现代体素检测起点SECOND3D 稀疏卷积先提取 voxel 的 3D 特征 → 压成 BEV精度更高但依然有 3D 稀疏卷积实现稍复杂PointPillars直接把 voxel 压成沿 Z 轴拉长的 pillar柱子跳过 3D 卷积直接得到 BEV 图全程只用 2D 卷积速度更快精度略低于 SECONDPIXOE:早期 BEV 单阶段、无候选框proposal-free、anchor-free 思路的激光 3D 检测直接在鸟瞰图上做像素级密集预测Anchor-basedMVF预先在每个位置放一堆固定模板框anchor网络只学 “和模板差多少”Anchor-freePillar-OD不预设模板每个 pillar 直接从自身特征回归物体参数。投票让一堆特征 / 点各自投一票票累加起来票数最高的位置就是预测的物体中心。Vote3Deep早期体素投票范式推理速度慢→ VoxelNet首个端到端体素 3D 检测器稠密 3D 卷积 VFE→ SECOND引入子流形稀疏卷积优化 VoxelNetanchor-based成为工业经典基线同期衍生 BEV 多视图方向PointPillars提出 pillar 编码移除 3D 卷积纯 2D 卷积实现极致加速anchor-based→ MVF在 PointPillars 基础上BEVRangeView 双视图融合、动态体素化依旧 anchor-based→ Pillar-OD保留 BEVRangeView 多视图 pillar 融合思路改为 anchor-free规避 anchor 枚举朝向的调参难题→ CenterPoint可复用 SECOND、PointPillars 骨干网络抛弃 anchor采用高斯热力图中心点回归的 anchor-free 范式single positive cell 单个正样本栅格RCNN先粗找候选框proposal再拿候选区域的特征做分类 框精修。RoIPool3D把这个 3D 立方体 RoI 均匀切分成k×k×k个小 bin三维格子每个 bin 里面所有体素特征做最大池化输出一个值。最后得到固定k×k×k的特征块。RoIAlign3D不取整用三维插值三线性插值采样特征消除量化误差特征对齐更精准效果更好代价计算稍微高一点。池化Pooling:下采样、压缩特征在一块区域里按规则选出一个代表值把一大片特征浓缩成一个减少数据量、保留关键信息。下采样Downsampling把特征图 / 点云的分辨率降低、数量变少用更少的数据代表原来区域的信息。readily易于、直接、方便地3D 卡尔曼滤波器给每个 3D 检测框3D bbox做时序状态估计融合历史轨迹 当前检测器观测输出更平滑、抗噪声的目标状态用来做跟踪。2D目标检测从图像输入预测轴对齐的边界框RCNN 家族发现类别无关的边界框候选然后对其进行分类和细化。YOLO、SSD和 RetinaNet直接找到特定类别的框候选绕过了后续的分类和细化。基于中心的检测器例如 CenterNet或 CenterTrack直接检测隐式物体中心点而不需要候选框。许多 3D 目标检测器是从这些 2D 目标检测器演变而来的。我们认为与轴对齐的边界框相比基于中心的表示在3D 应用中更合适。3D 目标检测旨在预测三维旋转边界框它们在输入编码器方面与 2D 检测器不同。VoxelDeep利用以特征为中心的投票来高效处理等间距 3D 体素上的稀疏 3D 点云。VoxelNet 在每个体素内使用 PointNet生成统一的特征表示然后由带有 3D 稀疏卷积 和 2D 卷积的检测头产生检测结果。SECOND简化了 VoxelNet 并加速了 3D 卷积。PIXOR将所有点投影到具有 3D 占用率和点强度信息的 2D 特征图上以消除昂贵的 3D 卷积。PointPillars用柱子pillar表示替换所有体素卷积即每个地图位置使用一个高而细长的体素从而提高骨干网络的效率。MVF和 Pillar-od结合多视图特征来学习更有效的柱子表示。我们的贡献集中在输出表示上并且与任何 3D 编码器兼容可以改善它们所有的性能。VoteNet通过使用点特征采样和分组的投票聚类来检测物体。相比之下我们直接通过中心点的特征回归 3D 边界框而不进行投票。Wong 等人和 Chen 等人在物体中心区域使用了类似的多点表示即点-锚点并回归其他属性。我们为每个物体使用一个正样本单元并使用关键点估计损失。两阶段 3D 目标检测。最近的研究考虑将 RCNN 风格的 2D 检测器直接应用于 3D 领域。它们中的大多数应用 RoIPool3D或 RoIAlign3D在 3D 空间中聚合特定于感兴趣区域RoI的特征使用基于点或体素的特征提取器。这些方法从 3D 激光雷达测量点和体素中提取区域特征由于点数量庞大导致运行时间令人望而却步。相反我们从中间特征图中提取 5 个表面中心点的稀疏特征。这使得我们的第二阶段非常高效且保持有效。3D 目标跟踪。许多 2D 跟踪算法可以直接开箱即用地跟踪 3D 物体。然而基于 3D 卡尔曼滤波器的专用 3D 跟踪器依然屹立不倒因为它们能更好地探索场景中的三维运动。在这里我们采用了一种更简单的方法我们使用速度估计结合基于点的检测在多帧中跟踪物体的中心。这种跟踪器比专用的 3D 跟踪器更快且更准确。3. 预备知识repurpose改造复用rendered渲染高斯核 Gaussian kernel高斯核生成高斯热力图class-agnostic类别无关retrieves检索2D CenterNet将目标检测重新定义为关键点估计。它以图像为输入并为 K 个类别中的每一个预测一个 W×H的热图。每个局部最大值即输出热图中像素值大于其 8 个相邻像素的像素对应于被检测物体的中心。为了恢复 2D 边界框CenterNet 回归一个在所有类别之间共享的尺寸图对于每个检测到的物体尺寸图在中心位置存储其宽度和高度。CenterNet 架构使用标准的全卷积图像骨干网络并在顶部添加一个密集预测头。在训练期间CenterNet 学习预测热图在对于每个类别ci∈{1…,K} 的每个标注物体中心qi处渲染高斯核并在标注边界框的中心回归物体尺寸 s。为了弥补骨干网络架构步长带来的量化误差CenterNet 还回归一个局部偏移量 o。在测试时检测器生成K热图和不区分类别的密集回归图。热图中的每个局部最大值等同于一个物体其置信度与峰值处的热图值成正比。对于每个检测到的物体检测器在相应的峰值位置从回归图中检索所有回归值。根据应用领域的不同可能需要进行非极大值抑制NMS。generality通用性3D 检测设 P{(x,y,z)}为包含三维位置 (x,y,z)和反射率/测量值的无序点云。3D 目标检测旨在从该点云中预测鸟瞰图视角下的一组 3D 物体边界框每个边界框 b(w,l,h,x,y,z,θ)包含一个中心位置 (x,y,z)相对于物体所在的地平面、3D 尺寸 (w,l,h)以及用偏航角θ表示的旋转。不失一般性我们使用以传感器为原点 (0,0,0)且偏航角为 0 的自车中心坐标系。现代 3D 目标检测器使用 3D 编码器将点云量化到规则的分箱bins中。然后基于点的网络提取分箱内所有点的特征。接着3D 编码器将这些特征池化为其主要的特征表示。大部分计算发生在骨干网络中该网络分别对这些量化并池化后的特征表示进行操作。骨干网络的输出是一个鸟瞰图特征图在鸟瞰图参考系中具有宽度 W、长度 L以及 F 个通道。宽度和高度直接与单个体素分箱的分辨率以及骨干网络的步长相关。常见的骨干网络包括 VoxelNet和 PointPillars 。利用鸟瞰图特征图 M检测头最常见的是单阶段 [32] 或两阶段 [43] 边界框检测器随后从锚定在这个俯视特征图上的一些预定义边界框中生成物体检测结果。因为3D 边界框具有各种尺寸和方向基于锚框的 3D 检测器很难将一个轴对齐的 2D 框拟合到一个 3D 物体上。此外在训练阶段以往基于锚框的三维检测器依靠二维框交并比2D Box IoU来完成目标分配这为针对不同类别、不同数据集选取正负样本阈值带来了不必要的负担。在下一节中我们将展示如何基于点表示法构建一个原则性的 3D 目标检测与跟踪模型。4. CenterPoint焦点损失Focal Loss改良版交叉熵专门解决稠密检测里「背景海量、目标极少」的正负样本极度不平衡问题render渲染得到的overview概述IoU预测框和真值框的交并比elevation高程、高度图2 我们CenterPoint框架的概述。我们依赖标准的3D骨干网络从激光雷达点云中提取鸟瞰图map-view特征表示。然后一个2D CNN架构的检测头找到物体中心并使用中心特征回归出完整的3D边界框。该边界框预测用于在估计的3D边界框每个面的3D中心处提取点特征这些特征被传入MLP多层感知机以预测IoU引导的置信度分数和边界框回归细化。建议在彩色下观看。图 2 展示了 CenterPoint 模型的整体框架。设为 3D 骨干网络的输出。CenterPoint 的第一阶段预测特定类别的热图、物体尺寸、亚体素位置细化、旋转和速度。所有输出均为密集预测。中心热图头。中心检测头的目标是在任何检测到的物体的中心位置产生一个热图峰值。该分支输出一个 K 通道的热力图K 个类别各自对应一个通道。在训练期间它以将标注边界框的 3D 中心投影到鸟瞰图所产生的 2D 高斯分布为目标。我们使用焦点损失focal loss。在俯视鸟瞰图中物体比在图像中更稀疏。在鸟瞰图中距离是绝对的而图像视图由于透视会扭曲它们。考虑一个道路场景在鸟瞰图中车辆占用的面积很小而在图像视图中少数几个大型物体可能会占据屏幕的大部分。此外透视投影中深度维度的压缩自然导致物体中心在图像视图中彼此靠得更近。遵循 CenterNet的标准监督会得到一个非常稀疏的监督信号其中大多数位置被认为是背景。为了抵消这一点我们通过扩大在每个真实值物体中心渲染的高斯峰值来增加目标热图 Y的正向监督。具体而言我们将高斯半径设置为其中 τ2是最小允许的高斯半径而 f是 CornerNet [29] 中定义的半径函数。通过这种方式CenterPoint 保持了基于中心的目标分配的简洁性模型从附近的像素获得了更密集的监督。回归头我们在物体的中心特征处存储几个物体属性亚体素位置细化离地高度、3D 尺寸以及偏航旋转角。亚体素位置细化 o减少了量化误差来自骨干网络的体素化和步长。离地高度有助于在3D中定位物体并补充了鸟瞰图投影所移除的高程信息。方向预测使用偏航角的正弦和余弦作为连续回归目标。结合边界框尺寸这些回归头提供了3D边界框的完整状态信息。每个输出使用其独立的头。在训练时仅对真实值中心使用L1回归损失进行监督。我们回归对数尺寸以更好地处理各种形状的边界框。在推理时我们通过在每个物体的峰值位置索引密集的回归头输出来提取所有属性。速度头与跟踪。为了随时间跟踪物体我们学习为每个检测到的物体预测一个二维速度估计作为额外的回归输出。速度估计比较特殊因为它需要两个输入的鸟瞰图当前时间步和上一时间步。它预测当前帧和过去帧之间物体位置的差异。与其他回归目标一样速度估计也在当前时间步的真实值物体位置使用L1损失进行监督。在推理时我们使用这个偏移量以贪婪的方式将当前的检测结果与过去的检测结果关联起来。具体而言我们通过应用负的速度估计将当前帧中的物体中心投影回前一帧然后通过最近距离匹配将它们与已跟踪的物体匹配。遵循SORT的方法我们将未匹配的轨迹保留最多 T 3帧之后将其删除。我们使用其最后已知的速度估计来更新每个未匹配的轨迹。详细的跟踪算法示意图见补充材料。CenterPoint 将所有热图损失和回归损失组合在一个共同的目标函数中并对它们进行联合优化。它简化并改进了以前基于锚框的3D检测器见实验部分。然而目前物体的所有属性都是从物体的中心特征推断出来的这可能不包含足够的信息来进行精确的物体定位。例如在自动驾驶中传感器通常只能看到物体的侧面而看不到其中心。接下来我们通过使用带有轻量级点特征提取器的第二个细化阶段来改进 CenterPoint。4.1. 两阶段 CenterPointbilinear interpolation双线性插值在 2D 平面上用周围4 个相邻点的值插值算出中间任意坐标的数值属于插值算法CV 里最常用。CV Computer Vision计算机视觉concatenate拼接proposal候选框MLP多层感知机输入层 → 若干隐藏层每层线性变换 激活函数→ 输出层 每一层里面神经元和上一层全部相连全连接没有卷积、没有注意力。IoU3D IoU直接在三维空间算两个长方体的重叠体积 / 并集体积取值范围0 ~ 1IoU1预测框和真值框完全重合IoU0完全不重叠损失就是一个 “打分器”用来衡量网络预测结果和真实答案差得有多远二元交叉熵BCEsigmoid 输出独立二分类多标签也能用CenterPoint K 个通道每一类单独一张热力图就是 BCEL1 Loss也叫 MAEMean Absolute Error 平均绝对误差RoIAlign感兴趣区域对齐从特征图里抠出 proposal候选框对应的一块区域输出固定大小的特征图消除 RoIPool 的取整量化误差。RolPool拿到一个候选框 proposalRoI从特征图上抠出它对应的区域不管这个框多大都输出固定尺寸的特征图比如 7×7方便后面接 MLP 做分类和框回归。我们将 CenterPoint 作为第一阶段保持不变。第二阶段从骨干网络的输出中提取额外的点特征。我们从预测边界框每个面的3D中心提取一个点特征。请注意边界框的中心、顶面和底面中心在鸟瞰图上的投影都位于同一个点。因此我们只考虑四个朝外的边界框面以及预测的物体中心。对于每个点我们使用双线性插值从骨干网络鸟瞰图输出M中提取特征。接下来我们将提取的点特征拼接起来并将它们传入一个 MLP。第二阶段在一阶段 CenterPoint 的预测结果之上预测一个不区分类别的置信度分数和边界框细化。对于不区分类别的置信度分数预测我们遵循的方法并使用一个由边界框与相应真实值边界框的3D IoU引导的分数目标 I其中是第t个候选框与真实值之间的IoU。训练时使用二元交叉熵损失进行监督其中是预测的置信度分数。在推理过程中我们直接使用一阶段CenterPoint的类别预测并将最终的置信度分数组合为这两个分数的几何平均值其中是对象t的最终预测置信度且而分别是对象t的第一阶段和第二阶段置信度。对于边界框回归模型在第一阶段候选框的基础上预测一个细化量我们使用L1损失来训练模型。我们的两阶段CenterPoint简化并加速了以前的两阶段3D检测器这些检测器使用了昂贵的基于PointNet的特征提取器和RoIAlign操作。4.2. 架构激活函数给网络增加非线性能力的函数套在卷积、LinearMLP的输出后面所有第一阶段的输出共享一个初始的 3 × 3 卷积层、批量归一化Batch Normalization)和 ReLU 激活函数。然后每个输出使用各自的分支该分支由两个 3 × 3 卷积组成中间由批量归一化和ReLU隔开。我们的第二阶段使用一个共享的两层MLP包含批量归一化、ReLU和Dropout (丢弃率为0.3随后是两个分支每个分支由三个全连接层组成一个用于置信度分数另一个用于边界框回归预测。5. 实验FPS每秒帧数metrics评价指标translation平移trajectory轨迹divergence发散偏离ground truth真值、真实标注我们在Waymo开放数据集和nuScenes数据集上评估CenterPoint。我们使用两种3D编码器实现CenterPointVoxelNet和PointPillars ,分别称为CenterPoint-Voxel和CenterPoint-Pillar。Waymo开放数据集。Waymo开放数据集包含798个训练序列和202个验证序列用于车辆和行人检测。点云由64线激光雷达捕获每0.1秒产生约18万个激光雷达点。官方的3D检测评估指标包括标准的3D边界框平均精度均值mAP和由航向准确率加权的mAPmAPH。mAP和mAPH是基于车辆0.7和行人0.5的IoU阈值计算的。对于3D跟踪官方指标是多重目标跟踪准确率MOTA和多重目标跟踪精度MOTP。官方基准测试评估两个难度级别LEVEL_1 适用于包含五个以上激光雷达点的边界框LEVEL_2 适用于包含至少一个激光雷达点的边界框。我们的Waymo模型在 X 轴和 Y 轴上的检测范围为 [-75.2m, 75.2m]在 Z 轴上为 [-2m, 4m]。CenterPoint-Voxel 遵循 PV-RCNN使用 (0.1m, 0.1m, 0.15m) 的体素大小而 CenterPoint-Pillar 使用 (0.32m, 0.32m) 的网格大小。nuScenes数据集。nuScenes包含1000个驾驶序列其中700、150、150个序列分别用于训练、验证和测试。每个序列大约20秒长激光雷达频率为20FPS。该数据集为每个激光雷达帧提供校准的车辆位姿信息但仅每十帧0.5秒提供边界框标注。nuScenes 使用32线激光雷达每帧产生约3万个点。总的来说训练、验证和测试帧分别有 28k、6k、6k 个标注。这些标注包含呈长尾分布的10个类别。官方评估指标是各类别之间的平均值。对于3D检测主要指标是平均精度均值mAP)和 nuScenes 检测分数NDS).mAP使用鸟瞰图中心距离 0.5m、1m、2m、4m而不是标准的边界框重叠度。在我们初次提交之后nuScenes更新了规划(PKL)的指标。因此我们对我们测试的所有方法也报告了PKL指标。对于3D跟踪nuScenes使用AMOTA [53]它惩罚ID切换、假阳性和假阴性并在各种召回率阈值下取平均值。对于nuScenes上的实验我们将检测范围设定为 X 轴和 Y 轴的 [-51.2m, 51.2m]以及 Z 轴的 [-5m, 3m]。CenterPoint-Voxel 使用 (0.1m, 0.1m, 0.2m) 的体素大小CenterPoint-Pillar 使用 (0.2m, 0.2m) 的网格大小。训练与推理。我们使用与之前工作相同的网络设计和训练计划。详细超参数请见补充材料。在两阶段CenterPoint的训练过程中我们从第一阶段的预测中随机采样128个边界框正负样本比例为1:1 。如果一个候选框与真实值标注的重叠度至少为0.55 IoU 则它被视为正样本。在推理过程中我们在非极大值抑制NMS之后的前500个预测上运行第二阶段。推理时间是在Intel Core i7 CPU和Titan RTX GPU上测量的。5.1. 主要结果State-of-the-artSOTA当前最优、业界前沿、最好效果的方法breakdown:分项统计、拆分结果、细分表traffic cone交通锥、路锥、雪糕筒3D检测我们首先展示我们在Waymo和nuScenes测试集上的3D检测结果。两项结果均使用单一的CenterPoint-Voxel模型。表1和表2总结了我们的结果。在 Waymo 测试集上我们的模型车辆检测的 Level 2 mAPH 达到 71.8行人检测的 Level 2 mAPH 达到 66.4相比之前的方法车辆的 mAPH 提升 7.1%行人的 mAPH 提升 10.6%。在nuScenes上表2我们的模型在mAP上超出5.2%在NDS上超出2.2%击败了去年使用多尺度输入和多模型集成获得挑战赛冠军的CBGS 。我们的模型也快得多如后文所示。按类别的细分包含在补充材料中。我们的模型在所有类别上表现出持续的性能提升并在小类别交通锥的mAP提高了5.6和极端长宽比类别自行车的mAP提高了6.4工程车的mAP提高了7.0上显示出更显著的提升。更重要的是我们的模型在神经规划器指标PKL下显著优于所有其他提交这是在我们提交排行榜后由组织者评估的隐藏指标。这突出了我们框架的泛化能力。表1在Waymo测试集上进行3D检测的最新方法对比。我们展示了Level 1和Level 2基准的mAP和mAPH。表2在nuScenes测试集上进行3D检测的最新方法对比。我们展示了nuScenes检测分数NDS和平均精度均值mAP。表3在Waymo测试集上进行3D跟踪的最新方法对比。我们展示了MOTA以及MOTP↑表示越高越好↓表示越低越好。表4在nuScenes测试集上进行3D跟踪的最新方法对比。我们展示了AMOTA、假阳性FP数量、假阴性FN数量、ID切换IDS数量以及各类别AMOTA。↑表示越高越好↓表示越低越好。表5基于锚框和基于中心的方法在Waymo验证集上进行3D检测的对比。表5基于锚框和基于中心的方法在Waymo验证集上进行3D检测的对比。表6基于锚框和基于中心的方法在nuScenes验证集上进行3D检测的对比。我们展示了平均精度均值mAP和nuScenes检测分数NDS。3D 跟踪 表3展示了CenterPoint在Waymo测试集上的跟踪性能。我们在第4节中描述的基于速度的最近距离匹配显著优于Waymo论文中的官方跟踪基线后者使用的是基于卡尔曼滤波的跟踪器 。我们观察到车辆和行人跟踪的MOTA分别提高了19.4和18.9。在nuScenes上表4我们的框架以8.8 AMOTA的优势超过了上一个挑战赛冠军Chiu等人。值得注意的是我们的跟踪不需要单独的运动模型并且运行时间可以忽略不计在检测之上仅需1毫秒。5.2. 消融研究基于中心 vs 基于锚框 我们首先将我们基于中心的单阶段检测器与基于锚框的对应方法进行比较。在Waymo上我们遵循最先进的PV-RCNN来设置锚框超参数我们在每个位置使用两个锚框角度分别为0°和90°。正/负样本阈值设定为车辆0.5/0.4行人0.5/0.35。我们遵循来自上一届挑战赛冠军 CBGS的锚框分配策略。所有其他参数与我们的CenterPoint模型相同。如表5所示在Waymo数据集上仅仅从锚框切换到我们的中心点VoxelNet和PointPillars编码器分别获得了4.3 mAP和4.5 mAPH的提升。在 nuScenes 数据集上表 6在不同骨干网络下CenterPoint 相比基于锚框的对照方法mAP 提升 3.8~4.1NDS 提升 1.1~1.8。为探明性能提升的来源我们进一步在 Waymo 验证集上按照目标尺寸、朝向角划分不同子集给出分项性能结果。我们首先根据航向角将真值实例划分为三组0°~15°、15°~30° 以及 30°~45°。该划分用于测试检测器对大旋转角度框的检测性能这对于自动驾驶的安全部署至关重要。我们同时将数据集划分为三个分组小目标、中等目标、大目标每个分组包含全部真值框的 1/3。表 7 和表 8 汇总了实验结果。当检测框存在旋转或是目标尺寸偏离平均尺寸时我们基于中心点的检测器性能远优于基于锚框的基线模型。这证明该模型在检测目标时具备捕捉旋转不变性与尺寸不变性的能力。这些结果有力说明了采用基于点的方式表征 3D 目标的优势。表7基于锚点和基于中心的方法在检测不同航向角物体时的对比。展示了旋转角的范围及其相应的mAP。我们展示了两种方法在Waymo验证集上的LEVEL_2 mAPH。表 8目标尺寸对基于锚框方法与基于中心点方法性能的影响。我们展示不同尺寸区间目标在 Level 2 下的逐类别 mAPH小目标占 33%、中等目标占 33%、大目标占 33%。表 9在 Waymo 验证集上对比 VoxelNet 和 PointPillars 两种编码器分别在以下几种设置下的 3D LEVEL 2 mAPH 指标单阶段、带有 3D 中心点特征的两阶段、同时带有 3D 中心点特征与表面中心特征的两阶段。表 10两阶段精修模块不同特征组件的消融实验。VSA 即体素集抽象Voxel Set Abstraction是 PV-RCNN中采用的特征聚合方式。RBF 使用径向基函数对 3 个最近邻点做插值。我们在 Waymo 验证集上基于 Level 2 mAPH 指标对比鸟瞰图特征与 3D 体素特征。单阶段与两阶段对比在表 9 中我们对比了在 Waymo 验证集上采用二维卷积特征的单阶段 CenterPoint 和两阶段 CenterPoint 模型。基于多中心特征的两阶段精修能够在额外开销很小6~7 毫秒的情况下大幅提升两种 3D 编码器的精度。我们同时和 RoIAlign 做对比RoIAlign 会在感兴趣区域内密集采样 6×6 个点我们这种基于中心点的特征聚合方案取得了相当的性能同时速度更快、结构更简洁。体素量化限制了采用 PointPillars 作为编码器的两阶段 CenterPoint 在行人检测上的性能提升原因是行人在模型输入中通常只占据一个像素。在我们的实验中两阶段精修并没有在 nuScenes 数据集上相比单阶段 CenterPoint 带来性能提升。我们认为原因在于nuScenes 数据集采用 32 线激光雷达每帧大约产生 3 万个激光点云点数大约只有 Waymo 数据集的 1/6这限制了两阶段精修能够带来的性能提升空间。在 PointRCNN 、PV-RCNN等先前的两阶段方法中也观察到了类似现象。不同特征组件的影响在我们的两阶段 CenterPoint 模型中我们仅使用二维 CNN 特征图上的特征。但已有前人方法提出在第二阶段精修过程中同时利用体素特征。在此我们对比两种体素特征提取基线方案体素集抽象Voxel-Set Abstraction。PV-RCNN提出了 VSA 模块该模块扩展了 PointNet的集合抽象层在固定半径的球形邻域内聚合体素特征。径向基函数RBF插值。 PointNet和 SA-SSD使用径向基函数从距离最近的三个非空 3D 特征体中聚合网格点特征。对于这两种基线方案我们采用它们官方的实现方式将鸟瞰图特征与体素特征融合。表 10 汇总了实验结果。结果表明仅使用鸟瞰图特征就足以取得不错的效果并且相比文献中使用的体素特征效率更高。为和那些没有在 Waymo 测试集上开展评估的已有工作对比我们同时在表 11 中给出模型在 Waymo 验证集上的结果。我们的模型大幅优于所有已发表方法尤其是在难度更高的 Level 2 数据集里的行人类别mAPH 提升 18.6这类检测框内甚至仅包含一个激光雷达点。3D 跟踪任务。表 12 展示了 nuScenes 验证集上 3D 跟踪的消融实验。我们对比去年竞赛冠军 Chiu 等人的方案该方案采用基于马氏距离的卡尔曼滤波器对 CBGS的检测结果做数据关联。我们将评估拆分为检测器和跟踪器两部分保证对比的公平严谨。 在输入相同检测结果的前提下使用本文提出的、基于速度的最近点距离匹配方案相比基于卡尔曼滤波的马氏距离匹配方案 AMOTA 提升 3.7第 1 行对比第 3 行、第 2 行对比第 4 行。性能提升来源于两点1我们利用学习得到的目标点速度来建模物体运动而非使用卡尔曼滤波对 3D 框的运动状态建模2我们依据中心点距离做目标匹配而不是采用框状态的马氏距离或是 3D 框 IoU。更重要的是我们的跟踪算法是简单的最近邻匹配不需要任何隐状这省去了 3D 卡尔曼滤波器带来的计算开销 耗时 73 毫秒对比 1 毫秒。图 3CenterPoint 在 Waymo 验证集上的定性结果示例。蓝色为原始点云绿色框是本文方法检测出的目标检测框内的激光雷达点云标记为红色。建议在屏幕上查看原图效果。表11在 Waymo 验证集上的 3D 检测任务与当前最优方法SOTA的对比表 12nuScenes 验证集上 3D 跟踪任务的消融实验。 我们展示不同检测器与跟踪器的组合效果。CenterPoint-* 代表本文提出的检测器Point 是本文提出的跟踪器。M-KF 是基于马氏距离的卡尔曼滤波器Mahalanobis distance-based Kalman filter的缩写该方案曾被上一届竞赛冠军 Chiu 等人 。代表跟踪耗代表检测加跟踪的总耗时。6结论我们提出了一种基于中心点的框架用于激光雷达点云的 3D 目标检测与跟踪一体化任务。本文方法采用标准的 3D 点云编码器检测头仅由少量卷积层构成输出 BEV 鸟瞰图热力图以及其他稠密回归结果。检测环节采用简单的局部峰值提取加精修跟踪环节采用最近距离匹配。CenterPoint 结构简洁、接近实时并且在 Waymo 和 nuScenes 基准数据集上取得了当前最优性能。