目标检测指标
指标 | 内容 |
---|---|
mAP(mean Average Precision) | bev下2d中心点的距离来评价,而不是像2d检测里用iou来评价 |
mATE(Average Translation Error) | 中心点的2D欧式距离 |
mASE(Average Scale Error) | 中心点和朝向对齐后的尺度误差 |
mAOE(Average Orientation Error) | 朝向误差 |
mAVE(Average Velocity Error) | 速度误差 |
mAAE(Average Attribute Error) | 属性误差 |
NDS(nuScenes detection score) | 对上述所有进行加权平均 |
1. 目标检测
(1)平均精度(Average Precision, AP)
这是目标检测任务中最常用的评价指标之一。它衡量的是检测器在不同置信度阈值下的精度(Precision)- 召回率(Recall)曲线下的面积。nuScenes数据集基于不同类别目标,例如行人、车辆等,计算每个类别的AP。
(2)平均最佳重叠(Average Best Overlap, ABE)
ABE是nuScenes用来评估检测性能的一个更严格的指标,它要求检测结果与真实情况相比不仅要有高的IoU(交并比),而且还应该尽可能地精确预测目标的方向和速度。
2. 目标跟踪
(1)多目标跟踪精度(Multiple Object Tracking Precision, MOTP)
MOTP衡量的是被正确关联的检测与真实目标之间的平均重叠度。
(2)多目标跟踪召回率(Multiple Object Tracking Recall, MOTR)
MOTR计算的是数据集中所有真实目标被正确跟踪的比例。
(3)识别分数(Identity Score, IDF1)
DF1是一种衡量跟踪准确性与一致性(即正确识别同一目标的连续性)的指标。它考虑了预测轨迹与真实轨迹之间的匹配情况,从而评价跟踪算法在长时间内跟踪目标的能力。
3. NDS(nuScenes Detection Score)
NDS是一个综合指标,它将上述各种单一指标结合在一起,通过加权平均的方式给出一个总分,以便更全面地评估自动驾驶系统在目标检测、跟踪等多任务上的表现。NDS考虑的因素包括不同尺度目标的检测、跟踪的精确度和流畅度等。