🚀【实战分享】目标检测的“后 DEⱯ”时代：DETR/DINO/RT-DETR及新型骨干网络探索（含示例代码）

目标检测从 YOLO、Faster R-CNN 到 Transformer 结构的 DETR，再到 DINO、RT-DETR，近两年出现了许多新趋势：更高效的端到端结构、更少的手工设计（比如不再需要 NMS）、以及新型轻量化骨干网络（比如 Mamba、ConvNeXt、ViT 等）被引入检测任务中。

作为从事目标检测的小伙伴，我最近在研究并实践了这些新方法，本文结合理论与实战，系统梳理最新进展，并给出部分实战代码示例，希望对大家有所帮助。

---

📌 DETR 的革命：端到端检测

2019 年底，Facebook AI 提出 DETR（Detection Transformer），通过 Transformer 的 encoder-decoder 和 bipartite matching loss，把目标检测变为一个序列到序列的预测问题。

优点：

• 不需要 NMS 和 anchor

• 端到端优化

缺点：

• 收敛慢（通常需要 500 epoch）

• 对小目标不友好

后续很多工作都在解决 DETR 的缺点，如：

• Deformable DETR：引入可变形注意力，加速收敛到 50 epoch

• Conditional DETR、DN-DETR：加快收敛

• DAB-DETR：引入动态 anchor box

• DINO：加速收敛 + 大幅提升精度

---

🐬 DINO：更快更准的 DETR

DINO（DETR with Improved DeNoising Anchor boxes）是 2022 年 IDEA 提出的改进版本，关键点：

• 引入 denoising training（对 GT 加噪声，引导模型学习鲁棒性）

• 使用双头结构（两个 decoder head，一个负责 denoising loss，一个负责 matching loss）

DINO 的 COCO AP 达到 50+，并且收敛更快。

✅ 实际体验：在 MMDetection 中用 DINO，比原始 DETR 收敛速度明显快很多，并且小目标检测性能也有提升。

---

⚡ RT-DETR：实时 DETR

2023 年 Ultralytics 和 IDEA 合作推出了 RT-DETR：

• 完全保留 DETR 思路（encoder-decoder）

• 用更轻量的骨干网络（如 CSPDarknet、ConvNeXt）

• 引入多层解码器特征融合

• 支持实时检测：COCO AP50 达到 53.3%，速度可达 70+ FPS

RT-DETR 实现了 端到端结构也能做到实时检测，对工程落地意义重大。

---

🧬 新趋势：新型骨干网络与检测结合

检测算法的进步不仅在检测头、损失设计，还在骨干网络：

• ConvNeXt：纯卷积结构，接近 ViT 表现

• Swin Transformer / ViT：用自注意力捕捉全局特征

• Mamba：最近非常热的状态空间模型（SSM），轻量高效

比如最近 IDEA 提出了 Mamba-DETR，把 Mamba 结构替代传统 Transformer 作为 backbone，也取得了不错结果。

---

🧪 小试牛刀：用 RT-DETR 检测自定义数据集

下面用 Ultralytics 的 rtdetr（官方 PyTorch 实现）做个示例：
假设你已经准备好了 COCO 格式的数据集。

📦 安装

pip install ultralytics

---

🏗️ 新建训练脚本 train_rtdetr.py

from ultralytics import RTDETR# 加载 RT-DETR 模型
model = RTDETR('rtdetr-l.pt')  # 官方训练好的大模型# 开始训练
model.train(data='data.yaml',        # COCO 格式数据集配置文件epochs=50,imgsz=640,batch=16,lr0=1e-3,device=0
)

⚠️ data.yaml 内容示例：

train: ./images/train
val: ./images/val
nc: 3
names: ['apple', 'banana', 'orange']

---

✅ 测试与预测

# 验证
metrics = model.val()# 单张图片预测
results = model.predict('test.jpg', conf=0.5)
results.show()  # 展示结果
results.save()  # 保存结果

---

✍️ 工程小经验

• 小数据集：尝试冻结 backbone，只微调检测头

• 分辨率：增大 imgsz 能提高 AP，但显存需求更高

• 小目标：多用多尺度特征；或用 DINO

• 部署：RT-DETR 支持导出 ONNX / TensorRT，非常适合边缘设备

---

📚 更多参考

• DETR 原论文

• DINO 论文

• RT-DETR GitHub

• Mamba: Linear-Time Sequence Modeling with Selective SSMs

---

✅ 结语

目标检测正进入后 DETR 时代：端到端、无 NMS、轻量化、多模态正成为趋势。
不论是 DINO 还是 RT-DETR，都极大降低了工程落地门槛。
未来也许会有更多与状态空间模型（如 Mamba）结合的新检测器，值得关注和尝试。