详细内容或原文请订阅后点击阅览
RF-DETR 底层：实时变压器检测的见解
从刚性网格到自适应注意力，这是使检测变压器变得快速、灵活和强大的进化路径。后置 RF-DETR 的幕后：实时变压器检测的见解首先出现在走向数据科学上。
来源:走向数据科学在计算机视觉世界中，您可能听说过 RF-DETR，这是 Roboflow 的新型实时物体检测模型。它因其令人印象深刻的性能而成为新的 SOTA。但要真正理解它的运作原理，我们需要超越基准并深入研究其架构 DNA。
RF-DETR 并不是一个全新的发明；它的故事是一次解决一个问题的迷人旅程，从原始 DETR 中的基本限制开始，到轻量级实时 Transformer 结束。让我们追踪这一演变。
检测管道的范式转变
2020 年出现了 DETR（DEtection TRansformer）[1]，这是一个彻底改变了对象检测流程的模型。它是第一个完全端到端的检测器，无需手工设计的组件，例如锚生成和非极大值抑制（NMS）。它通过将 CNN 主干与 Transformer 编码器-解码器架构相结合来实现这一目标。尽管采用了革命性的设计，最初的 DETR 仍然存在重大问题：
- 收敛速度极慢：DETR 需要大量的训练 epoch 才能收敛，比 Faster R-CNN 等模型慢 10-20 倍。 高计算复杂度：Transformer编码器中的注意力机制相对于特征图的空间维度（H，W）具有O（H2W2C）的复杂度。这种二次方的复杂性使得处理高分辨率特征图的成本过高。 小物体上的性能不佳：由于其高复杂性的直接后果，DETR 无法使用高分辨率特征图，而这对于检测小物体至关重要。