lyuwenyu/RT-DETR
RT DETR
RT-DETR هو نموذج كشف كائنات في الوقت الفعلي يعتمد على معمارية محول الكشف (detection transformer). تم تنفيذه كنموذج رؤية حاسوبية لمنصتي التعلم العميق PyTorch وPaddlePaddle، ومصمم لتحديد وتحديد مواقع كائنات متعددة في الصور ومقاطع الفيديو.
يلغي النموذج الحاجة إلى توليد المراسي (anchor generation) وقمع غير الأقصى (non-maximum suppression) باستخدام نهج يعتمد على المحولات. يركز على الكشف عالي الأداء، مع موازنة الدقة وزمن الوصول المنخفض للنشر في البيئات الحية.
يستخدم النظام مشفراً هجيناً ودمج ميزات متعدد المقاييس لاستخراج السياق العالمي واكتشاف الكائنات ذات الأحجام المختلفة. يتضمن تنفيذه طريقة كشف تعتمد على الاستعلام وخسارة مطابقة ثنائية لإنتاج مربعات الإحاطة وتصنيفات الفئات في تمريرة واحدة.
Features
- Real-Time Object Detection - Identifies and locates multiple objects within images or video streams using high precision and low latency processing.
- NMS-Free Object Detectors - Implements an end-to-end detection transformer that removes the need for anchor generation and non-maximum suppression.
- DETR Implementations - Implements the Detection Transformer architecture to achieve higher accuracy than traditional convolutional neural networks.
- Computer Vision Inference - Provides a high-performance execution engine for real-time computer vision inference in robotics and surveillance applications.
- Object Query Mechanisms - Utilizes a set of learnable object queries to predict bounding boxes and class labels in a single pass.
- Vision Transformer Encoders - Employs a vision transformer encoder with self-attention mechanisms to extract global context from image features.
- Real-Time Model Inference on Frames - Provides an optimized inference pipeline to maintain high frame rates during real-time object detection on video streams.
- Computer Vision Models - Provides a high-performance object detection implementation optimized for the PaddlePaddle deep learning platform.
- Multi-Scale Feature Pyramids - Merges high- and low-resolution image features using multi-scale pyramids to detect objects of various sizes.
- Hungarian Matching Losses - Implements a bipartite matching loss strategy to assign unique predictions to ground truth objects without needing non-maximum suppression.
- Hybrid Architectures - Combines multi-scale feature extraction with a lightweight head to optimize the balance between detection accuracy and inference speed.
- PyTorch Computer Vision Pipelines - Implements a deep learning pipeline for image analysis and object localization using the PyTorch framework.
- Real-Time Detection Optimizations - Optimizes detection tasks for live environments where both high speed and precision are critical.
- Transformer - Listed in the “Transformer” section of the Ailia Models awesome list.
