ChaoningZhang/MobileSAM
MobileSAM
MobileSAM este un segmentator de imagini ușor și un model de viziune promptabil, conceput pentru izolarea rapidă a obiectelor pe hardware cu resurse limitate. Funcționează ca un instrument automat de mascare a imaginilor, capabil să detecteze și să izoleze obiecte distincte dintr-o întreagă imagine fără input manual.
Sistemul permite mascarea obiectelor bazată pe prompt-uri, folosind puncte de coordonate sau bounding boxes pentru a genera măști precise. De asemenea, suportă segmentarea imaginilor cu toate obiectele prin eșantionarea prompt-urilor conștiente de obiecte pentru a identifica fiecare obiect distinct dintr-o scenă.
Pentru a facilita implementarea pe dispozitive mobile și edge, modelul este compatibil cu exportul ONNX, permițând modelului de viziune să ruleze pe diverse runtime-uri hardware cross-platform.
Features
- Mobile-Optimized Segmentations - Provides a lightweight image segmenter designed specifically for fast object isolation on mobile hardware.
- Image Segmentation - Performs all-object image segmentation to isolate every distinct object across a scene.
- Object Mask Generators - Creates precise object outlines using point or box prompts as input.
- Point-Based Mask Generators - Generates precise segmentation masks using coordinate points and bounding box prompts.
- Automatic Prompt Generators - Generates a grid of candidate prompts to automatically identify and mask all objects in an image.
- SAM-Based Implementations - Implements a mobile-optimized version of the Segment Anything Model architecture.
- Prompt-Based Segmentations - Implements prompt-based segmentation using bounding boxes or points to identify specific image areas.
- Promptable Segmentation Tools - Provides a model that generates masks based on multi-modal prompts such as points and boxes.
- AI Image Masking - Functions as an automatic masking tool to isolate distinct objects using neural networks.
- Image Encoders - Implements a decoupled image encoder to extract spatial features for fast mask decoding.
- Knowledge Distillation - Uses knowledge distillation to compress a large teacher model into a lightweight student model.
- ONNX Model Exporters - Provides tools to export the vision model into the standardized ONNX format for edge deployment.
- Vision Transformers - Employs a lightweight vision transformer with reduced attention heads and layers for efficiency.
- Image segmentation - Listed in the “Image segmentation” section of the Ailia Models awesome list.
