ChaoningZhang/MobileSAM
MobileSAM
MobileSAM est un segmenteur d'image léger et un modèle de vision promptable conçu pour l'isolation rapide d'objets sur du matériel aux ressources limitées. Il fonctionne comme un outil de masquage d'image automatique capable de détecter et d'isoler des objets distincts sur une image entière sans saisie manuelle.
Le système permet le masquage d'objets basé sur des prompts en utilisant des points de coordonnées ou des boîtes englobantes pour générer des masques précis. Il prend également en charge la segmentation d'image de tous les objets via un échantillonnage de prompts conscient des objets pour identifier chaque élément distinct dans une scène.
Pour faciliter le déploiement mobile et en périphérie (edge), le modèle est compatible avec l'exportation ONNX, permettant au modèle de vision de s'exécuter sur divers runtimes matériels multiplateformes.
Features
- Mobile-Optimized Segmentations - Provides a lightweight image segmenter designed specifically for fast object isolation on mobile hardware.
- Image Segmentation - Performs all-object image segmentation to isolate every distinct object across a scene.
- Object Mask Generators - Creates precise object outlines using point or box prompts as input.
- Point-Based Mask Generators - Generates precise segmentation masks using coordinate points and bounding box prompts.
- Automatic Prompt Generators - Generates a grid of candidate prompts to automatically identify and mask all objects in an image.
- SAM-Based Implementations - Implements a mobile-optimized version of the Segment Anything Model architecture.
- Prompt-Based Segmentations - Implements prompt-based segmentation using bounding boxes or points to identify specific image areas.
- Promptable Segmentation Tools - Provides a model that generates masks based on multi-modal prompts such as points and boxes.
- AI Image Masking - Functions as an automatic masking tool to isolate distinct objects using neural networks.
- Image Encoders - Implements a decoupled image encoder to extract spatial features for fast mask decoding.
- Knowledge Distillation - Uses knowledge distillation to compress a large teacher model into a lightweight student model.
- ONNX Model Exporters - Provides tools to export the vision model into the standardized ONNX format for edge deployment.
- Vision Transformers - Employs a lightweight vision transformer with reduced attention heads and layers for efficiency.
- Image segmentation - Listed in the “Image segmentation” section of the Ailia Models awesome list.
