1 Repo
Awesome GitHub RepositoriesMulti-Modal Image Segmentation Frameworks
Systems designed to generate image masks by integrating multiple input modalities such as text, audio, and vision.
Distinguishing note: None of the candidates cover the comprehensive framework nature of combining multi-modal inputs specifically for segmentation.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Multi-Modal Image Segmentation Frameworks. Refine with filters or upvote what's useful.
Awesome Multi-Modal Image Segmentation Frameworks GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- ux-decoder/segment-everything-everywhere-all-at-once
UX-Decoder/Segment-Everything-Everywhere-All-At-Once
4,790Auf GitHub ansehenDieses Projekt ist ein multimodales Bildsegmentierungs-Framework und ein Text-zu-Maske-Vision-Modell. Es dient als SAM-basierter visueller Segmentierer, der darauf ausgelegt ist, distinkte Objekte innerhalb von Bildern und Videos zu isolieren, indem natürlichsprachliche Prompts und andere Eingaben in semantische Masken auf Pixelebene umgewandelt werden. Das System fungiert als multimodales Bildsegmentierungs-Framework, das Text-, Bild- und Audiosignale integriert, um Masken zu generieren. Es enthält einen interaktiven Video-Objekt-Tracker, der visuelle Entitäten über Videoframes hinweg unter Verwendung von Referenzbildern oder textuellen Abfragen isoliert und verfolgt. Das Framework bietet Funktionen für semantische Bildbeschriftung, bei der Masken über ein vordefiniertes Vokabular Kategorienamen zugewiesen werden. Es unterstützt zudem interaktives Bild-Editing durch Sitzungshistorien-Speicher und nutzt Feature-Matching, um Objekte basierend auf Referenzbildregionen zu extrahieren.
Implements a comprehensive framework for generating image masks using combined text, image, and audio signals.
Python
