Awesome GitHub RepositoriesPoint-Based Mask Generators

Detectron2 is a PyTorch computer vision framework and visual recognition platform designed for training and deploying models for object detection, image segmentation, and visual recognition. It provides a research-oriented environment for training complex vision models with multi-GPU acceleration. The project includes a specialized object detection library for identifying and locating multiple objects via bounding boxes, as well as an image segmentation toolkit for creating pixel-level masks through instance, semantic, and panoptic segmentation. Additionally, it features a human pose estimati

This project is a TensorFlow and Keras implementation of the Mask R-CNN architecture. It provides a framework for performing simultaneous object detection and instance segmentation, transforming raw images into segmented masks and bounding boxes for individual object identification. The toolset enables custom computer vision training through fine-tuning pre-trained weights and integrating user-provided datasets. It includes capabilities for distributed GPU training to accelerate the optimization of large vision models. The framework covers model evaluation using standard precision metrics an

Moondream is a small-scale vision language model designed to reason across images to generate captions and answer natural language questions. It functions as an edge-optimized system capable of performing visual question answering, image captioning, and object detection. The project distinguishes itself through a lightweight architecture designed for local inference on embedded devices, workstations, and air-gapped hardware. It supports the execution of models on local GPUs and Apple Silicon to ensure data privacy and low latency. The system's capabilities include identifying precise object

YOLOv9 is a real-time computer vision framework and deep learning model designed for image classification, object detection, and instance segmentation. It functions as both a vision model and a trainer, allowing for the optimization of neural network weights on custom datasets using single or multiple GPUs. The framework utilizes programmable gradient information to perform high-speed identification and location of multiple objects within images and video streams. It extends beyond bounding box detection to provide instance segmentation and panoptic segmentation, which labels every pixel in a

This project is a modular PyTorch framework for training and evaluating object detection and instance segmentation models. It serves as a computer vision research tool and a deep learning inference engine designed to identify object locations, classes, and pixel-level masks within images. The framework implements a two-stage inference pipeline that utilizes region proposal networks and a symmetric mask-head architecture. It provides specialized capabilities for instance segmentation, object bounding box detection, and human pose estimation via anatomical keypoint detection. The system includ

FastSAM is an image segmentation framework that uses convolutional neural networks to isolate visual elements and generate masks for detectable objects within images. It provides a system for both automatic all-object segmentation and promptable image segmentation. The project utilizes an inference-optimized architecture to reduce computational overhead, enabling faster mask generation and real-time visual analysis. It supports the creation of precise masks through various prompt inputs, including points, bounding boxes, and text descriptions. The framework covers broader computer vision cap

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

Backgroundremover is an AI-powered tool that removes backgrounds from both images and videos, accessible through a command-line interface and a Python API. At its core, it uses a pre-trained deep learning model to classify each pixel as foreground or background, producing a binary mask for removal. The tool distinguishes itself through multiple integration methods and output capabilities. It can process images and videos via Unix pipeline data streams, operate as an HTTP API server, or be called programmatically within Python scripts. Users can choose among different AI models to balance proc

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

MobileSAM ist ein leichtgewichtiger Bildsegmentierer und ein prompt-basiertes Vision-Modell, das für die schnelle Objektisolierung auf Hardware mit begrenzten Ressourcen entwickelt wurde. Es fungiert als automatisches Bildmaskierungstool, das in der Lage ist, einzelne Objekte in einem gesamten Bild ohne manuelle Eingabe zu erkennen und zu isolieren. Das System ermöglicht eine prompt-basierte Objektmaskierung unter Verwendung von Koordinatenpunkten oder Begrenzungsrahmen, um präzise Masken zu generieren. Es unterstützt zudem die Segmentierung aller Objekte in einem Bild durch objektbewusstes Prompt-Sampling, um jedes einzelne Objekt in einer Szene zu identifizieren. Um das Deployment auf Mobilgeräten und Edge-Geräten zu erleichtern, ist das Modell mit ONNX-Export kompatibel, wodurch das Vision-Modell auf verschiedenen plattformübergreifenden Hardware-Runtimes ausgeführt werden kann.

Yolact ist ein Computer-Vision-Framework und ein Echtzeit-Instanz-Segmentierungsmodell. Es nutzt ein vollständig konvolutionales neuronales Netzwerk (CNN), um Objekte zu erkennen und Pixel-Level-Masken für Bilder und Videostreams zu generieren. Das System verwendet prototypische Maskengenerierung, um globale Masken-Prototypen zu erstellen, die für instanzspezifische Ergebnisse linear kombiniert werden. Es integriert deformierbare konvolutionale Schichten und deformierbares Region-of-Interest-Pooling, um das räumliche Sampling an die unregelmäßigen Formen von Objekten anzupassen. Das Framework deckt den gesamten Modellentwicklungs-Lebenszyklus ab, einschließlich Training auf benutzerdefinierten Datensätzen, Genauigkeitsevaluierung mittels mean Average Precision (mAP) und die Nutzung von Multi-GPU-verteiltem Training zur Skalierung der Verarbeitungsgeschwindigkeit. Es bietet zudem Medienverarbeitungs-Dienstprogramme zum Anwenden von Segmentierungsmasken auf Bilder und zum Exportieren annotierter Videodateien. Das Projekt enthält Tools zur Statuspersistenz für das Checkpoint-Management und die Wiederaufnahme des Trainings sowie Logging zur Aufzeichnung von Metriken und Verlustwerten.

Dieses Projekt ist ein multimodales Bildsegmentierungs-Framework und ein Text-zu-Maske-Vision-Modell. Es dient als SAM-basierter visueller Segmentierer, der darauf ausgelegt ist, distinkte Objekte innerhalb von Bildern und Videos zu isolieren, indem natürlichsprachliche Prompts und andere Eingaben in semantische Masken auf Pixelebene umgewandelt werden. Das System fungiert als multimodales Bildsegmentierungs-Framework, das Text-, Bild- und Audiosignale integriert, um Masken zu generieren. Es enthält einen interaktiven Video-Objekt-Tracker, der visuelle Entitäten über Videoframes hinweg unter Verwendung von Referenzbildern oder textuellen Abfragen isoliert und verfolgt. Das Framework bietet Funktionen für semantische Bildbeschriftung, bei der Masken über ein vordefiniertes Vokabular Kategorienamen zugewiesen werden. Es unterstützt zudem interaktives Bild-Editing durch Sitzungshistorien-Speicher und nutzt Feature-Matching, um Objekte basierend auf Referenzbildregionen zu extrahieren.

Adetailer ist eine Stable-Diffusion-Inpainting-Erweiterung und ein automatisierter Detail-Enhancer, der spezifische Bildbereiche identifiziert, um die Qualität durch gezieltes Inpainting zu verbessern. Es fungiert als KI-Bildmaskierungstool, das Erkennungsmodelle verwendet, um präzise Masken für die automatisierte Bildbearbeitung zu erstellen. Das System zeichnet sich dadurch aus, dass es strukturelle Leitlinien wie Tiefe und Pose integriert, um den Inpainting-Prozess einzuschränken und die anatomische Konsistenz zu wahren. Es unterstützt zudem objekt-spezifische Prompt-Zuweisungen, wodurch eindeutige Textanweisungen mithilfe von Trennzeichen (Separator Tokens) mehreren erkannten Objekten innerhalb eines einzigen Bildes zugeordnet werden können. Das Tool bietet eine vollständige Pipeline zur Bildverfeinerung, die automatisierte Maskengenerierung, morphologische Maskentransformationen und Objektfilterung basierend auf Konfidenzschwellen und Größenverhältnissen abdeckt. Es kombiniert diese Funktionen in einem iterativen Prozess aus Erkennung, Maskierung und Diffusion, um Details zu verfeinern, ohne die globale Komposition zu verändern.

Diese Software ist ein System zur Wasserzeichenentfernung, das maschinelles Lernen und Image-Inpainting verwendet, um unerwünschten Text oder Logos aus Bildern zu löschen. Es rekonstruiert fehlende Pixel, um sie an den ursprünglichen Hintergrund anzupassen, und stellt so durch vortrainierte Modelle visuelle Konsistenz sicher. Das Projekt enthält ein Maskierungs-Utility, um spezifische Regionen für den Inhaltsersatz mittels binärer Masken, Bounding-Boxes oder Pinselstrichen zu isolieren. Es verfügt zudem über einen Batch-Prozessor, der diese Bereinigungsaufgaben über eine vordefinierte Dateiliste auf große Bildersätze anwendet. Das System handhabt die Bildvorbereitung durch Normalisierung von Dimensionen und Seitenverhältnissen in Tensoren, um Bilder für die neuronale Netzwerkverarbeitung mit ihren entsprechenden Masken auszurichten.

This project is a Python bio-imaging toolkit and analysis suite designed for processing and analyzing microscopy and medical images. It provides a collection of tools for image quantification, medical image segmentation, and general bio-imaging workflows. The suite includes specialized capabilities for quantifying biological data, such as measuring neuron branching complexity via Sholl analysis, calculating particle size distributions, and tracking wound area in scratch assays. It also features a medical image segmentation library that implements U-Net architectures for isolating anatomical s

MODNet is a deep learning image segmenter and portrait matting model designed to isolate human subjects from backgrounds. It generates high-quality alpha mattes for images and video using only standard RGB input, removing the requirement for manual trimap guides. The framework is optimized for real-time inference and provides utilities to export pre-trained model weights into specialized formats for deployment on target hardware. The project covers the full workflow for portrait isolation, including supervised matting model training on labeled datasets, real-time video background removal, an

AnyDoor is a zero-shot image customization framework designed to transfer specific objects from reference images into new scenes without requiring additional model training. It functions as a diffusion-based object insertion tool that enables the placement of objects into target environments while preserving their original identity, lighting, and posture. The system supports both single and multi-object insertion, allowing several distinct objects from different references to be composed into a single target image. It utilizes a segmentation mechanism for mask refinement to clean and sharpen

sam-hq is a collection of pre-trained vision foundation models and adapters designed for high-quality image segmentation, multimodal feature extraction, and depth estimation. It provides a zero-shot vision model capable of performing segmentation and classification across diverse domains without requiring task-specific training. The project features a high-quality image segmentation tool based on the Segment Anything Model that generates precise masks from spatial prompts. It includes a multimodal feature extractor to generate high-dimensional vector embeddings from both image and text inputs

Segment Geospatial ist ein Python-Toolkit zur Isolierung geografischer Merkmale in Fernerkundungsbildern unter Verwendung des Segment Anything Model. Es fungiert als Fernerkundungs-Bildprozessor, der Kartenkacheln in georeferenzierte Formate konvertiert, um Segmentierungsmasken aus Satellitendaten zu generieren. Das System ermöglicht die Extraktion geografischer Objekte durch automatische Maskengenerierung oder manuelle Prompts, wie Textbeschreibungen, Bounding-Boxes und interaktive Marker. Es unterstützt die Segmentierung von Zeitreihenbildern, um Objekte über Sequenzen von Bildern an verschiedenen Daten hinweg zu verfolgen oder zu identifizieren, und bietet einen Geodaten-Masken-Visualisierer für das Rendern von Ergebnissen auf interaktiven Karten. Das Projekt deckt ein breites Spektrum an räumlichen Operationen ab, einschließlich Kartenkachel-Akquise, Raster-zu-Vektor-Konvertierung und Feature-Edge-Rekonstruktion zur Verfeinerung von Objektgrenzen. Es enthält zudem eine REST-API, die diese Segmentierungs- und Datenverarbeitungsfunktionen für Remote-Anwendungen bereitstellt. Exportfunktionen unterstützen georeferenzierte Rasterbilder und Standard-Vektorformate, einschließlich GeoJSON, Shapefile und GeoPackage.

TextRecognitionDataGenerator is a system for creating synthetic text images and character masks to train and test optical character recognition models. It functions as a dataset tool that generates artificial images by combining dictionary words with specific fonts and backgrounds to produce training sets for machine learning. The project includes a handwriting simulation engine that uses machine learning models to produce synthetic handwritten text. It also features a document degradation simulator that applies skew, blur, and distortion to images to mimic the visual quality of scanned physi