Awesome GitHub RepositoriesBinary Mask Generators

This project is a TensorFlow and Keras implementation of the Mask R-CNN architecture. It provides a framework for performing simultaneous object detection and instance segmentation, transforming raw images into segmented masks and bounding boxes for individual object identification. The toolset enables custom computer vision training through fine-tuning pre-trained weights and integrating user-provided datasets. It includes capabilities for distributed GPU training to accelerate the optimization of large vision models. The framework covers model evaluation using standard precision metrics an

Moondream is a small-scale vision language model designed to reason across images to generate captions and answer natural language questions. It functions as an edge-optimized system capable of performing visual question answering, image captioning, and object detection. The project distinguishes itself through a lightweight architecture designed for local inference on embedded devices, workstations, and air-gapped hardware. It supports the execution of models on local GPUs and Apple Silicon to ensure data privacy and low latency. The system's capabilities include identifying precise object

YOLOv9 is a real-time computer vision framework and deep learning model designed for image classification, object detection, and instance segmentation. It functions as both a vision model and a trainer, allowing for the optimization of neural network weights on custom datasets using single or multiple GPUs. The framework utilizes programmable gradient information to perform high-speed identification and location of multiple objects within images and video streams. It extends beyond bounding box detection to provide instance segmentation and panoptic segmentation, which labels every pixel in a

This project is a modular PyTorch framework for training and evaluating object detection and instance segmentation models. It serves as a computer vision research tool and a deep learning inference engine designed to identify object locations, classes, and pixel-level masks within images. The framework implements a two-stage inference pipeline that utilizes region proposal networks and a symmetric mask-head architecture. It provides specialized capabilities for instance segmentation, object bounding box detection, and human pose estimation via anatomical keypoint detection. The system includ

FastSAM is an image segmentation framework that uses convolutional neural networks to isolate visual elements and generate masks for detectable objects within images. It provides a system for both automatic all-object segmentation and promptable image segmentation. The project utilizes an inference-optimized architecture to reduce computational overhead, enabling faster mask generation and real-time visual analysis. It supports the creation of precise masks through various prompt inputs, including points, bounding boxes, and text descriptions. The framework covers broader computer vision cap

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

Backgroundremover is an AI-powered tool that removes backgrounds from both images and videos, accessible through a command-line interface and a Python API. At its core, it uses a pre-trained deep learning model to classify each pixel as foreground or background, producing a binary mask for removal. The tool distinguishes itself through multiple integration methods and output capabilities. It can process images and videos via Unix pipeline data streams, operate as an HTTP API server, or be called programmatically within Python scripts. Users can choose among different AI models to balance proc

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

Yolact est un framework de vision par ordinateur et un modèle de segmentation d'instance en temps réel. Il utilise un réseau de neurones entièrement convolutif pour détecter des objets et générer des masques au niveau du pixel pour les images et les flux vidéo. Le système emploie une génération de masque prototypique pour créer des prototypes de masques globaux qui sont combinés linéairement pour des résultats spécifiques à l'instance. Il intègre des couches convolutives déformables et un pooling de région d'intérêt déformable pour adapter l'échantillonnage spatial aux formes irrégulières des objets. Le framework couvre l'intégralité du cycle de vie de développement du modèle, incluant l'entraînement sur des jeux de données personnalisés, l'évaluation de la précision via la moyenne de précision moyenne (mAP), et l'utilisation de l'entraînement distribué multi-GPU pour mettre à l'échelle la vitesse de traitement. Il fournit également des utilitaires de traitement média pour appliquer des masques de segmentation aux images et exporter des fichiers vidéo annotés. Le projet inclut des outils de persistance d'état pour la gestion des points de contrôle et la reprise de l'entraînement, ainsi qu'une journalisation pour enregistrer les métriques et les valeurs de perte.

Ce projet est un framework de segmentation d'image multimodale et un modèle de vision texte-vers-masque. Il sert de segmenteur visuel basé sur SAM conçu pour isoler des objets distincts dans des images et des vidéos en convertissant des prompts en langage naturel et d'autres entrées en masques sémantiques au niveau du pixel. Le système fonctionne comme un framework de segmentation d'image multimodale qui intègre des signaux texte, image et audio pour générer des masques. Il inclut un tracker d'objets vidéo interactif qui isole et suit les entités visuelles à travers les images vidéo en utilisant des images de référence ou des requêtes textuelles. Le framework fournit des capacités pour l'étiquetage sémantique d'image, assignant des noms de catégorie aux masques via un vocabulaire prédéfini. Il prend également en charge l'édition d'image interactive via la mémoire de l'historique de session et se réfère à la correspondance de caractéristiques pour extraire des objets basés sur des régions d'image de référence.

Adetailer est une extension d'inpainting pour Stable Diffusion et un améliorateur de détails automatisé qui identifie des régions spécifiques de l'image pour améliorer la qualité via un inpainting ciblé. Il fonctionne comme un outil de masquage d'image par IA qui utilise des modèles de détection pour créer des masques précis pour l'édition d'image automatisée. Le système se distingue en intégrant des guides structurels, tels que la profondeur et la pose, pour contraindre le processus d'inpainting et maintenir la cohérence anatomique. Il prend également en charge l'assignation de prompts spécifiques aux objets, permettant à des instructions textuelles uniques d'être mappées à plusieurs objets détectés au sein d'une même image en utilisant des jetons séparateurs. L'outil fournit un pipeline complet pour le raffinement d'image, couvrant la génération automatique de masques, les transformations morphologiques de masques et le filtrage d'objets basé sur des seuils de confiance et des ratios de taille. Il combine ces capacités dans un processus itératif de détection, de masquage et de diffusion pour raffiner les détails sans altérer la composition globale.

Ce logiciel est un système de suppression de filigrane (watermark) qui utilise l'apprentissage automatique et l'inpainting d'image pour supprimer les textes ou logos indésirables des images. Il reconstruit les pixels manquants pour correspondre à l'arrière-plan original, assurant une cohérence visuelle grâce à des modèles pré-entraînés. Le projet inclut un utilitaire de masquage pour isoler des régions spécifiques pour le remplacement de contenu en utilisant des masques binaires, des boîtes englobantes ou des traits de pinceau. Il dispose également d'un processeur par lots qui applique ces tâches de nettoyage à de grands ensembles d'images via une liste de fichiers prédéfinie. Le système gère la préparation des images en normalisant les dimensions et les rapports d'aspect en tenseurs pour aligner les images avec leurs masques correspondants pour le traitement par réseau neuronal.

This project is a Python bio-imaging toolkit and analysis suite designed for processing and analyzing microscopy and medical images. It provides a collection of tools for image quantification, medical image segmentation, and general bio-imaging workflows. The suite includes specialized capabilities for quantifying biological data, such as measuring neuron branching complexity via Sholl analysis, calculating particle size distributions, and tracking wound area in scratch assays. It also features a medical image segmentation library that implements U-Net architectures for isolating anatomical s

MODNet est un modèle de segmentation d'image et de matting de portrait par deep learning conçu pour isoler les sujets humains des arrière-plans. Il génère des mattes alpha de haute qualité pour les images et les vidéos en utilisant uniquement une entrée RGB standard, supprimant l'exigence de guides trimap manuels. Le framework est optimisé pour l'inférence en temps réel et fournit des utilitaires pour exporter les poids de modèles pré-entraînés dans des formats spécialisés pour un déploiement sur le matériel cible. Le projet couvre le flux de travail complet pour l'isolation de portrait, y compris l'entraînement de modèles de matting supervisés sur des jeux de données étiquetés, la suppression d'arrière-plan vidéo en temps réel et le déploiement sur matériel périphérique (edge hardware).

sam-hq est une collection de modèles de fondation de vision pré-entraînés et d'adaptateurs conçus pour la segmentation d'images de haute qualité, l'extraction de caractéristiques multimodales et l'estimation de profondeur. Il fournit un modèle de vision zero-shot capable d'effectuer la segmentation et la classification à travers divers domaines sans nécessiter d'entraînement spécifique à la tâche. Le projet propose un outil de segmentation d'images de haute qualité basé sur le Segment Anything Model qui génère des masques précis à partir de prompts spatiaux. Il inclut un extracteur de caractéristiques multimodal pour générer des embeddings vectoriels de haute dimension à partir d'entrées image et texte, ainsi qu'un outil convolutif pour prédire la distance ou la hauteur de la canopée à partir de données visuelles. Le framework couvre un large éventail de capacités en vision par ordinateur, incluant la classification d'images, l'extraction de caractéristiques multi-résolution et le prétraitement d'images. Il supporte l'adaptation au domaine par fine-tuning sur des jeux de données personnalisés pour des applications spécialisées telles que l'imagerie médicale et la télédétection. Le décodeur de masque peut être converti en un format ouvert pour l'exécution dans des environnements avec un runtime standard.

AnyDoor est un framework de personnalisation d'image zero-shot conçu pour transférer des objets spécifiques à partir d'images de référence dans de nouvelles scènes sans nécessiter d'entraînement de modèle supplémentaire. Il fonctionne comme un outil d'insertion d'objets basé sur la diffusion qui permet le placement d'objets dans des environnements cibles tout en préservant leur identité, leur éclairage et leur posture d'origine. Le système supporte l'insertion d'objets simples et multiples, permettant à plusieurs objets distincts provenant de différentes références d'être composés dans une seule image cible. Il utilise un mécanisme de segmentation pour l'affinage des masques afin de nettoyer et d'affiner les limites des objets, assurant un mélange précis entre les objets insérés et l'arrière-plan. Le projet fournit des capacités pour l'édition d'image au niveau de l'objet et la génération régionale guidée par des masques spatiaux. Il inclut également des utilitaires pour l'entraînement de modèles personnalisés sur des jeux de données spécifiques en utilisant des hyperparamètres configurables pour améliorer les résultats de transfert d'objets.

Segment Geospatial est une boîte à outils Python pour isoler des caractéristiques géographiques dans l'imagerie de télédétection en utilisant le Segment Anything Model. Il fonctionne comme un processeur d'images de télédétection qui convertit les tuiles de carte en formats géoréférencés pour générer des masques de segmentation à partir de données satellites. Le système permet l'extraction d'objets géographiques par génération automatique de masque ou par invites manuelles, telles que des descriptions textuelles, des boîtes englobantes et des marqueurs interactifs. Il prend en charge la segmentation d'imagerie de séries temporelles pour suivre ou identifier des objets à travers des séquences d'images sur différentes dates et fournit un visualiseur de masque géospatial pour rendre les résultats sur des cartes interactives. Le projet couvre un large éventail d'opérations spatiales, y compris l'acquisition de tuiles de carte, la conversion raster-vers-vecteur et la reconstruction des bords des caractéristiques pour affiner les limites des objets. Il inclut également une API REST qui expose ces fonctions de segmentation et de traitement de données aux applications distantes. Les capacités d'exportation prennent en charge les images raster géoréférencées et les formats vectoriels standard, notamment GeoJSON, Shapefile et GeoPackage.

TextRecognitionDataGenerator is a system for creating synthetic text images and character masks to train and test optical character recognition models. It functions as a dataset tool that generates artificial images by combining dictionary words with specific fonts and backgrounds to produce training sets for machine learning. The project includes a handwriting simulation engine that uses machine learning models to produce synthetic handwritten text. It also features a document degradation simulator that applies skew, blur, and distortion to images to mimic the visual quality of scanned physi

BiRefNet is a PyTorch image segmentation framework designed for high-precision binary mask generation. It functions as a bilateral image segmentation model used to isolate foreground objects from complex backgrounds, as well as a specialized tool for camouflaged object detection and industrial defect detection. The project is designed for export to the ONNX format, which facilitates cross-platform deployment and inference. It supports custom model fine-tuning on user-provided image and mask datasets to adapt the model for specialized professional use cases. The system covers high-resolution

TotalSegmentator is a medical image segmentation tool and AI-driven organ segmenter designed to isolate anatomical structures from CT scans. It functions as a deep learning anatomy parser and quantitative radiomics analyzer, providing a framework for identifying diverse body tissues and bones to create precise anatomical masks. The system distinguishes itself through a comprehensive medical analysis suite that includes patient biometric estimation for demographics such as age, sex, weight, and height. It further provides specialized clinical index calculations and modality and phase classific