Awesome GitHub RepositoriesVision-Language Training

This project is a deep learning image restoration tool designed to remove scratches, fading, and noise from aged photographs and film. It utilizes generative adversarial networks for image translation, alongside specialized networks for face enhancement and video colorization. The system distinguishes itself through a combination of latent-space domain mapping and progressive face enhancement to recover blurred or missing high-frequency facial details. For video content, it employs a colorization framework that uses optical flow and temporal guidance to propagate color from selected keyframes

Open CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr

Depth-Anything is a monocular depth estimation foundation model that produces dense per-pixel depth maps from a single RGB image. It is built on a DINOv2 Vision Transformer encoder backbone and trained on 62 million unlabeled images using a teacher-student pseudo-labeling framework, enabling robust generalization across diverse scenes without task-specific training. The model outputs both relative depth maps, which capture the ordering of scene points, and metric depth maps with real-world units after fine-tuning on datasets like NYUv2 or KITTI. The project distinguishes itself through its ab

LARK is a development toolkit for training, fine-tuning, and deploying large language models and multimodal models based on PaddlePaddle. It functions as a comprehensive framework that includes an LLM training orchestrator, an inference server, and a multimodal model framework for processing text, image, and video inputs. The project features a retrieval-augmented generation system for building conversational applications that integrate web search and private knowledge bases. It provides specific capabilities for multimodal reasoning and complex logic, enabling the extraction of structured da

CogVLM is a multimodal large language model designed to integrate visual and textual data for reasoning about images and generating natural language. It functions as a visual question answering system that analyzes image content to provide detailed descriptions or answer specific questions. The project includes a visual grounding model capable of mapping text descriptions to precise bounding box coordinates within an image. It also features a vision-based automation agent that analyzes screen captures to generate execution plans and interaction coordinates for software interfaces. The system

ByteTrack is a multi-object tracking framework that implements the ByteTrack algorithm, an ECCV 2022 method designed to recover occluded objects and reduce trajectory fragmentation. The core innovation of the project is its association algorithm, which processes every detection box—including low-confidence ones—by using separate high and low score thresholds, Kalman filter motion prediction, and Hungarian algorithm matching to produce consistent object identities across video frames. The project distinguishes itself by its comprehensive approach to handling occlusions and fragmented trajector

YOLO-World is a vision-language framework and open-vocabulary object detection model. It identifies objects in images and video based on free-form text prompts without requiring predefined category labels. The system enables the identification of arbitrary objects by fusing image features with text embeddings. It includes a specialized tool for automated image labeling, which generates bounding box annotations for custom datasets using text-based prompts. The project provides a deployment pipeline for converting models into quantized ONNX and TFLite formats, supporting real-time inference on

VLM-R1 ist ein Reasoning-Vision-Language-Modell und ein Framework für verkörperte KI (Embodied AI), das darauf ausgelegt ist, visuelle Eingaben und Sprachanweisungen in physische Navigations-Wegpunkte und Roboteraktionen umzusetzen. Es fungiert als multimodaler Policy-Optimierer und Open-Vocabulary-Detektor, der Objekte basierend auf beliebigen natürlichsprachlichen Beschreibungen lokalisieren kann. Das System zeichnet sich durch den Einsatz von Chain-of-Thought-Reasoning und Reinforcement Learning zur Lösung komplexer visueller und räumlicher Aufgaben aus. Es nutzt ein Video-Semantik-Gedächtnissystem, das einen visuellen Cache verwendet, um eine Historie des Live-Videos für latenzarme Interaktion und kontinuierliches zeitliches Schlussfolgern aufrechtzuerhalten. Das Framework deckt ein breites Spektrum an Funktionen ab, darunter monokulare Wegpunkt-Kartierung für die Roboternavigation, Region-Token-Lokalisierung für die Objektidentifikation und Policy-basiertes Supervised Fine-Tuning für die Stabilität multimodaler Schlussfolgerungen. Es unterstützt zudem Open-Vocabulary-Detektion, Referring-Expression-Comprehension und die Extraktion feingranularer Objektmerkmale durch visuelle Prompt-Retrieval. Das Projekt ist in Python implementiert und unterstützt die Inferenz auf Ascend-Hardware.

Chinese-CLIP ist ein multimodales Framework und Vision-Language-Modell für die cross-modale Suche und Repräsentationsgenerierung mit chinesischen Texten und Bildern. Es verwendet eine kontrastive Lernarchitektur, um visuelle und textuelle Daten zur Ähnlichkeitsberechnung in einen gemeinsamen Vektorraum abzubilden. Das System ermöglicht eine bidirektionale Suche, also sowohl Text-zu-Bild- als auch Bild-zu-Text-Retrieval. Zudem bietet es Zero-Shot-Bildklassifizierung, mit der Objekte in Bildern ohne aufgabenspezifisches Training identifiziert werden können. Das Projekt enthält Tools für das Fine-Tuning vortrainierter Modelle auf spezialisierten Datensätzen mittels verteiltem Training und kontrastivem Lernen. Zudem werden Utilities bereitgestellt, um Modellgewichte in optimierte Formate zu exportieren und so die Inferenzgeschwindigkeit in Produktionsumgebungen zu steigern.

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

BLIP is a vision-language model framework that combines contrastive, matching, and language modeling objectives to align images with text. Built on a multimodal encoder-decoder architecture, it supports distributed data-parallel training with cosine learning rate scheduling and sliding-window metric tracking for training stability. The framework provides capabilities for image captioning, visual question answering, and cross-modal retrieval, scoring semantic alignment between images and text through learned embeddings. It includes toolkits for fine-tuning pre-trained models on custom datasets

Neuraltalk2 ist ein Deep-Learning-Vision-System, das für die automatische Bildbeschreibung (Image Captioning) entwickelt wurde. Es basiert auf PyTorch und nutzt eine hybride Architektur, die einen Convolutional Neural Network-Encoder mit einem Recurrent Neural Network-Decoder kombiniert, um Textbeschreibungen aus visuellen Eingaben zu generieren. Das Projekt bietet eine GPU-beschleunigte Trainings-Pipeline, die in der Lage ist, Arbeitslasten über mehrere Grafikprozessoren hinweg durch Multi-Prozess-Verteilung zu verteilen. Es unterstützt die Generierung von Beschreibungen sowohl für statische Bilddateien als auch für Echtzeit-Videostreams. Das Framework umfasst Funktionen für Encoder-Fine-Tuning, Beam-Search-Text-Sampling mit Temperatursteuerung und die Verwendung branchenüblicher Sprachmetriken zur Bewertung der Genauigkeit und Flüssigkeit der Beschreibungen. Es bietet zudem Utilities für die Datenvorverarbeitung, die Persistenz von Modell-Checkpoints und den Export von Vorhersagen in strukturierte JSON-Dateien. Die Implementierung wird als Jupyter Notebook bereitgestellt.

rllm is an asynchronous reinforcement learning framework for training language agents. It provides a unified pipeline that runs the same agent code for both evaluation and training, automatically capturing traces for gradient computation. The framework supports distributed reinforcement learning across multiple GPUs and nodes using pluggable backends, and executes agents in isolated sandboxes—either locally or in the cloud—for safe and scalable rollout collection. It trains agents built with LangGraph, SmolAgents, OpenAI Agents SDK, or custom frameworks without requiring core logic changes. T

OpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta

EasyR1 is a distributed model training system and reinforcement learning framework for large language and vision-language models. It functions as a multimodal trainer and an implementation of a Proximal Policy Optimization pipeline designed to refine the reasoning and perception capabilities of models that process both text and images. The system specializes in distributing reinforcement learning workloads across multiple compute nodes to manage high memory requirements. It optimizes hardware utilization through padding-free training and fine-tuning to fit large models onto available graphics

nanoVLM ist ein Trainings-Framework und Toolkit für kleine Vision-Language-Modelle. Es bietet eine auf PyTorch basierende Umgebung zum Trainieren und Fine-Tuning von Modellen, um Bild-Inputs mit Textbeschreibungen zu verknüpfen und natürlichsprachliche Antworten zu generieren. Das Projekt enthält ein Cloud-Modell-Versionierungstool zum Speichern und Laden von Modellgewichten in zentralen Repositories, um Assets über Umgebungen hinweg zu synchronisieren. Es bietet zudem eine dedizierte Evaluierungssuite zur Messung der Genauigkeit und Zuverlässigkeit von Vision-Language-Modellen anhand von Standard-Aufgabendatensätzen. Das Framework deckt die GPU-Ressourcenplanung durch Messung des VRAM-Verbrauchs ab und verwaltet die Trainingsstabilität mit checkpoint-basierter Zustandspersistenz und batch-basiertem Speichermanagement.

Open Flamingo ist ein multimodales Large-Language-Model-Trainingsframework, das darauf ausgelegt ist, vortrainierte Vision-Encoder mit Sprachmodellen zu integrieren. Es implementiert eine Vision-Language-Architektur, die Cross-Attention-Layer nutzt, um verschachtelte Sequenzen von Bildern und Text zu verarbeiten. Das System zeichnet sich durch seine Few-Shot-multimodalen Lernfähigkeiten aus, die es dem Modell ermöglichen, sich mit einer kleinen Menge an Bild-Text-Beispielen im Prompt an neue visuelle Aufgaben anzupassen. Es unterstützt In-Context-Learning und multimodale Textgenerierung für Aufgaben wie visuelle Fragenbeantwortung (VQA) und Captioning. Das Framework enthält einen verteilten Modell-Trainer, der Datenparallelität und Gradient-Checkpointing zur Speicheroptimierung über mehrere GPUs hinweg einsetzt. Es bietet zudem Utilities für das Laden geshardeter multimodaler Datensätze, parallelisierte Modellevaluierung und Infrastruktur zum Hosten großskaliger Modelle für die Inferenz.

R1-V ist ein Toolset für die Entwicklung multimodaler Modelle. Es bietet eine kostengünstige Trainingsumgebung, die darauf ausgelegt ist, die Reasoning- und Feedback-Schleifen von Large Vision-Language Models zu optimieren. Es integriert ein Trainings-Framework, Fine-Tuning-Pipelines und Tools zur Leistungsbewertung. Das Projekt umfasst ein Reinforcement-Learning-Framework, das visuelles Schlussfolgern und Generalisierung verbessert, indem korrekte Ausgaben basierend auf visueller Verifizierung belohnt werden. Zudem enthält es eine Supervised-Fine-Tuning-Pipeline, um Vision-Language Models mithilfe von gelabelten Datensätzen und Konfigurationsdateien für spezifische Aufgaben anzupassen. Die Suite beinhaltet Tools zur Bewertung visueller Schlussfolgerungen sowie Datensätze, die speziell auf die Leistung von Modellen bei Zähl- und Geometrieaufgaben ausgerichtet sind.