27 रिपॉजिटरी
Awesome GitHub RepositoriesVision-Language Training
Specialized training workflows for models that process both visual and textual data in query-response formats.
Distinct from Vision Model Training: Specifically addresses the intersection of vision and language (VLM) rather than general vision-only models
Explore 27 awesome GitHub repositories matching artificial intelligence & ml · Vision-Language Training. Refine with filters or upvote what's useful.
Awesome Vision-Language Training GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- microsoft/bringing-old-photos-back-to-life
microsoft/Bringing-Old-Photos-Back-to-Life
15,691GitHub पर देखेंThis project is a deep learning image restoration tool designed to remove scratches, fading, and noise from aged photographs and film. It utilizes generative adversarial networks for image translation, alongside specialized networks for face enhancement and video colorization. The system distinguishes itself through a combination of latent-space domain mapping and progressive face enhancement to recover blurred or missing high-frequency facial details. For video content, it employs a colorization framework that uses optical flow and temporal guidance to propagate color from selected keyframes
Identifies and labels scratched areas in old photos to generate paired data for training restoration models.
Pythongansgenerative-adversarial-networkimage-manipulation - mlfoundations/open_clip
mlfoundations/open_clip
13,935GitHub पर देखेंOpen CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr
Provides a comprehensive framework for training contrastive models that align visual and textual data.
Pythoncomputer-visioncontrastive-lossdeep-learning - liheyoung/depth-anything
LiheYoung/Depth-Anything
8,124GitHub पर देखेंDepth-Anything is a monocular depth estimation foundation model that produces dense per-pixel depth maps from a single RGB image. It is built on a DINOv2 Vision Transformer encoder backbone and trained on 62 million unlabeled images using a teacher-student pseudo-labeling framework, enabling robust generalization across diverse scenes without task-specific training. The model outputs both relative depth maps, which capture the ordering of scene points, and metric depth maps with real-world units after fine-tuning on datasets like NYUv2 or KITTI. The project distinguishes itself through its ab
Ships a fine-tuning framework for adapting the pretrained depth model to custom datasets and downstream tasks.
Pythondepth-estimationimage-synthesismetric-depth-estimation - paddlepaddle/lark
PaddlePaddle/LARK
7,717GitHub पर देखेंLARK is a development toolkit for training, fine-tuning, and deploying large language models and multimodal models based on PaddlePaddle. It functions as a comprehensive framework that includes an LLM training orchestrator, an inference server, and a multimodal model framework for processing text, image, and video inputs. The project features a retrieval-augmented generation system for building conversational applications that integrate web search and private knowledge bases. It provides specific capabilities for multimodal reasoning and complex logic, enabling the extraction of structured da
Optimizes multimodal training using specialized data processing for images and video in query-response formats.
Python - thudm/cogvlm
THUDM/CogVLM
6,742GitHub पर देखेंCogVLM is a multimodal large language model designed to integrate visual and textual data for reasoning about images and generating natural language. It functions as a visual question answering system that analyzes image content to provide detailed descriptions or answer specific questions. The project includes a visual grounding model capable of mapping text descriptions to precise bounding box coordinates within an image. It also features a vision-based automation agent that analyzes screen captures to generate execution plans and interaction coordinates for software interfaces. The system
Adapts pretrained vision-language models to custom domains using LoRA and other fine-tuning methods.
Python - foundationvision/bytetrack
FoundationVision/ByteTrack
6,492GitHub पर देखेंByteTrack is a multi-object tracking framework that implements the ByteTrack algorithm, an ECCV 2022 method designed to recover occluded objects and reduce trajectory fragmentation. The core innovation of the project is its association algorithm, which processes every detection box—including low-confidence ones—by using separate high and low score thresholds, Kalman filter motion prediction, and Hungarian algorithm matching to produce consistent object identities across video frames. The project distinguishes itself by its comprehensive approach to handling occlusions and fragmented trajector
Provides a pipeline to fine-tune pretrained detectors on custom multi-object tracking datasets.
Pythondeploymentmulti-object-trackingpytorch - qwenlm/qwen-vl
QwenLM/Qwen-VL
6,535GitHub पर देखेंAdapts pretrained vision-language models to custom tasks using full-parameter, LoRA, or Q-LoRA methods.
Pythonlarge-language-modelsvision-language-model - ailab-cvc/yolo-world
AILab-CVC/YOLO-World
6,425GitHub पर देखेंYOLO-World is a vision-language framework and open-vocabulary object detection model. It identifies objects in images and video based on free-form text prompts without requiring predefined category labels. The system enables the identification of arbitrary objects by fusing image features with text embeddings. It includes a specialized tool for automated image labeling, which generates bounding box annotations for custom datasets using text-based prompts. The project provides a deployment pipeline for converting models into quantized ONNX and TFLite formats, supporting real-time inference on
Adapts pre-trained vision-language models to custom domains using specialized fine-tuning methods.
Python - jingyaogong/minimind-v
jingyaogong/minimind-v
6,431GitHub पर देखेंProvides an open-source framework for building and fine-tuning small vision-language models.
Pythonartificial-intelligencechatgptvision-language-model - om-ai-lab/vlm-r1
om-ai-lab/VLM-R1
5,991GitHub पर देखेंVLM-R1 is a reasoning vision-language model and embodied AI framework designed to map visual inputs and language instructions into physical navigation waypoints and robotic actions. It functions as a multimodal policy optimizer and an open vocabulary detector capable of locating objects based on arbitrary natural language descriptions. The system distinguishes itself through the use of chain-of-thought reasoning and reinforcement learning to solve complex visual and spatial tasks. It utilizes a video semantic memory system, which employs a visual cache to maintain a history of live video for
Trains and fine-tunes vision-language models to improve multimodal reasoning stability.
Python - ofa-sys/chinese-clip
OFA-Sys/Chinese-CLIP
5,942GitHub पर देखेंChinese-CLIP एक मल्टीमॉडल फ्रेमवर्क और विज़न-लैंग्वेज मॉडल है जिसे चीनी भाषा के टेक्स्ट और इमेजेस का उपयोग करके क्रॉस-मॉडल रिट्रीवल और रिप्रेजेंटेशन जनरेशन के लिए बनाया गया है। यह विज़ुअल और टेक्स्टुअल डेटा को एक साझा वेक्टर स्पेस में मैप करने के लिए कॉन्ट्रास्टिव लर्निंग आर्किटेक्चर का उपयोग करता है। यह सिस्टम टेक्स्ट-टू-इमेज और इमेज-टू-टेक्स्ट रिट्रीवल के लिए द्वि-दिशात्मक (bidirectional) सर्च की सुविधा देता है। साथ ही, यह ज़ीरो-शॉट इमेज क्लासिफिकेशन भी प्रदान करता है, जो बिना किसी विशिष्ट ट्रेनिंग के इमेजेस में ऑब्जेक्ट्स की पहचान कर सकता है। इस प्रोजेक्ट में डिस्ट्रीब्यूटेड ट्रेनिंग और कॉन्ट्रास्टिव लर्निंग का उपयोग करके प्री-ट्रेंड मॉडल्स को फाइन-ट्यून करने के टूल्स शामिल हैं। यह इन्फरेंस स्पीड बढ़ाने के लिए मॉडल वेट्स को ऑप्टिमाइज़्ड फॉर्मेट में एक्सपोर्ट करने की सुविधा भी देता है।
Provides tools to adapt pre-trained vision-language models to specific datasets using contrastive learning.
Jupyter Notebook - facebookresearch/mmf
facebookresearch/mmf
5,635GitHub पर देखेंMMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish
Trains multimodal models on specified datasets using provided configurations and saves trained weights.
Pythoncaptioningdeep-learningdialog - salesforce/blip
salesforce/BLIP
5,676GitHub पर देखेंBLIP is a vision-language model framework that combines contrastive, matching, and language modeling objectives to align images with text. Built on a multimodal encoder-decoder architecture, it supports distributed data-parallel training with cosine learning rate scheduling and sliding-window metric tracking for training stability. The framework provides capabilities for image captioning, visual question answering, and cross-modal retrieval, scoring semantic alignment between images and text through learned embeddings. It includes toolkits for fine-tuning pre-trained models on custom datasets
Provides an open-source framework for training, fine-tuning, and evaluating vision-language models on custom image-text datasets.
Jupyter Notebookimage-captioningimage-text-retrievalvision-and-language-pre-training - karpathy/neuraltalk2
karpathy/neuraltalk2
5,588GitHub पर देखेंNeuraltalk2 एक डीप लर्निंग विज़न सिस्टम है जिसे स्वचालित इमेज कैप्शनिंग के लिए डिज़ाइन किया गया है। PyTorch के साथ निर्मित, यह विज़ुअल इनपुट से टेक्स्ट विवरण उत्पन्न करने के लिए एक रिकरेंट न्यूरल नेटवर्क डिकोडर के साथ एक कन्वेन्शनल न्यूरल नेटवर्क एनकोडर को जोड़ता है। प्रोजेक्ट में एक GPU-एक्सेलेरेटेड ट्रेनिंग पाइपलाइन है जो मल्टी-प्रोसेस डिस्ट्रीब्यूशन के माध्यम से कई ग्राफ़िक्स प्रोसेसिंग यूनिट्स में वर्कलोड को वितरित करने में सक्षम है। यह स्थिर इमेज फ़ाइलों और रीयल-टाइम वीडियो स्ट्रीम दोनों के लिए विवरण उत्पन्न करने का सपोर्ट करता है। फ्रेमवर्क में एनकोडर फ़ाइन-ट्यूनिंग, तापमान नियंत्रण के साथ बीम सर्च टेक्स्ट सैंपलिंग, और कैप्शन सटीकता व प्रवाह का मूल्यांकन करने के लिए उद्योग-मानक भाषा मेट्रिक्स का उपयोग करने की क्षमताएं शामिल हैं। यह डेटासेट प्रीप्रोसेसिंग, मॉडल चेकपॉइंट पर्सिस्टेंस, और संरचित JSON फ़ाइलों में भविष्यवाणियों के निर्यात के लिए यूटिलिटीज़ भी प्रदान करता है। कार्यान्वयन एक Jupyter Notebook के रूप में प्रदान किया गया है।
Provides industry-standard metrics to evaluate the accuracy and fluency of generated image captions.
Jupyter Notebook - rllm-org/rllm
rllm-org/rllm
5,641GitHub पर देखेंrllm is an asynchronous reinforcement learning framework for training language agents. It provides a unified pipeline that runs the same agent code for both evaluation and training, automatically capturing traces for gradient computation. The framework supports distributed reinforcement learning across multiple GPUs and nodes using pluggable backends, and executes agents in isolated sandboxes—either locally or in the cloud—for safe and scalable rollout collection. It trains agents built with LangGraph, SmolAgents, OpenAI Agents SDK, or custom frameworks without requiring core logic changes. T
Supports multimodal models like Qwen2-VL and Qwen3-VL by processing image inputs alongside text during training.
Pythonagent-frameworkagentic-workflowcoding-agent - openvla/openvla
openvla/openvla
5,305GitHub पर देखेंOpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta
Provides a framework for adapting pretrained vision-language-action models to new tasks using parameter-efficient fine-tuning.
Python - hiyouga/easyr1
hiyouga/EasyR1
5,034GitHub पर देखेंEasyR1 एक डिस्ट्रीब्यूटेड मॉडल ट्रेनिंग सिस्टम और लार्ज लैंग्वेज व विज़न-लैंग्वेज मॉडल के लिए रीइन्फोर्समेंट लर्निंग फ़्रेमवर्क है। यह एक मल्टीमॉडल ट्रेनर और Proximal Policy Optimization पाइपलाइन का कार्यान्वयन है जिसे उन मॉडल्स की तर्क और धारणा क्षमताओं को परिष्कृत करने के लिए डिज़ाइन किया गया है जो टेक्स्ट और इमेज दोनों को प्रोसेस करते हैं। यह सिस्टम उच्च मेमोरी आवश्यकताओं को प्रबंधित करने के लिए कई कंप्यूट नोड्स में रीइन्फोर्समेंट लर्निंग वर्कलोड को वितरित करने में माहिर है। यह पैडिंग-मुक्त ट्रेनिंग और फ़ाइन-ट्यूनिंग के माध्यम से हार्डवेयर उपयोग को ऑप्टिमाइज़ करता है ताकि बड़े मॉडल्स को उपलब्ध ग्राफिक्स प्रोसेसिंग यूनिट्स पर फिट किया जा सके। यह फ़्रेमवर्क रीइन्फोर्समेंट लर्निंग और रिवॉर्ड मॉडल ऑर्केस्ट्रेशन को कवर करता है, जिसमें ह्यूमन फीडबैक वर्कफ़्लो से रीइन्फोर्समेंट लर्निंग शामिल है। इसकी तकनीकी सतह में डिस्ट्रीब्यूटेड डेटा पैरेललिज्म, हाइब्रिड प्रिसिजन ट्रेनिंग और इंटरलीव्ड टेक्स्ट व इमेज डेटा के लिए मल्टीमॉडल इनपुट पाइपलाइन शामिल हैं। इस प्रोजेक्ट में चेकपॉइंट-आधारित स्टेट रिकवरी के लिए यूटिलिटीज शामिल हैं और यह ट्रेनिंग की प्रगति और प्रदर्शन मेट्रिक्स को ट्रैक करने के लिए बाहरी लॉगिंग टूल्स के साथ एकीकृत होता है।
Runs reinforcement learning pipelines to improve reasoning and perception in models processing both text and images.
Python - huggingface/nanovlm
huggingface/nanoVLM
4,917GitHub पर देखेंnanoVLM छोटे विज़न-लैंग्वेज मॉडल्स के लिए एक ट्रेनिंग फ्रेमवर्क और टूलकिट है। यह इमेज इनपुट को टेक्स्टुअल विवरणों के साथ जोड़ने और नेचुरल लैंग्वेज में उत्तर उत्पन्न करने के लिए PyTorch-आधारित वातावरण प्रदान करता है। इस प्रोजेक्ट में मॉडल वेट्स को सेव और लोड करने के लिए एक क्लाउड मॉडल वर्ज़निंग टूल शामिल है, जो विभिन्न एनवायरनमेंट में एसेट्स को सिंक्रोनाइज़ करता है। इसमें विज़न-लैंग्वेज मॉडल्स की सटीकता और विश्वसनीयता को मापने के लिए एक समर्पित इवैल्यूएशन सूट भी है। फ्रेमवर्क VRAM खपत माप के माध्यम से GPU रिसोर्स प्लानिंग को कवर करता है और चेकपॉइंट-आधारित स्टेट पर्सिस्टेंस के साथ ट्रेनिंग स्टेबिलिटी को मैनेज करता है।
Provides a comprehensive framework for training and fine-tuning small vision-language models.
Python - mlfoundations/open_flamingo
mlfoundations/open_flamingo
4,107GitHub पर देखेंOpen Flamingo एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल ट्रेनिंग फ्रेमवर्क है जिसे प्रीट्रेन्ड विजन एनकोडर को लैंग्वेज मॉडल्स के साथ एकीकृत करने के लिए डिज़ाइन किया गया है। यह एक विजन-लैंग्वेज आर्किटेक्चर को लागू करता है जो छवियों और टेक्स्ट के इंटरलीव्ड अनुक्रमों को प्रोसेस करने के लिए क्रॉस-अटेंशन लेयर्स का उपयोग करता है। सिस्टम अपनी फ्यू-शॉट मल्टीमॉडल लर्निंग क्षमताओं द्वारा विशेषता है, जो मॉडल को प्रॉम्प्ट में प्रदान किए गए इमेज-टेक्स्ट उदाहरणों के एक छोटे सेट का उपयोग करके नए विज़ुअल कार्यों के अनुकूल होने की अनुमति देता है। यह विज़ुअल क्वेश्चन आंसरिंग और कैप्शनिंग जैसे कार्यों के लिए इन-कॉन्टेक्स्ट लर्निंग और मल्टीमॉडल टेक्स्ट जनरेशन का समर्थन करता है। फ्रेमवर्क में एक डिस्ट्रीब्यूटेड मॉडल ट्रेनर शामिल है जो कई GPU में मेमोरी ऑप्टिमाइज़ेशन के लिए डेटा पैरेललिज़्म और ग्रेडिएंट चेकपॉइंटिंग का उपयोग करता है। यह शार्ड मल्टीमॉडल डेटासेट लोडिंग, पैरेललाइज़्ड मॉडल मूल्यांकन, और इन्फरेंस के लिए बड़े पैमाने पर मॉडल्स को होस्ट करने के लिए इंफ्रास्ट्रक्चर भी प्रदान करता है।
Assembles a unified architecture by integrating and tuning weights from specialized pretrained vision and language models.
Pythoncomputer-visiondeep-learningflamingo - starsfieldai/r1-v
StarsfieldAI/R1-V
4,060GitHub पर देखेंR1-V मल्टीमॉडल मॉडल के विकास के लिए एक टूलसेट है, जो बड़े विज़न-लैंग्वेज मॉडल के तर्क (reasoning) और फीडबैक लूप को अनुकूलित करने के लिए डिज़ाइन किया गया एक कम लागत वाला प्रशिक्षण वातावरण प्रदान करता है। यह एक प्रशिक्षण फ्रेमवर्क, फाइन-ट्यूनिंग पाइपलाइन्स और प्रदर्शन मूल्यांकन उपकरणों को एकीकृत करता है। इस प्रोजेक्ट में एक रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो दृश्य सत्यापन (visual verification) के आधार पर सही आउटपुट को पुरस्कृत करके दृश्य तर्क और सामान्यीकरण में सुधार करता है। इसमें लेबल किए गए डेटासेट और कॉन्फ़िगरेशन फ़ाइलों का उपयोग करके विशिष्ट कार्यों के लिए विज़न-लैंग्वेज मॉडल को कस्टमाइज़ करने के लिए एक सुपरवाइज्ड फाइन-ट्यूनिंग पाइपलाइन भी शामिल है। यह सूट दृश्य तर्क मूल्यांकन उपकरणों और विशेष रूप से गिनती और ज्यामिति कार्यों पर मॉडल के प्रदर्शन का आकलन करने के लिए डेटासेट को शामिल करता है।
Provides tools for adapting pretrained vision-language models to custom tasks using supervised training scripts.
Python
