Awesome GitHub RepositoriesMulti-Modal Embedding Models

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

This repository provides a collection of reference implementations and code examples for training and deploying machine learning models using the MLX framework. It serves as a practical guide for executing distributed training, fine-tuning large language models, converting model weights, and implementing multimodal generative workflows. The project distinguishes itself through specialized examples for local hardware execution, featuring weight quantization to reduce memory usage and low-rank adaptation for parameter-efficient fine-tuning. It also includes scripts for transforming external mod

lmdeploy is a high-performance inference engine and deployment framework for large language models and vision models. It functions as a multi-modal model server and compression toolkit designed to serve models with high throughput and low latency. The system enables the distribution of model services across multiple machines using request-based load balancing and tensor parallelism. It includes specialized tools for model quantization and compression to reduce the memory footprint of weights and caches. The framework covers broad capability areas including production deployment, distributed

GLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod

Gemma ओपन-वेट्स लार्ज लैंग्वेज मॉडल का एक परिवार है जो डिकोडर-ओनली ट्रांसफार्मर आर्किटेक्चर पर आधारित है। ये मॉडल टेक्स्ट जनरेशन और मल्टी-मॉडल बातचीत के लिए डिज़ाइन किए गए हैं, जो टेक्स्टुअल और विज़ुअल इनपुट सीक्वेंस दोनों के आधार पर प्रतिक्रियाओं को संसाधित करने और उत्पन्न करने में सक्षम हैं। यह प्रोजेक्ट एक फाइन-ट्यून करने योग्य AI मॉडल प्रदान करता है जो विशेष कार्यों के लिए प्रदर्शन को विशिष्ट बनाने के लिए वेट एडजस्टमेंट और लो-रैंक एडेप्टेशन का समर्थन करता है। इसमें सीमित हार्डवेयर पर मेमोरी उपयोग को कम करने और इन्फरेंस गति बढ़ाने के लिए क्वांटाइज़्ड वेट्स का समर्थन शामिल है। क्षमता सतह मल्टी-मॉडल AI एकीकरण, पैरामीटर शार्डिंग के माध्यम से मेमोरी ऑप्टिमाइज़ेशन, और वास्तविक समय डेटा प्राप्त करने के लिए बाहरी टूल और API के एकीकरण को कवर करती है। यह टेक्स्ट से छवियों के निर्माण और संरचित टेक्स्ट आउटपुट के नमूने को भी सक्षम बनाता है।

DeepSeek-VL2 is a multimodal large language model and vision-language system designed to analyze visual scenes and generate descriptive text. It functions as a visual question answering and visual grounding model, capable of extracting information from documents and locating specific objects or regions within images based on textual descriptions. The project utilizes a mixture-of-experts architecture to process combined image and text inputs. It is optimized for inference through incremental prefilling, which reduces the GPU memory requirements on hardware. The model covers multimodal data a

LightGlue एक डीप लर्निंग फ्रेमवर्क है जिसे इमेजेस के जोड़ों के बीच लोकल फीचर मैचिंग और हाई-स्पीड कॉरेस्पोंडेंस एस्टिमेशन के लिए डिज़ाइन किया गया है। यह एक कंप्यूटर विज़न मैचिंग मॉडल के रूप में कार्य करता है जो अलग-अलग दृष्टिकोणों (viewpoints) में संबंधित की-पॉइंट्स की पहचान करता है। यह सिस्टम एक एडेप्टिव न्यूरल नेटवर्क आर्किटेक्चर का उपयोग करता है जो इनपुट इमेज पेयर्स के आधार पर अपनी गहराई और चौड़ाई को प्रून (prune) करके इन्फरेंस स्पीड को गतिशील रूप से ऑप्टिमाइज़ करता है। यह दृष्टिकोण फीचर डिस्क्रिप्टर्स के बीच सहसंबंधों (correlations) की गणना करने के लिए ट्रांसफॉर्मर-शैली के अटेंशन मैकेनिज्म और क्रॉस-इमेज अटेंशन का उपयोग करता है। मैचिंग प्रक्रिया में एक इटरेटिव रिफाइनमेंट लूप और डायनामिक अर्ली स्टॉपिंग शामिल है ताकि कॉन्फिडेंस थ्रेशोल्ड पूरा होने पर गणना को रोका जा सके। ये क्षमताएं रीयल-टाइम इमेज अलाइनमेंट और न्यूरल नेटवर्क इन्फरेंस ऑप्टिमाइज़ेशन के लिए एक व्यापक कंप्यूटर विज़न पाइपलाइन का समर्थन करती हैं।

sam-hq उच्च-गुणवत्ता वाली इमेज सेगमेंटेशन, मल्टीमॉडल फीचर निष्कर्षण, और गहराई अनुमान के लिए डिज़ाइन किए गए प्री-ट्रेन्ड विज़न फाउंडेशन मॉडल्स और एडेप्टर्स का एक संग्रह है। यह एक ज़ीरो-शॉट विज़न मॉडल प्रदान करता है जो कार्य-विशिष्ट प्रशिक्षण की आवश्यकता के बिना विविध डोमेन में सेगमेंटेशन और वर्गीकरण करने में सक्षम है। प्रोजेक्ट में Segment Anything Model पर आधारित एक उच्च-गुणवत्ता वाला इमेज सेगमेंटेशन टूल है जो स्थानिक प्रॉम्प्ट्स से सटीक मास्क उत्पन्न करता है। इसमें इमेज और टेक्स्ट इनपुट दोनों से उच्च-आयामी वेक्टर एम्बेडिंग उत्पन्न करने के लिए एक मल्टीमॉडल फीचर एक्सट्रैक्टर, और दृश्य डेटा से दूरी या कैनोपी ऊंचाई की भविष्यवाणी करने के लिए एक कनवल्शनल टूल शामिल है। फ्रेमवर्क कंप्यूटर विज़न क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें इमेज वर्गीकरण, मल्टी-रिज़ॉल्यूशन फीचर निष्कर्षण, और इमेज प्रीप्रोसेसिंग शामिल है। यह चिकित्सा इमेजिंग और रिमोट सेंसिंग जैसे विशेष एप्लिकेशनों के लिए कस्टम डेटासेट्स पर फाइन-ट्यूनिंग के माध्यम से डोमेन अनुकूलन का समर्थन करता है। मास्क डिकोडर को मानक रनटाइम वाले एनवायरनमेंट में निष्पादन के लिए एक ओपन फॉर्मेट में परिवर्तित किया जा सकता है।

VisualGLM-6B is a bilingual multimodal large language model and vision-language model designed for conversational tasks and visual understanding. It functions as a bilingual AI model capable of processing and generating responses in both Chinese and English. The system is a quantized large language model supporting 4-bit and 8-bit precision to reduce memory usage and hardware requirements during local deployment. It is also a parameter-efficient fine-tuning model, allowing for weight adjustments to adapt the system to specific downstream tasks without full retraining. The project covers mult

Multimodal is a machine learning library built on PyTorch for training large-scale models that combine text, image, audio, and video data streams. It functions as a deep learning framework dedicated to generative diffusion models, multi-task training, and vision-language tasks. The library supplies modular building blocks, discrete latent codebook quantization, shared-space embeddings, and stackable adapter layers to handle diverse conditional inputs during training and inference. The framework supports specific architectures for diffusion models, text-to-video generation, image-text retrieva